integración openstack

OPENSTACK & BIGDATA
PRODUBAN
RODRIGO DÍAZ
JORGE GARCÍA
DAVID MANCHADO
KEEDIO
LUCA ROSELLINI
PRODUBAN
PRODUBAN es una empresa
tecnológica del Grupo Santander,
especializada en el diseño y operación
continua de Infraestructuras IT
Compañía Global. Da servicio a más de
120 compañías, apoyándose en más de
5.500 profesionales ubicados en 9
países.
3
OBJETIVOS del PROYECTO
Time-tomarket
Elasticidad
Nuevas
aplicaciones
Cloud
I+D
Eficiencia
en costes
4
CRITERIOS DE DISEÑO
!! Cloud de Propósito General
!! Software Defined Everything
!! Dispersión geográfica
!! Escalabilidad horizontal
!! Restringir a la menor unidad posible
el dominio de fallo
!! Evitar el “vendor lock-in”
!! Estándares abiertos
!! OpenSource First (!but not only!)
5
¿POR QUÉ CLOUD?
!adaptados a nuestras necesidades
que implican requerimientos concretos
Todos los beneficios
de Cloud!
%
$
)
(
%
'
$%&$
!"#
%
5
%
4
"
4
.
:
)
"
9,
%
4
"
4
.
,
.
3
"
,
"
9)-
%
4
"
4
.
<"&"
%
>
"
4
"
6
=.,.7.
%
5
%
4
"
4
.
,
.
3
.
2
1,+
%
"
8
7
$
0
$
6
(
"
%
4
"
4
.
;#.,
+
<$06'$,
%
4+,%?"6
$%
*+#(,
"-./0%
A+#('.4
"4%
9@-.+0
-."%
!'$-+
)$)%
6
ALCANCE Y DESPLIEGUE
Regiones y Zonas de Disponibilidad
!! Despliegue en Data Center Corporativo
!! Principios de segregación/no contaminación
en dos capas:
1.! Región
2.! Zona de Disponibilidad (AZ)
Region
AZ
AZ
AZ
AZ
AZ
AZ
Region
AZ
AZ
AZ
Region
AZ
AZ
AZ
!! Se proporcionan todos los elementos
necesarios para construir aplicaciones
tolerantes a fallos
Region
7
TECNOLOGÍA y EQUIPO
Public Cloud
Red Hat CloudForms
A;D9FFCD9%N%
Red Hat Enterprise Linux
OpenStack Platform
<)*%:$6&*4;)0='
49&)54;)0'40>'
84&%:'54041$5$0&?'
Horizon (Dashboard)
KF;E<9%
CEPH
<CE?9*%
+,)%-'(&)*$'
ABC1D%
!"#$%&'(&)*$'
2541$6'
M9;D%
E9OD*GE%
@$&A)*-6'
EGL;%
7)589&$'
!*%:$6&*4;)0'
I9JADGE9%
23'.4041$5$0&'
<9CFGH9D9*%
.$&$*/01'
Hypervisor
Hardware
8
GESTIÓN DE LA
INFRAESTRUCTURA
Target Infrastructure
Servers
Actualmente para
despliegue del
software de gestión
de infraestructura
Storage
Hypervisor
CMDB
Scheduler
Backup
Deployment of components
& service configuration
Integration with
other systems
Monitoring
Service
Request
Service
Portal
Configuration
Management
Antivirus
CMP
A futuro será utilizado
como Gestor de la
Configuración:
orquestación y
configuración de VMs
provisionadas
Network
Orchestrator
9
CÓMPUTO
!! Nodos de cómputo y
almacenamiento
!! Servicios de
Infraestructura
"! Open Compute
"! Servidores standalone
HP y Lenovo
"! Virtualización con KVM
"! Virtualización con
VMWare
"! Infraestructura
hiperconvergente
(cómputo, red y
almacenamiento)
A+'P.-+%*"-Q%%
C0R'"S%*"-Q%
10
STORAGE
Principios de diseño
!! Software Defined Storage
!! OpenCompute: SSD & SATA
!! Scale out
!! Modelo Hiperconvergente – Share everything!
!! Maximizar el aprovechamiento de OpenStack para
abstraer la capa de storage
!! Mantener los principios de integridad y accesibilidad
al dato de las plataformas tradicionales (5 9’s??)
11
STORAGE
Arquitectura
!! Implementación de backend múltiple en Cinder.
!! Uso de CEPH como proveedor de backend no
efímero para Cinder y backup.
!!
Backend de bloque con 3 copias.
!!
Backend de bloque para backup de volúmenes en Cinder.
!! Uso de discos locales para cargas determinadas.
!! Provisión de servicios de Archivo y Objeto, basados
en Swift y Manila (cuando esté disponible) sobre
backend de CEPH.
12
STORAGE
Retos y conclusiones
Retos
!!
Caracterización del throughput del cluster de CEPH sin red de backend
dedicada.
!!
La operativa de CEPH vs. Storage tradicional.
!!
El tamaño del Journal de CEPH, SI importa.
Conclusiones
!!
CEPH es la aproximación que más nos ha encajado con Openstack.
!!
Es estable, en nuestra arquitectura necesita saber compartir recursos.
!!
Nada está cerrado, para eso esta OpenStack
13
COMUNICACIONES
Opciones
VIRTUALIZACIÓN
REDES
•! VLANs
•! Overlay en el fabric
•! Integración nativa en
fabric
•! Overlay en hipervisor
TOPOLOGÍA
RED FISICA
•! 3 capas
•! Leaf/Spine
PROTOCOLOS
RED FÍSICA
•!
•!
•!
•!
Spanning Tree
TRILL
Fabric Path
IP + IGP
14
COMUNICACIONES
Arquitectura
SDN OVERLAY
•! Escalabilidad / Desacoplamiento
•! Automatización / Gestión / Movilidad de VMs
•! Federación / Servicios
IP + OSPF
•! Escalabilidad
•! Estandarización
•! Madurez / Simplicidad
LEAF&SPINE
•! Orientación cloud / East-West
•! Escalabilidad horizontal / Reducción de impacto de incidencias
•! Estandarización
15
LECCIONES APRENDIDAS
El reto: BigData & OpenStack
!! Primer caso de uso: BigData
!! Decisión estratégica
!! Carga no nativa para entorno OpenStack
!! Proyectos OpenStack: Ironic & Sahara
!! Ha permitido identificar y caracterizar todos
los recursos de la instalación (red, CPU,
memoria y almacenamiento)
16
SIGUIENTES PASOS Y DESAFÍOS
!! Despliegue del resto de regiones
!! Operación / monitorización
!! Facturación a usuario: chargeback/
showback
!! Labor pedagógica
!! Ampliar catálogo de servicios ofrecidos
!! Actualización a nuevas versiones y
adaptación de la arquitectura
17
EL EQUIPO
Jorge
David
Rodrigo
18
EL EQUIPO
Jose
Jorge
Andrea
Óscar
Mark
Alfredo
Carlos
Ángel
Edgar
Silvia
Jonas
Nuria Agustín
David
Rodrigo
Antonio
Manolo
Daniel
Miguel Ángel
Roberto
Juan
Andrés
Mario
David
Esteban
Carlos
Pedro
JC
Carlos
Javier
Raquel
Vicente
Lluis
Juanan
19
KEEDIO
KEEDIO es la división de Big Data y
Cloud Computing de Cediant.
Su objetivo es resolver problemas del mundo real,
relacionados con el tratamiento de los datos,
basándose en el talento y el uso de tecnologías
disruptivas e innovadoras.
Especialización en el diseño e implantación de
arquitecturas Big Data y el desarrollo de soluciones
analíticas de valor añadido.
20
EMPAQUETADO
•! Software de empaquetado – Buildoop
•! Proyecto Open Source (http://github.com/buildoop/buildoop)
•! 1 Ingeniero de Red Hat colaborando en el proyecto.
•! Definición de ecosistemas de software.
•! Generador de repositorios rpm con dependencias y parches.
21
EMPAQUETADO
•! Software de empaquetado – Buildoop
•! Proyecto Open Source (http://github.com/buildoop/buildoop)
•! 1 Ingeniero de Red Hat colaborando en el proyecto.
•! Definición de ecosistemas de software.
•! Generador de repositorios rpm con dependencias y parches
•! Distribuciones Big Data ad-hoc
•! Arquitecturas específicas para cada problemática.
•! Especialización del ecosistema Big Data para facilitar su uso y adopción.
22
EMPAQUETADO
•! Software de empaquetado – Buildoop
•! Proyecto Open Source (http://github.com/buildoop/buildoop)
•! 1 Ingeniero de Red Hat colaborando en el proyecto.
•! Definición de ecosistemas de software.
•! Generador de repositorios rpm con dependencias y parches
•! Distribuciones Big Data ad-hoc
•! Arquitecturas específicas para cada problemática.
•! Especialización del ecosistema Big Data para facilitar su uso y adopción.
•! Arquitectura Big Data de referencia para PRODUBAN
23
INTEGRACIÓN OPENSTACK
•! Automatización despliegues:
•! Instalación
•! Configuración
•! Monitorización
24
INTEGRACIÓN OPENSTACK
•! Automatización despliegues:
•! Instalación
•! Configuración
•! Monitorización
•! ¿Cómo nos integramos con OpenStack?
•! Plugin custom para OpenStack’s Sahara
25
INTEGRACIÓN OPENSTACK
•! Automatización despliegues:
•! Instalación
•! Configuración
•! Monitorización
•! ¿Cómo nos integramos con OpenStack?
Templates predefinidos:
•! Plugin custom para OpenStack’s Sahara
Sahara Controller
Keedio plugin
Automated
deployment (Ambari)
•!
Small (Desarrollo)
•!
Medium (POC)
•!
Large (Pre/Producción)
26
CASO DE USO: SIEM
VDC 1
Fuente
Fuente
Flume
Flume
Flume
Fuente
VDC N
Fuente
Fuente
Flume
Flume
Flume
Fuente
> 10K Fuentes heterogéneas
27
CASO DE USO: SIEM
VDC 1
BIG DATA as a SERVICE INFRASTRUCTURE
Fuente
Fuente
Flume
Flume
Flume
Rich Data
Hadoop
Flume
Flume
Flume
VDC N
Kafka
Fuente
Fuente
Fuente
Flume
Flume
Flume
Real Time
Fuente
> 10K Fuentes heterogéneas
Enrutamiento dinámico configurable de los datos
según su naturaleza o destino de explotación
28
CASO DE USO: SIEM
VDC 1
BIG DATA as a SERVICE INFRASTRUCTURE
Fuente
Fuente
Apps
Flume
Flume
Flume
Apps
Rich Data
Hadoop
Fuente
Flume
Flume
Flume
VDC N
Kafka
Apps
Apps
Fuente
Fuente
Flume
Flume
Flume
Real Time
Fuente
> 10K Fuentes heterogéneas
Enrutamiento dinámico configurable de los datos
según su naturaleza o destino de explotación
Apps
•!
•!
•!
•!
Dashboards
Alertas
Reports
Forensics
29
¡GRACIAS!
30