Descarga - Habber España

Transcripción

Big Data España 2015
Casos de Uso de Big Data
Wolfram Rozas
2 Octubre 2014
© 2014 International Business Machines Corporation
Cambios en el Paradigma Analítico
BIG DATA
TRADITIONAL
& ANALYTICS
APPROACH
APPROACH
BIG DATA
TRADITIONAL
& ANALYTICS
APPROACH
APPROACH
Small amount of carefully
organized information
Large
amount
of messy
information
All
available
Analyzed
information
analyzed
All
available
information
AnalyzeAnalyze
small subsets
of
allinformation
information
Carefully
Analyzecleanse
information
information
as is,
before
cleanseany
as analysis
needed
Leverage more of the data being captured
Reduce effort required to leverage data
BIG DATA
TRADITIONAL
& ANALYTICS
APPROACH
APPROACH
BIG DATA
TRADITIONAL
& ANALYTICS
APPROACH
APPROACH
Data
Hypothesis
Data
Question
Exploration
Analysis
Data
Answer
Insight
Repository
Analysis
Insight
Insight
Correlation
Data
Start
Explore
with hypothesis
all data and
and
testidentify
againstcorrelations
selected data
Analyze
Analyze
data after
datait’s
in been
motion
processed
as it’s and
landed
generated,
in a warehouse
in real-time
or mart
Data leads the way—and sometimes correlations
are good enough
Leverage data as it is captured
3
BIG DATA
& ANALYTICS
APPROACH
TRADITIONAL
APPROACH
BIG DATA
TRADITIONAL
& ANALYTICS
APPROACH
APPROACH
WhatWhat
will happen
and whatand
should
has happened
why you do
the
embedded
realm of the
in everything
specialist
Predict and decide the best action
BIG DATA
& ANALYTICS
APPROACH
TRADITIONAL
APPROACH
Intuitive analytics for everyone
BIG DATA
TRADITIONAL
& ANALYTICS
APPROACH
APPROACH
Learn
to sense and predict
Pre-programmed
analysisusing
all
of information
ontypes
structured
data
Cognitive computing
Scheduled
Real-time
Analytics as and when you need it
4
Las 5 categorías de casos de uso
Innúmeros casos de uso en cada industria
Banca
• Optimización de ofertas
• Servicio a clientes y
eficiencia
• Detección e
investigación de fraude
• Riesgo de crédito y de
contrapartida
Retail
Seguros
• Vista 360 del sujeto
• Modelización
catástrofes
• Fraude y Abuso
• Analítica de
rendimiento producto
Transporte y
Turismo
• Analítica de Cliente y
Fidelización
Fidelización
• Optimización de
Mercancías
• Analítica de
Mantenimiento
Predictivo
• Precios óptimos
Automoción
• Monitorización
avanzada de condición
• Optimización Data
Warehouse
Fidelización
Capacidad y Precios
Química y
Petróleo
• Vigilancia, Análisis,
Optimización
Operacional
Warehouse
• Investigación Upstream
Energía y
Utilities
Telecom.
• Call Center proactivo
• Analítica de Red
• Servicios basados en
localización
• Analítica de Smart
Meter
• Predicción/
planificación de carga
• Mantenimiento basado
en condición
• Ofertas a clientes
(TOU)
Gran
Consumo
Gobierno
• Disponibilidad Estante
• Servicios públicos
• Optimización de Trade
Funds
• Defensa e Inteligencia
• Cumplimiento de
mercancías
• Servicios fiscales y
tributarios
Medios y
Entretenimiento
• Transformación de
procesos de negocio
audiencias y
marketing
• Campañas multicanal
comercio digital
Salud
• Medir y actuar sobre
los resultados de salud
• Involucrar a los
consumidores en su
salud
• Alertas/Excepciones de
promociones
Aviación y
Defensa
• Plataforma de Acceso
Información Uniforme
Warehouse
• Plataforma de
Certificación Aerolínea
• Monitorización
Electrónica de
Consumo
• Analítica de clientes/
canal
• Monitorización
Farmacia
• Aumentar la visibilidad
de la seguridad y
efectividad de los
medicamentos
6
Las 5 Categorías de Casos de Uso
Exploración
Vista 360º cliente mejorada
Encontrar, visualizar, comprender los
Big Data para mejorar el proceso de
decisión
Extender las vistas de clientes (MDM,
CRM, etc) incorporando fuentes de
información internas y externas
Seguridad/Inteligencia
Aumentada
Reducir riesgo, detectar fraude y
monitorizar seguridad en tiempo
real
Inteligencia Operacional
Aumento del Data Warehouse
Analizar una variedad de datos máquina para
mejorar la eficiencia operacional
Integrar las capacidades de big data y de data
warehousing para mejora de resultados de negocio
7
Exploración
decisión
Aumentada
real
8
Exploracion: Necesidades
Encontrar, visualizar, comprender todos los datos para
mejorar el proceso de toma de decisiones
Luchar para gestionar y
extraer valor de las 3 V’s en
la empresa; necesidad de
unificar la información en
fuentes federadas
Incapacidad de relacionar los datos
“brutos” recogidos de logs de
sistema, sensores, clickstreams,
etc., con datos de clientes y de
negocio
Riesgo de exponer información de
identificación personal y/o datos
privilegiados debido a carencias
de conciencia de la sensibilidad
de la información
9
Call Center
Access all sources
or individual source
Setup alert to
notify change
Dynamic
categorization
Identify topical experts
Narrow down results set
Refinements based
on metadata
Highly relevant, secure &
personalized results
Comment results
Tag results
Store &
share results
Rate results
10
Distintos propósitos de exploración
1
1
11
IBM Confidential
12
13
13
Exploración
decisión
Aumentada
real
14
Necesidades
Extender las vistas actuales de clientes (MDM,
CRM, etc.) añadiendo fuentes de información
internas y externas
Necesita una mayor
comprensión del
sentimiento de la clientela
Deseo de mejorar la
fidelización (activa) del
cliente y la satisfacción
identificando acciones
significativas
necesarias
Desafío en facilitar la
información correcta a los
decisores para suministrar a los
clientes lo que realmente
necesitan (resolver problemas,
cross-sell, etc.)
15
Análisis Actitudinal de Clientes
16
GeoMarketing 2.0 / Geofencing
Pisadas
• Patrones de movimiento de personas y
patrones de estancia
• Análisis por hora y día
• Inferencia para métricas de estancias
dentro de edificios
Sociodemográficos y Conducta
• Perfil sociodemográfico combinado con
movimiento
• Edad, género, país, dirección vivienda,
dirección trabajo, tipo dispositivo (datos,
status), patrón de actividad
Tránsito
• Inferencia de rutas de transporte público
incluyendo carreteras, trenes, autobuses
17
Análisis de Público Objetivo basado en Fans
Lista de Prospectos
Fan
Datos lineales
3
Crear lista de prospectos mediante
modelos predictivos y producir
campañas de marketing
Gestión de Campañas
multicanal
Datos no
lineales
Datos
suscripción
Big Data DW
Perfil 360º
Datos afinidad
y de gasto
Datos
demográficos
Motor de
Reglas
Visualización
Influencia
1
Extraer datos y
ejecutar
integración de
entidades para
crear perfiles
individuales
Portal
Estructurado
No
estructurado
Propensión
Análisis Predictivo
Text
Mining
Datos Redes
Sociales
Procesado
Tiempo Real
Tipo Fan
Vinculación
Churn
2
Desarrolla modelos predictivos
Marketing/ Research
18
Exploración
decisión
Aumentada
real
19
Necesidades
La extensión de Seguridad/Inteligencia mejora las
soluciones de seguridad analizando todo tipo de
fuentes
Inteligencia
mejorada y
Vigilancia
Predicción y
mitigación de
ciberataques en
tiempo real
Predicción y
protección de
crímenes
Analizar datos en movimiento y
parados para:
• Encontrar asociaciones
• Descubrir patrones y hechos
• Mantener la actualidad de la información
Analizar el tráfico de red para:
• Descubrir nuevas amenazas tempranamente
• Detectar amenazas complejas conocidas
• Actuar en tiempo real
Analizar datos sociales y de
telecomunicaciones para:
• Reunir evidencia criminal
• Prevenir las actividades criminales
• Prender criminales proactivamente
20
Appliance de monitorizacion de
telemetría de red (Opcional)
Ingesta y
procesamiento en
tiempo real
•
•
•
•
Video/audio
Red
Geoespacial
Predictivo
Data
Warehouse
Almacenamiento y
Análisis
• Text mining
• Data mining
• Machine learning
Sistema de
Seguimiento de
Información
Criminal
Sistema de
Monitorización de
Vigilancia
• Análisis profundo
• Análisis
operacional
• Gestión de datos
estructurado de
alto volumen
Datos Estructurados Tradicionales
Conectores
Análisis de
Entidades/ Relaciones
Conectores
Datos no estructurados/en streaming
Modelo Conceptual
Información s de
Seguridad y
Gestión de
Eventos (SIEM)
21
Gestión de Riesgos
Preparar
Exposición
Límites
Capital
Reunir datos
de posiciones,
mercados,
oportunidades,
etc.
Estimar
Ratings y
exposiciones
Comparar
exposición
agregada
contra límites
Stress
Determinar
reqs. capital
Datos
Históricos
Cálculos
Scoring
Complejos
Demasiados
datos
Minimizar
Costes
Muchos datos,
cambiando
muy rápido,
demasiada
variedad
Los cálculos
de scoring
necesitan
hacerse más
rápido
No hay simple
vista del
riesgo de
crédito
(muchas
vistas)
Optimización
de las pérdidas de crédito,
capital,
colaterales
Gestión de Datos:
MDM para las
entidades de
contrapartida legal
Datos no
estructurados:
Análisis de sentidos
como Análisis de
Entidades
Otras fuentes de
datos como
geoposicionamiento,
redes sociales
Análisis en
Tiempo Real:
Cálculos en casi
tiempo real
Appliance/función
calidad streams
Stress testing
y Análisis de
Escenarios
Documentos
Cobertura
Mitigación de
riesgos
legales
Demasiados
Gestión
What ifs?
Información
Múltiples
escenarios de
stress ad hoc
App. Riesgo:
App de riesgo de
crédito y
colaterales
Gestionar
datos no
estruc. de
oportunidades
y colaterales.
Análisis masivo:
10-100x más
rápido que
sistemas
tradicionales con
empleo de
Appliance
Reportar
Evolución
Limitar el daño
usando
cobertura
Informar
involucrados
Adaptarse a
cambios en
negocios
clientes
productos
Respuesta
a Tiempo
Reporting
Limitado
Problemas
Integridad?
Falta de
herramientas
de
monitorización
de crédito
Reporting
limitado de
exposiciones y
colaterales
Consistencia
del proceso de
gestión de
riesgo de
crédito
Reporting y
búsqueda
Escalabilidad:
Capacidad a nivel
de petabytes para
grandes portfolios
de crédito
22
Exploración
decisión
Aumentada
real
23
Necesidades
mejorar los resultados de negocio
La capacidad de analizar datos máquina y
combinarlos con los datos corporativos
obteniendo una vista completa puede capacitar
a las organizaciones a:
• Ganar una visibilidad en tiempo real de las
operaciones, experiencia de cliente,
transacciones y conducta
• Planificar proactivamente para mejorar la
eficiencia operacional
• Identificar e investigar anomalías
• Monitorizar la infraestructura punto a punto
para evitar proactivamente la degradación del
servicio o las cortes
24
Logs brutos y datos máquina
Modelo Conceptual
Indexar, buscar
Sólo almacenar lo necesario
Modelización estadística
Acelerador de
Datos Máquina
Análisis Causal
Análisis en tiempo real
Exploración y
Descubrimiento
25
Análisis de los Datos Máquina (M2M)
App. Server Logs
Ingestión Datos
Procesamiento
Análisis
System Logs
Datos en reposo
Tiempo real
Causa raíz
Sensor Data
Datos en movimiento
Análisis texto
Análisis Patrones
Utility Systems
Extractores
Algoritmos adaptativos
Detección de Anomalías
Facility Systems
Estructurado
Indexado
Análisis Predictivo
No estructurado
Búsqueda
Queries Dinámicas
Correlación
Visualización
Smart Meters
Message Queues
Clickstream Data
Configuration Files
Web Access Logs
Database Audit
Logs and Tables
Web Proxy Logs
HDFS Logs
Solución de Negocio
26
Detección de Anomalías
Datos históricos
1. Para cada punto de suministro se
identifican otros puntos que tengan
conducta de consumo similar
Ultimos datos
2. Se identifica cuánto se desvía
el último consumo del grupo
Contador
Lectura
A
100
B
10
C
15
D
200
E
5
3. Se identifican los consumos más
anómalos para centrar la investigación
27
Network Analytics
•Análisis en tiempo real del uso de los clientes y de su experiencia de los
servicios de datos y aplicaciones, para mejorar la experiencia de cliente
Soluciones
Aplicaciones
Mediación, Correlación y
Análisis
1.
2.
3.
Servicio a Clientes: priorizar problemas de clientes
Operaciones de Red: impacto de los eventos de red (cuellos de botella,, llamadas caídas,
cortes, etc.) en la calidad de la experiencia de los abonados
Ventas & Marketing: aumentar la tasa de aceptación
Recogida y extracción
de datos
28
Exploración
decisión
Aumentada
real
29
Necesidades
warehouse par amejorar la eficiencia operacional
Necesidad de usar variedad de datos
• Análisis profundo en streaming de datos
estructurados, no estructurados
• Requerimientos de latencia baja (horas – semanas)
• Se requiere acceso a los datos
Extender la infraestructura
• Almacenamiento optimizado, mantenimiento y costes de
licenciamiento para migrar datos raramente usados (fríos)
a Hadoop
• Costes de almacenamiento reducidos por procesamiento
inteligente de datos en streaming
• Rendimiento del data warehouse mejorado determinando
30
Valor y Modelo Conceptual
1
Pre-Processing Hub
2
3
Query-able Archive
Exploratory Analysis
Data Explorer
Streams
Real-time
processing
BigInsights
Landing zone for
all data
BigInsights
Information
Integration
Can combine with
unstructured
information
Data Explorer
Find and view the
data
BigInsights
Streams
Offload analytics for
microsecond
latency
Data Warehouse
Data Warehouse
Data Warehouse
31
Offloading
Archivar “Datos Fríos”
Ficheros
Archive
Base de Datos
Distribución
Hadoop
InfoSphere
Optim
Aplicar políticas de retención de datos
Capturar objetos de negocio completos
Preservar integridad de datos
Preservar metatada
Cargar datos a Hadoop según sea necesario
Archivar y purgar datos
Archivos comprimidos,
auditables, y restaurables
Almacén interrogable
utilizando Hive en Hadoop
32
Data Lake
El problema de los Datos
•
•
Hay una desproporción en el tiempo empleado en preparación de datos en los
proyectos de Análisis
El Big Data complicará más la situación con la adición de datos de múltiples
formatos y la ingesta en tiempo real
34
Una demanda creciente….
Negocio quiere...
• Acceso abierto a más información
• Herramientas de análisis y visualización
más potentes
A los equipos IT …
• les preocupan los costes
• les preocupan los requisitos de gobernanza y regulatorios
35
¿Lagos o Pantanos?
•
A medida que recogemos datos
– Podemos preservar la claridad?
– ¿Conocemos lo que recogemos?
– ¿Podemos encontrar lo que necesitamos?
•
¿Estamos creando pantanos de
datos?
•
¿Cómo construimos confianza en Big
Data?
– ¿Sabemos para qué se usan los datos?
¡Hay que gobernar el dato!
36
¿Qué es un lago de datos?
•
•
Servicios del Lago de Datos
Un lago de datos facilita datos a una
organización para realizar análisis de
todo tipo
Repositorios del Lago de Datos
Es posible introducir el análisis en el lago
de datos para generar conocimiento
adicional de los datos cargados
Gestión de Información y Gobierno del Dato
Lago de Datos
•
•
Un lago de datos gestiona repositorios
compartidos de información para
analizarla
Cada repositorio del lago de datos se
optimiza para un procesamiento
particular
•
Los datos pueden replicarse en
múlitples repositorios en el lago de
datos y tener distintos
significados/usos
37
Arquitectura lógica
Deploy
Real-time
Decision
Models
Events to
Evaluate
Information
Service Calls
Data
Export
Data Refineries
Data
Import
Deploy
Decision
Models
Understand
Information
Sources
Advanced Data
Provisioning
Catalog
Interfaces
Real-time
Analyics
Notifications
STREAMING
ANALYTICS
Descriptive
Data
Real-time
Interfaces
Information
Service Calls
INFORMATION
VIEWS
CODE
HUB
CONTENT
HUB
OPERATIONAL
STATUS
Deposited
Data
Publishing
Feeds
Information
Access
Data Out
INFORMATION W AREHOUSE
Data Lake Repositories
Shared
Operational
Data
CATALOG
Information
Ingestion
Find
Curate
Access
Search
Requests
Curation
Interaction
Information
Service Calls
Data
Export
Provision
Reporting
Data Marts
Harvested
Data
Understand
Compliance
Understand
Information
Sources
Analyst
Interaction
Information
Federation
Calls
Data In
Advertise
Information
Source
Data
Import
DEEP DATA
Inter-lake
Exchange
Report
Queries
Information
Integration &
Governance
INFORMATION
BROKER
CODE
HUB
STAGING AREAS
OPERATIONAL
GOVERNANCE
HUB
MONITOR
WORKFLOW
Management
Data Lake
38
Resumen
Lago de Datos = Gestión eficiente, Gobernanza, protección y acceso
•
A medida que la analítica de una organización se hace más compleja, será
necesario:
– Acceder a datos históricos de muchos sistemas
– Estos datos incluyen datos sensible y valiosos que son el núcleo de la operación
– Hadoop felxible para almacenar muchos tipos de datso, pero no es
suficientemente rápido para alguna analítica en producción. Los datos necesitan
ser reformateados y copiados en una plataforma especializada paa el análisis
•
Un lago o embalse suministra:
– Un extracción sencilla de datos
– Catalogar y gobernar el dato
– Interfaces sencillos para que la línea de negocio acceda a la infomración que
precisan
39
¿Preguntas?
Gracias por su atención

Descarga - Habber España

Transcripción

Documentos relacionados

Unit 7: Machines and inventions

envasadoras verticales vertical bag machines