Data Management
Transcripción
Data Management
SAS FORUM ARGENTINA 15 DE MAYO 2014 SAS DATA MANAGEMENT SAS DATA INTEGRATION + SAS DATA QUALITY + SAS MASTER DATA MANAGEMENT Sergio Uassouf Líder de Práctica de Gestión de Información e Infraestructura v1.0 20140514 C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . QUE ES INFORMATION MANAGEMENT? C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . BUSINESS ANALYTICS FRAMEWORK SOLUCIONES LLAVE EN MANO HERRAMIENTAS PARA DESARROLLOS DE ANALÍTICA DE NEGOCIOS C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . BUSINESS ANALYTICS FRAMEWORK C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . WHY SAS? A LEADER IN DATA MANAGEMENT • 36 Years of Information Management Experience • • • • Analyst Validation • • • • Leader in Gartner Data Quality Magic Quadrant Leader in Gartner Data Integration Magic Quadrant Leader in Forrester Wave for Enterprise ETL Leader in Big Data Analytics & Visualization • • C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . Customers in 60,000 sites across 134 countries 90% of the Fortune 500 companies use SAS 24% reinvestment in R&D Only vendor with integrated analytical scoring Best-in-Class Data Access Technology LA PREPARACION DE LOS DATOS ES LA TAREA QUE REQUIERE MAYOR ESFUERZO EN LA MAYORÍA DE LOS PROYECTOS ANALÍTICOS PROBLEMAS DE NEGOCIO DECISIONES 80% Preparando para resolver el problema C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . 20% Resolviendo el problema DATA MANAGEMENT VALIDACIONES DE ANALISTAS “Mala calidad de datos de clientes – solamente datos de clientes – cuestan a empresas de los EE.UU. más de $600.000 millones al año.” “Hasta el 40% de todas las iniciativas comerciales que fracasan son el resultado de la calidad deficiente de los datos.” Debido a la mala gestión de datos "83% de los consumidores están condicionados a no volver a hacer negocios con una empresa cuando la resolución del problema está por debajo de las expectativas". C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . 764 DESAFIO MAXIMIZAR EL VALOR DE SU ECOSISTEMA DATOS DEMASIADOS DATOS en demasiados lugares DATOS DE MALA CALIDAD no son confiables DATOS INCONSISTENTES a través de diversas fuentes La estrategia de datos no es capaz de apoyar la estrategia de negocio cumplimiento, aumento de los ingresos, eficiencia operativa. C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . DATA MANAGEMENT SAS ESTÁ TRABAJANDO PARA CAMBIAR LA ECUACIÓN … PROBLEMAS DE NEGOCIO DECISIONES 20% Preparando para resolver el problema C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . 80% Resolviendo el problema SAS INFORMATION MANAGEMENT CAPACIDADES: - DATA MANAGEMENT DATA SERVICES STRATEGY & IMPLEMENTATION SUPPORT INFORMATION GOVERNANCE Data Management DATA INTEGRATION DATA QUALITY MASTER DATA MANAGEMENT DECISION MANAGEMENT Events, Workflow & Business Rules MODEL MANAGEMENT & MONITORING MODEL DEPLOYMENT & INTEGRATION INFRASTRUCTURE SUPPORT: Text & Unstructured Data Support, Security, Meta-data & Lineage, Monitoring & Deployment ENTERPRISE DATA ACCESS C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . Infrastructure Support DATA MANAGEMENT Gobernar, mover, integrar, limpiar, monitorar y administrar datos y datos maestros para proporcionar decisiones de negócios Vision única de datos de alto valor entre datos de multiples fuentes Acceder, Extraer, Integrar, Transformar e Cargar C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . Master Data Management Data Management Data Integration Profiling, Cleasing, Estandarizacion y Monitoramento Data Quality DATA INTEGRATION C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . ENTERPRISE DATA ACCESS C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . GRAN VARIEDAD DE FUENTES Y FORMATOS MS SQL Server HADOOP Greenplum Oracle Teradata XML CSV Text EBCDIC VSAM COBOL CADatacom SAP BW SAP R3 Oracle Apps Siebel Delimited ODBC MySQL EXCEL ADABAS IBM DB2 SFDC Informix SAS® DATA INTEGRATION STUDIO Interface visual Java Para construcción, implementación y gestión de procesos de ETL fuente/target Gran conjunto de bloques de transformaciones para reducir el esfuerzo de programación especifica y permitir foco en desarrollo y mantención de procesos Inigualable capacidad de acceso a datos para obtener datos de diferentes fuentes, rápida y facilmente Inigualable capacidad de almacenamiento de datos para cargar datos a diferentes destinos, rápida y facilmente Desarrollo multi-usuarios para procesos de desarrollo y mantención de ETL basados en tiempos de proceso, etc Análisis de impacto de punta a punta para entender, tracing y mantener procesos de ETL y BI desde el origen de los datos hasta las estructuras de reportes C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . Analítica de Negocios Trabajo con Clusters Hadoop Procesos Condicionados, Iterativos y en Paralelo Actualización de Slowly Changing Dimensions Todo tipo de operaciones SQL y Sorts Administración de output Carga Masiva / Incremental / Optimizada para Appliances Transformaciones de datos Análisis de datos Acceso a fuentes de datos BLOQUES DE TRANSFORMACIONES Posibilidad de extensión C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . BLOQUES DE TRANSFORMACIONES CONSTRUCCION DE OPERACIONES SQL “Seleccionar clientes de England – Oxfordshire que no hayan comprado >= $50 en el año 2000” • • • C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . “England – Oxfordshire” customers selected by first query Transactions for 2000 for >= $50 selected by second query EXCEPT operator used to produce final result BLOQUES DE TRANSFORMACIONES C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . PREPARACION DE DATOS PARA PROCESOS ANALÍTICOS SAS DI Transpose transforma los datos en la forma necesaria para los procesos analíticos. BLOQUES DE TRANSFORMACIONES C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . COMPARACION DE FUENTES DE DATOS SAS DI hace que sea fácil para comparar las fuentes de datos ANÁLISIS DE IMPACTO “DE PUNTA A PUNTA” Use los metadatos para entender, realizar mantenimiento y revisar sus procesos de gestión de Information Maps datos de ETL e BI. OLAP Cubes Solución Completa. Tables De los sistemas fuente a los Datamarts, cubos e estructuras de reports. C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . DATA QUALITY C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . DATA QUALITY UASSOUF = CRISIS DE IDENTIDAD UASSOUF VASSOUF VASOUFF UASOUF WASUF UASOFF UASUF UASOUFF VASSOVE LIASSOLIF C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . DATA QUALITY C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . CICLO DE EJECUCION DATA QUALITY C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . ANALIZAR Determinación del perfil de datos para luego evaluar sus problemas de calidad. DATA QUALITY C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . ANALIZAR DATA QUALITY Metadata Analysis Visualization C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . ANALIZAR Pattern Recognition DATA QUALITY C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . MEJORAR La fase de mejoramiento se compone de procesos para corregir, consolidar y enriquecer los datos. Tres componentes: Calidad Integración Enriquecimiento DATA QUALITY MEJORAR: FASE DE CALIDAD C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . Análisis de género Análisis de identificación Estandarización Parsing (Mini-Demo) Construcción automática de reglas DATA QUALITY Standardization MEJORAR: FASE DE CALIDAD Casing Identification Parsing C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . DATA QUALITY MEJORAR: FASE DE INTEGRACION C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . Combinación de múltiples registros en un único mejor registro DATA QUALITY MEJORAR: FASE DE ENRIQUECIMIENTO Verificación de direcciones Validación de punto de entrega Análisis de teléfonos Análisis de código de área Georeferenciación C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . DATA QUALITY CONTROL C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . Validación contínua de datos contra las reglas de negocio Identificación automática de datos inválidos Análisis de tendencias Publicación de análisis de datos en la Web DATA QUALITY C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . MDM C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . MDM CASO DE USO: LOOKUP DE CLIENTE Cliente se contacta a traves de un canal. 2 Real-time Interaction 1 Hub identifica cliente y devuelve el perfil del cliente y los IDs en tiempo real. Call Center MDM ERP Kiosk • Informações de produto Web Mobile 3 La información detallada extraído de los sistemas individuales según sea necesario. C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . Marketing Future CRM • Preferências de contato Billing DW • História, Transações • Recomendação de produto • Detalhes de resposta da campanha SURVIVING CONTRIBUTORS INTO MASTER RECORD ConsumerID First Name Middle LOANS 30391-244 William James Last Name DOB Crown 04/12/39 SSN Address 563-49-1234123 Oak St., Eves, IL 30319 Last Name DOB Crowne 4-12-39 SSN Address 563491234 123 Oak St., Eves, IL DW 30391244 First Name Middle William J. WEB Person ID 14239 First Name Middle Bubba J. Last Name DOB April 12 SSN Address [email protected] ID First Name Middle Last Name DOB SSN Address 3721B Willaim Corp. 56349123 3224 Pkwy G, Los Osos Member ID CHECKING ID First Name Middle 30391-244 William James CARDS Source Keys EID 1001 James 30391-244 30391244 C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . 14239 April 12 Last Name DOB SSN Address Crown 04/12/1939 563-49-1234123 Oak St., Eves, IL 30319 Survived Fields 3721B 30391244 William James Crowne 04/12/1939 563491234 123 Oak Street Eves CA 91403 SAS QMDM MASTER DATA MANAGEMENT Basada en navegador Basada en roles Resultados de la búsqueda: Revise el "mejor" o el “Golden Record" y sus registros contribuyentes. Gestión de jerarquias con drag-and-drop Criterios de búsqueda dinámica C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . Solución de múltiples dominios, no sólo MDM de Clientes ESTAMOS A SU DISPOSICION PARA COMENZAR SU PROYECTO DE - INTEGRACION DE DATOS - CALIDAD DE DATOS - MASTER DATA MANAGEMENT C op yr i g h t © 2 0 1 2 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d . www.SAS.com