Descargar presentacion

Modelo de Integración
g
de
Conocimiento descubierto
mediante Técnicas de
Minería de Datos
Ingrid Wilford Rivera
[email protected]
© 2010,
VII Jornadas para el Desarrollo
De Grandes Aplicaciones de Red
VII Jornadas para el
desarrollo de grandes
aplicaciones
p
de red
(JDARE’10)
Modelo de Integración de Conocimiento descubierto
mediante Técnicas de Minería de Datos
i t d
introducción
ió
Técnicas
de MD
Introducción
Estado del Arte
Propuesta: MIC
Modelo Conceptual
Codificación
Síntesis
Representación
Conclusiones
Modelo de
MD
(Patrones)
Patrones)
La mayoría de las investigaciones en MD se centran
en el análisis de una única bases de datos
Técnicas de MD Tradicionales
Pueden ser insuficientes para grandes
organizaciones con múltiples fuentes de datos
?
Modelo de
MD
(Patrones)
Patrones)
VII Jornadas para el
desarrollo de grandes
aplicaciones
p
de red
(JDARE’10)
Introducción
Estado del Arte
Propuesta: MIC
Modelo Conceptual
Codificación
Síntesis
Representación
Conclusiones
Modelo de Integración de Conocimiento descubierto
mediante Técnicas de Minería de Datos
i t d
introducción
ió
Técnicas de MDD
Postmining
Técnicas de MD
T di i
Tradicionales
l o Paralelas
P
l l
LIMITACIONES
VII Jornadas para el
desarrollo de grandes
aplicaciones
p
de red
(JDARE’10)
Introducción
Estado del Arte
Propuesta: MIC
Modelo Conceptual
Codificación
Síntesis
Representación
Conclusiones
Modelo de Integración de Conocimiento descubierto
mediante Técnicas de Minería de Datos
i t d
introducción
ió
MD
MD
MD
Modeloi
Modeloi
Modeloi
Postmining
Modelo
Proceso de recopilación, análisis y síntesis de
modelos de MD o patrones descubiertos a
partir de múltiples fuentes de datos
VII Jornadas para el
desarrollo de grandes
aplicaciones
p
de red
(JDARE’10)
Modelo de Integración de Conocimiento descubierto
mediante Técnicas de Minería de Datos
i t d
introducción
ió
Model1
File1
Modeli
Filei
Modeln
Filen
Μ = {µ1 , µ2 , … µn }
Introducción
Estado del Arte
Propuesta: MIC
Modelo Conceptual
Codificación
Síntesis
Representación
Conclusiones
µi = {ρ1 , ρ2 , … ρm }
ρj = ‹idj, mej›
Φ = {φ1 , φ2 , … φn}
Integrated DM
Model (MI)
(MI))
n
MI = ∏ ( μ , ϕ ) μ ∈ Μ ∧ ϕ ∈ Φ
i
i =1 i i i
Obtener un modelo de MD global, a partir de n
modelos descubiertos en n fuentes de datos a las
que no se tiene acceso
VII Jornadas para el
desarrollo de grandes
aplicaciones
p
de red
(JDARE’10)
Modelo de Integración de Conocimiento descubierto
mediante Técnicas de Minería de Datos
estado
t d d
dell arte
t
Mannila, G., Zhang, Y. Paul S., Saravanan V.,
(2008)
et al (2005)
Introducción
Estado del Arte
Propuesta: MIC
Modelo Conceptual
Codificación
Síntesis
Representación
Conclusiones
Integrar
Modelos de
de Reglas
Clusters,
,
Integrar
gg Modelos
g
de
mediante
representación
Asociación
obenidos dede
datos como
vectores
conjuntos
de datos
XML,
etiquetados
basándose
en las
Mformulaciones
Muy
sensibles
ibl a matemáticas
la
l cantidad
tid d de
d
definidas
en
[Zhang
et.
al,
datos analizados, no son
2004]
escalables
en este sentido
Estas formulaciones son
apropiadas para descubrir
patrones excepcionales, pero
no para identificar patrones
globales frecuentes en todos
los data sets
Hall, Hore et al Zhang, S., Zhang, C., Wu, X. (2009)
(2004, 2003)
Síntesis Modelos
de modelos
reglas
Integrar
de de
Clusters,
de obtenidos
asociación con
obtenidos
de
técnicas
múltiples bases
de datos locales
particionales
Insensibles
a la cantidad
Bases de datos
locales dede
datos
analizados
analizados,
tamaño
similaren este
sentido son escalables
Mínimo
soporte datos
igual para
Solodeanalizan
todosnuméricos
los modelos
Mínimo de confianza igual para
todos los modelos
Carecen de generalidad: son soluciones
específicas para un tipo de modelo de MD
VII Jornadas para el
desarrollo de grandes
aplicaciones
p
de red
(JDARE’10)
Modelo de Integración de Conocimiento descubierto
mediante Técnicas de Minería de Datos
propuesta:
t MIC
Modelo de Integración de Conocimiento
MIC
Introducción
Estado del Arte
Propuesta: MIC
Modelo Conceptual
Codificación
Síntesis
Representación
Conclusiones
M d l Conceptual
Modelo
C
l
MC MIC
MC_MIC
VII Jornadas para el
desarrollo de grandes
aplicaciones
p
de red
(JDARE’10)
Introducción
Estado del Arte
Propuesta: MIC
Modelo Conceptual
Codificación
Síntesis
Representación
Conclusiones
Modelo de Integración de Conocimiento descubierto
mediante Técnicas de Minería de Datos
MC MIC
MC_MIC
• Considerando las necesidades de
expresividad del modelo que se
propone, resulta adecuado tomar como
base la metodología y herramientas
formales utilizadas en el modelado de
procesos.
• Vista
de
los
procesos
(P)
f d
fundamentales
t l
que conforman
f
ell
modelo general propuesto (MIC).
• Cada
proceso
se
formaliza
gráficamente, mediante la notación de
[E ik
[Eriksson
and
d Penker,
P k 2000].
2000]
VII Jornadas para el
desarrollo de grandes
aplicaciones
p
de red
(JDARE’10)
Modelo de Integración de Conocimiento descubierto
mediante Técnicas de Minería de Datos
MC MIC
MC_MIC
• El MC_MIC está constituido p
por
tres procesos: Codificación (PC ),
Síntesis ((PS ), Representación
p
(P
( R)
Introducción
Estado del Arte
Propuesta: MIC
Modelo Conceptual
Codificación
Síntesis
Representación
Conclusiones
VII Jornadas para el
desarrollo de grandes
aplicaciones
p
de red
(JDARE’10)
Introducción
Estado del Arte
Propuesta: MIC
Modelo Conceptual
Codificación
Síntesis
Representación
Conclusiones
Modelo de Integración de Conocimiento descubierto
mediante Técnicas de Minería de Datos
codificación
difi
ió
Codificación
Fichas
¨Completas¨
de Modelos como conjuntos de Patrones:
Cada patrón
formaliza
mediante
• Tamaño
de lasevista
de datos
o data la
settupla:
origen (cantidad de
instancias).
ρi j =atributo
idi j , me
• Descripción de cada
deli j data set origen (etiqueta y
d
i i )
• dominio).
Identificador
y medidas de calidad:
• Umbral de precisión y de cobertura mínima utilizado para la
aceptación
id = de
V los patrones
me =en el
prmodelo.
, co
ij
ij
ij
ij
ij
VII Jornadas para el
desarrollo de grandes
aplicaciones
p
de red
(JDARE’10)
Introducción
Estado del Arte
Propuesta: MIC
Modelo Conceptual
Codificación
Síntesis
Representación
Conclusiones
Modelo de Integración de Conocimiento descubierto
mediante Técnicas de Minería de Datos
síntesis
í t i
VII Jornadas para el
desarrollo de grandes
aplicaciones
p
de red
(JDARE’10)
Modelo de Integración de Conocimiento descubierto
mediante Técnicas de Minería de Datos
síntesis
í t i
Introducción
Estado del Arte
Propuesta: MIC
Modelo Conceptual
Codificación
Síntesis
Representación
Conclusiones
m
f ( Sl ) = ∑ wμ *d M ( MI l , μi )
i=1 i
VII Jornadas para el
desarrollo de grandes
aplicaciones
p
de red
(JDARE’10)
Modelo de Integración de Conocimiento descubierto
mediante Técnicas de Minería de Datos
síntesis
í t i
Introducción
Estado del Arte
Propuesta: MIC
Modelo Conceptual
Codificación
Síntesis
Representación
Conclusiones
O mut (VSl , n mut ) y O agr (VSl , n agr )
VII Jornadas para el
desarrollo de grandes
aplicaciones
p
de red
(JDARE’10)
Introducción
Estado del Arte
Propuesta: MIC
Modelo Conceptual
Codificación
Síntesis
Representación
Conclusiones
Modelo de Integración de Conocimiento descubierto
mediante Técnicas de Minería de Datos
síntesis
í t i
Asignar Medidas:
• Asociar a cada patrón global un patrón de cada modelo local.
•
A partir de las medidas de estos patrones locales, mediante
la aplicación de un operador (suma, media, máximo, mínimo)
estimar las medidas (soporte y precisión) del patrón global
correspondiente.
VII Jornadas para el
desarrollo de grandes
aplicaciones
p
de red
(JDARE’10)
Introducción
Estado del Arte
Propuesta: MIC
Modelo Conceptual
Codificación
Síntesis
Representación
Conclusiones
Modelo de Integración de Conocimiento descubierto
mediante Técnicas de Minería de Datos
representación
t ió
Representación:
• Selección de los patrones que serán incluidos finalmente en
el modelo global integrado, considerando los valores de los
Parámetros especificados por el usuario.
• Representar
R
t ell conjunto
j t d
de patrones
t
globales
l b l seleccionados
l
i
d
en un formato estándar de intercambio de modelos de
minería de datos.
VII Jornadas para el
desarrollo de grandes
aplicaciones
p
de red
(JDARE’10)
Introducción
Estado del Arte
Propuesta: MIC
Modelo Conceptual
Codificación
Síntesis
Representación
Conclusiones
Modelo de Integración de Conocimiento descubierto
mediante Técnicas de Minería de Datos
conclusiones
l i
• Se formaliza una p
propuesta
p
p
para la
integración de modelos locales o
conjuntos
j
de p
patrones de minería de
datos descubiertos en fuentes de
datos distribuidas ((Modelo de
Integración de Conocimiento - MIC).
• Especialmente útil cuando las
fuentes de datos distribuidas han
sido minadas localmente y no es
posible el acceso a los datos
originales.
originales
VII Jornadas para el
desarrollo de grandes
aplicaciones
p
de red
(JDARE’10)
Introducción
Estado del Arte
Propuesta: MIC
Modelo Conceptual
Codificación
Síntesis
Representación
Conclusiones
Modelo de Integración de Conocimiento descubierto
mediante Técnicas de Minería de Datos
conclusiones
l i
• A diferencia de otros trabajos
j
publicados, es aplicable no sólo para
la integración
g
de modelos de
agrupamiento o de modelos de
reglas
g
de asociación,, sino que
q
admite la integración de modelos de
MD en g
general q
que se p
puedan
formalizar como conjuntos de
p
patrones.
VII Jornadas para el
desarrollo de grandes
aplicaciones
p
de red
(JDARE’10)
Introducción
Estado del Arte
Propuesta: MIC
Modelo Conceptual
Codificación
Síntesis
Representación
Conclusiones
Modelo de Integración de Conocimiento descubierto
mediante Técnicas de Minería de Datos
conclusiones
l i
• Con la descripción
p
del Modelo
Conceptual se tiene una primera
vista del modelo p
propuesto,
p
, en la
que se detallan tres procesos
fundamentales: Codificación,,
Síntesis y Representación.
VII Jornadas para el
desarrollo de grandes
aplicaciones
p
de red
(JDARE’10)
Modelo de Integración de Conocimiento descubierto
mediante Técnicas de Minería de Datos
conclusiones
l i
• Aplicación
p
y trabajo
j actual
– Proyecto de Minería de Datos y
Metaheurística (GRIAL)
Introducción
Estado del Arte
Propuesta: MIC
Modelo Conceptual
Codificación
Síntesis
Representación
Conclusiones
• Biblioteca que implementa diferentes
algoritmos metaheurísticos, permitiendo
combinar características de varios
varios.
• Prototipo Funcional
– Integración de Reglas de Asociación.
– Integración de Clusters.
• Descubrimiento de predicados difusos en
bases de datos
datos.
• Método de Integración de Árboles de
Decisión, mediante generación de datos
fi ti i
ficticios
Modelo de Integración
g
de
Conocimiento descubierto
mediante Técnicas de
Minería de Datos
Ingrid Wilford Rivera
[email protected]
© 2010,
VII Jornadas para el Desarrollo
De Grandes Aplicaciones de Red