REDES NEURONALES

REDES NEURONALES ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
Semestre
2010/2
2009/2 2010/2
INTRODUCCIÓN A LAS REDES NEURONALES
La forma como el cerebro humano procesa la información es
completamente diferente a la forma como la procesa un
computador digital:
• Es un sistema altamente complejo y no lineal.
• Procesa la información de forma paralela.
• Tiene la capacidad de auto organizar su estructura
interna (conformada por componentes simples llamados
neuronas), con el fin de realizar funciones complejas
(de reconocimiento de patrones, control motor,
percepción, etc), increíblemente más rápido que los
computadores modernos.
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
INTRODUCCIÓN A LAS REDES NEURONALES
Cerebro
Computador
Unidades Computacionales
1011Neurons
1CPU 105Gates
Velocidad de procesa.
10-2s (100hz)
3 Ghz
Unidades de Memoria
1011Neur, 1014Syn
1010Bits
Estilo de procesamiento
paralelo
Secuencial
Ancho de Banda
1014 Bit/Sec
109 Bit/Sec
No. Procesadores
1011-1012
pocos
Conexiones
10.000/proce.
pocas
Actualiz Neuronas/Sec
1014
105
Tolerancia a fallas
Amplia
nula
Alma. del conocimiento
distribuido
Centralizado
Tipo de control
Auto-organizado
centralizado
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
Sistemas Difusos Vs Redes Neuronales
Modelos basados en RN y
MSV
Caja negra
Caja blanca
No se tiene conocimiento
previo, pero se tienen
medidas (datos),
observaciones, records
Se establece el concepto de
aprendizaje a partir de los datos
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
Modelos basados en LD
Se dispone de un
Conocimiento estructurado
(experiencia, experticia,
o heurísticas ). Se expresa
generalmente en reglas
R1: Si la Velocidad es
alta y distancia es
pequeña
entonces la fuerza en
el
freno debería ser
grande.
R2: Si……
UNIVERSIDAD EAFIT
2010/2
2009/2
Sistemas Difusos Vs Redes Neuronales
En algunos casos se puede disponer de ambos: conocimiento previo y
algunos datos
Caja gris
En esta situación se usan ambos: modelos neuro difusos
o modelos fuzzy-neuro
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
INTRODUCCIÓN A LAS REDES NEURONALES
Tipos de neuronas:
• Interneuronas, envían información a otras neuronas.
• Motoras: entregan la información directamente a los
músculos.
• Receptoras o sensoras: reciben la información
directamente del medio externo.
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
INTRODUCCIÓN A LAS REDES NEURONALES
Transmisión de la información nerviosa:
• El potencial en la soma se controla por concentraciones de
iones tales como: Na+, K+, Ca2+ y P2• El voltaje de reposo de la neurona es de aprox. -60 mV.
• La soma integras (suma) las excitaciones que entran por
las dendritas.
• Cuando pasa el umbral de -40 mV se genera el potencial de
acción.
• típicamente la frecuencia de disparo oscila entre 1-100P/s
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
INTRODUCCIÓN A LAS REDES NEURONALES
Soma: 10-80 micrometros.
Axón: 100 micras – a metros (“nervios”)
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
REDES NEURONALES ARTIFICIALES RNA
Consisten en unidades de procesamiento densamente
interconectadas , llamadas neuronas por su similaridad
funcional con las neuronas biológicas. Las unidades de
procesamiento reciben, pro-cesan y transmiten señales, tal
como las neuronas biológicas.
Estructura de una red neuronal:
• Imitan la estructura de las rede neuronales biológicas.
• Es un sistema que procesa la información de forma
paralela, distribuida y es adaptativo.
• Son redundante y tolerantes a fallas.
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
REDES NEURONALES ARTIFICIALES RNA
"Las redes neuronales artificiales son modeladas a partir
de la observación de la estructura (física) del cerebro".
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
MODELO DE UNA NEURONA
Una neurona es una unidad básica de procesamiento de
información, la cual es la base para el diseño de redes
neuronales artificiales.
Un conjunto de synapses, o conexiones o pesos
Una función de activación
Un sumador o “mezclador” lineal
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
Polarización
2010/2
2009/2
COMPOSICION DE UNA NEURONA ARTIFICIAL
Los nueve componentes principales del funcionamiento de las
Redes Neuronales Artificiales son:
1)
2)
3)
4)
5)
6)
7)
8)
9)
Un conjunto de unidades de procesamiento (neuronas);
Un estado de activación (variable de estado);
Una función de salida para cada unidad;
Un conjunto de conexiones (patrón de conectividad);
Un conjunto de reglas de propagación para propagar las
señales de salida a través de la RNA.
Una regla de combinación;
Una regla de activación;
Una regla de modificación;
Un ambiente en el cual opera la RNA.
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
1. Conjunto de unidades de procesamiento Tres tipos de unidades:
•Unidades de entradas, reciben señales del
ambiente
•Unidades de salida, transmiten las señales
fuera de la RNA
•Unidades ocultas, sólo reciben señales de
unidades que pertenecen a la RNA.
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
2. Estado de activación Magnitud de la variable de estado de la
unidad (por ej. 1 o 0)
Los valores de activación pueden ser
discretos o contínuos, y limitados o ilimitados.
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
3. Función de salida La señal de salida de una unidad varía con su
actividad, de acuerdo con una función de
salida, generalmente una función de saturación
no lineal.
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
Diferentes funciones de salida ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
4. Conjunto de conexiones Las unidades de procesamiento están
interconectadas. Con cada conexión se asocia
un peso conocido como peso de conexión o
peso sináptico. La magnitud de cada peso
representa la eficiencia con la cual la señal de
salida de una unidad es transmitida a la otra.
Según el signo del peso las señales entrantes
pueden ser excitatorias (+), inhibitorias(-), o
nulas (0).
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
5. Conjunto de reglas de propagación Una entrada en una unidad puede ser una
versión en escala de la señal de salida recibida,
pero también puede ser más compleja si, por
ej., el peso sináptico es modulado por alguna
señal de salida.
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
6. Regla de combinación Necesaria para generar la entrada neta de las
señales de salida pesadas o moduladas
provistas por la regla de propagación. En el
caso de una simple suma de estas señales, la
regla de combinación es del tipo simple; en
cualquier otro caso se nombrará como del tipo
complejo.
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
7. Regla de activación Necesaria para combinar la señal de entrada
con el estado actual. La regla de activación
puede ser una ecuación diferencial con
respecto al tiempo, en el caso contínuo, o una
ecuación diferencia en el caso discreto. Además
la regla de activación puede ser determinística o
estocástica. En este último caso, se incluye una
fuente de ruido para producir cierta
incertidumbre sobre el estado presente de la
unidad.
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
8. Regla de modificación La modificación del funcionamiento de una RNA
en función del tiempo requiere la modificación
de patrones de conectividad con el tiempo,
usando alguna regla de modificación.
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
9. Ambiente Provee las señales a las unidades de entrada.
Las señales de entrada pueden ser discretas o
contínuas, constantes o dependientes del
tiempo, y determinís-ticas o estocásticas.
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
Unidad neuronal 
 n
ai  g ini   g  W j ,i a j 

 j 0
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
Función de neurona simple La entrada escalar p es multiplicada por el escalar peso w para generar wp y
enviada a la sumatoria, la otra entrada es multiplicada por un bias y también
enviada a la sumatoria. La salida de la sumatoria es a menudo referida como
la entrada neta , la cual se envía a una función de transferencia f la cual
produce la salida escalar de la neurona a . Notar que w y b son parámetros
escalares ajustables en la neurona.
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
Neurona multientrada ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
Red Neuronal monocapa ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
Red Neuronal multicapa ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
Red Neuronal multicapa Red de una sola capa (hacia adelante)
w
w
x
x
w
y
1
y
2
x1
y1
12
n1
w
w
2
w
x
11
1
w
Red multicapa (hacia adelante)
2 1
n 2
w
22
x2

2 m
1m


w
y
nm
m
n












xm
yn
entrada
Red recurrente de una sola capa
1
y1
x1
x
2
y
x2
2



m
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
escondidas
salida
Red recurrente multicapa
x
x
y2
y
n
y1
y2









xm
UNIVERSIDAD EAFIT
yn
2010/2
2009/2
Salida
Entrada
..
.
..
.
Reconocedor
Neuronal
de Sonidos
Pistola1, pistola2?
Conocimiento
pistola1
Operaciones básicas Aprendizaje supervisado
Los pesos de las conexiones se ajustan de manera tal que se
reduzcan las discrepancias entre la salida real y la deseada, para todos
los pares entrada/salida del conjunto de entrenamiento.
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
Redes Neuronales de retropropagación Las neuronas artificiales reciben, procesan y
comunican actividades y debido a esto, sus
estados cambian con el tiempo. La red es
enfrentada a un patrón de entrada y, gracias
a enlaces que realimentan a la red, va
actualizando su estado.
Las redes neuronales artificiales analógicas
son usadas en la resolución de problemas de
optimización.
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
Control con Redes Neuronales Función de aproximador
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
Control con Redes Neuronales Aplicado por ejemplo en control de la trayectoria del brazo de un robot. La
entrada total que entra a la planta es la suma entre el realimentador y la salida
de la RNA, el cual es el modelo dinámico inverso de la planta. El modelo usa la
trayectoria deseada como la entrada y el ralimentador como una señal de error.
A medida que el entrenamiento de la RNA avanza, la entrada puede converger
a cero.
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
Control con Redes Neuronales Entrada gas
Sensor
cátodo frío
TPG 300
Válvula de
aguja
2 x10 -3 mB
Sensor
pirani
Cámara
de vacío
Válvula
electroneumática
Bomba
de vacío
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
Control con Redes Neuronales tanhw1  V   b1   f
w2  f   b2   p
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
w1: vector deseado de capa 1
V : voltaje leído
b1: vector bias de capa 1
w2: vector deseado de capa 2
b2: vector bias de capa 2
p: presión obtenida con la red
UNIVERSIDAD EAFIT
2010/2
2009/2
BIBLIOGRAFIA • “Neuro-Fuzzy and soft computing”, J.S. Roger Jang, C. Tsai Sun, Eiji
Mizutami, Prentice Hall, 1997.
• “Learning and soft computing: support vector machines, neural
networks, and fuzzy logic models” Vojislav Kecman. MIT Press, 2001.
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2
ControlEmbebidos
e Instrumentación Electrónica
Sistemas
UNIVERSIDAD EAFIT
2010/2
2009/2