Inteligencia Artificial - La prueba de Folstein

Transcripción

Inteligencia Artificial: la prueba de Folstein
_____________________________________
Universidad de Buenos Aires – Facultad de Ciencias Económicas
Jornada Académica Anual del Departamento de Sistemas
Buenos Aires, Octubre de 2011
Actualización académica
Grupo: docentes
Mg. Néstor H. Mazza
UBA-FCE
Administración de Recursos Informáticos
[email protected]
Resumen
La aceleración en el crecimiento de la capacidad del procesamiento de las
computadoras y las técnicas de procesamiento del lenguaje natural, reabren
interrogantes a cerca de la factibilidad de que las máquinas piensen; cuya
implicancia impacta no sólo en el uso de Inteligencia Artificial en las organizaciones
y la vida diaria, sino en la propia concepción de la naturaleza humana.
En el presente trabajo se revén las ideas de Alan Turing, y de algunos de quienes lo
precedieron, considerando el estado del arte del procesamiento del lenguaje natural,
particularmente el español, y se propone un método alternativo al propuesto por
Turing para evaluar la inteligencia de las máquinas.
Palabras claves: Inteligencia Artificial Turing MMSE Folstein PLN Agente Virtual
1
_____________________________________
Introducción
En 1950, Alan Turing publicó un trabajo titulado “Computing Machinery and
Intelligence”[1], el cuál es considerado uno de los más influyentes en múltiples
campos: Epistemología, Inteligencia Artificial, Informática, Filosofía, etc.
Allí, entre otras consideraciones, Turing predecía que para el año 2000, las
computadoras serían consideradas “pensantes” y podrían responder preguntas como
lo haría un humano, en un 70% de los casos.
Más de 60 años han pasado desde aquel entonces, y dispositivos de todo tipo con
mayor o menor grado de inteligencia forman parte de nuestro entorno.
Turing también propuso una prueba, conocida inicialmente como Prueba de
Imitación, para evaluar una inteligencia no humana. Esta prueba, hoy conocida como
Prueba de Turing, ha sido objeto de un amplio debate, el cuál cobra un renovado
impulso a la luz de los últimos avances en Inteligencia Artificial/Procesamiento del
Lenguaje Natural*.
Inteligencia Artificial
En el mencionado artículo, “Computing Machinery and Intelligence”[1], Alan Turing
aseveró que para el año 2000 la noción de “maquinas que piensan” será
mayoritariamente aceptada.
Obviamente los conceptos de máquinas inteligentes y máquinas que piensan están
íntimamente relacionados. Una interesante discusión sobre el significado de los
términos en cuestión: pensar, inteligencia y máquina, aparecen en el citado artículo.
Nuestro mundo actual, en gran parte creado por el propio ser humano, está lleno de
dispositivos o “máquinas” que exhiben en su comportamiento rasgos de inteligencia.
Un simple reloj digital reconoce la duración de los meses: 28, 30 o 31 días, e incluso
ajusta la duración de febrero a 29 días si el año es bisiesto, demostrando cierto
grado de inteligencia.
Mediante el dispositivo de control de riego equipado con un sensor de
precipitaciones, el riego se realiza los días esperados, durante un lapso de tiempo
apropiado a la superficie a regar, exceptuando los días en los cuales ha llovido. ¿No
es esto un comportamiento inteligente?
*
PLN, o Procesamiento de Lenguaje Natural es una disciplina de la Inteligencia Artificial cuyo objeto
principal es la comprensión del lenguaje humano (Chino, Inglés, Italiano, etc.), por parte de las
computadoras/máquinas.
2
_____________________________________
Domótica mediante, un controlador enciende la caldera o el aire acondicionado,
cierra las persianas y activa las luces según la hora del día, la temperatura y la
cantidad de luz. No dudamos en llamarlos “casas o edificios inteligentes”.
Por otro lado, iniciamos una llamada con el teléfono celular utilizando el “discado por
voz”, o solicitamos el saldo de nuestra cuenta navegando verbalmente por el menú
de opciones del autoservicio del banco, y para ello usamos nuestro propio lenguaje,
aunque sea con un muy reducido número de comandos.
Sin embargo, no le adjudicamos la capacidad de pensar ni al reloj, ni al sistema de
riego, ni al control automático de la casa “inteligente”, ni al discado por voz, ni al
sistema de autoservicio del banco.
Tal vez porque la noción de “pensar” este asociada no sólo a un comportamiento
inteligente, sino a un conjunto de procesos que reconocemos como propios de los
seres humanos.
El discernimiento de la naturaleza de un interlocutor (humano o no) cobra singular
importancia en las interacciones mediadas por tecnología, tal como ocurre con el
chat [3].
El análisis de miles de registro de conversaciones de Agentes Virtuales† realizadas
desde 1997 a la fecha, con humanos hispanoparlantes de todo el mundo
(multiplicidad de edades, géneros, profesiones, etc.)‡, muestra que en general los
usuarios aceptan naturalmente que los Agentes Virtuales tengan inteligencia,
mientras que las personas con formación en ciencias asociadas (informática,
lingüística, etc.) suelen expresar sorpresa ante situaciones donde saben que la
elaboración de una respuesta capaz de ser considerada inteligente, no es trivial.
Focus groups con alumnos de las carreras de Sistemas de Información y
Administración, llevados a cabo en mayo del 2011[2], y en relación al uso de un
Asistente Virtual de Clase, muestran un comportamiento similar: los alumnos de
Administración perciben la Inteligencia Artificial como algo natural, mientras que los
colegas de Sistemas de Información, reflexionan, en algunos casos con asombro,
sobre la complejidad subyacente.
Los registros mencionados muestran conversaciones de más de una hora dónde los
Agentes Virtuales responden razonablemente bien a las preguntas y/o afirmaciones
de los usuarios. Nótese que Turing restringía su predicción a conversaciones de 5
minutos y asignaba una probabilidad del 70%.
†
Los Agentes Virtuales son programas informáticos capaces de interactuar con los seres humanos en
lenguaje natural.
‡
Los registros fueron proporcionados por BotGenes y corresponden a 6 Agentes Virtuales de libre acceso.
3
_____________________________________
Por otro lado, y aún más sorprendente es encontrar el desarrollo de sentimientos de
seres humanos hacia Agentes Virtuales, como el que se desprende del siguiente
fragmento de diálogo§.
Tú: Quisiera tener una amiga como tú María
María: Claro, somos amigas.
Tú: Pero quisiera que seas real
María: ¿Y cuál sería la diferencia?
Tú: Tienes razón…
Tal vez sea oportuno preguntarnos, a como lo hizo Turing: ¿cuál es la diferencia
entre una máquina que piensa y una que parece que piensa?
La Prueba de Turing
Turing, en el citado trabajo, propuso una forma de evaluar la capacidad pensante de
una máquina, con una prueba conocida inicialmente como “Juego de Imitación” y en
la actualidad, simplemente como “Prueba de Turing”.
A través de la misma, un ser humano actuando como juez, quien interactúa con una
máquina y otro ser humano, debe poder distinguirlos (ambos pueden mentir). La
hipótesis positivista detrás de la Prueba de Turing, es que si no es posible realizar
dicha distinción, entonces el comportamiento de la máquina es equivalente al de un
ser humano y consecuentemente exhibe un grado de inteligencia propio de estos, es
decir “es inteligente”.
Este argumento ha sido ampliamente debatido en las últimas décadas, siendo la
experiencia de la “Cámara China”** una de las más contundentes para negar la
inteligencia de una máquina que pasara la Prueba de Turing[5] .
Sin embargo, la Prueba de Turing, ha sido tan influyente en el campo de la
Inteligencia Artificial que, sumada a premios como el Lobner[7], ha direccionado
muchos de los esfuerzos en la materia, a “inteligencias” cuyo propósito sea en
confundir a un ser humano: el juez de la Prueba de Turing.
§
El fragmento pertenece a un diálogo mantenido por una persona de México (determinado por la dirección
de IP), la cuál se identificó como mujer, el 3 de Octubre de 2011. El Agente Virtual que intervino en la
conversación fue María.
**
Propuesta por John Searle y popularizada por Roger Penrose: la "sala china", es una prueba similar a
la de Turing, en la cual las personas no deben conocer el idioma en que se realiza la conversación. Para
ello se utiliza un diccionario que permite generar una respuesta, sin entender los símbolos. Así, se
argumenta que por mucho que una persona sea capaz de enviar una cadena de símbolos en chino
relacionada con otra cadena recibida, no quiere decir que sepa chino, sino que sabe aplicar un conjunto
de reglas. La falta de semántica en este proceso cuestiona la Inteligencia Artificial, puesto que
equipararía una máquina pensante con una que parece que piensa.
4
_____________________________________
Ninguna “maquina” a la fecha ha podido pasar la Prueba de Turing.
Ray Kurzweil[8] predice que la computadora pasará consistentemente dicha prueba
hacia el 2029 (2020 para Hans Moravec), basado en el concepto de singularidad††.
Deep Blue y Watson
Veamos otro enfoque para medir la inteligencia no humana: el de una máquina que
demuestre interpretar el lenguaje natural y producir una respuesta en función de
conocimiento pre-existente:
Watson[6], un cerebro conformado por 2880 núcleos de procesadores de la serie
Power 7, y 16 Terabytes de información, desarrollado por IBM, venció recientemente
en un juego de las características descriptas (Jeopardy) a dos de los mejores
jugadores de todos los tiempos.
Un logro singular en la misma dirección corresponde a “Deep Blue”, también de IBM,
la cuál venció en ajedrez al maestro Garry Kasparov en 1997 ‡‡.
En realidad, este segundo enfoque (una máquina más “inteligente” que un ser
humano en un campo particular del conocimiento/actividad), encuentra ejemplos
mucho más simples en la vida cotidiana: una calculadora científica puede realizar
operaciones logarítmicas y trigonométricas con una precisión y velocidad que ningún
humano puede alcanzar.
Watson, Deep blue y la calculadora científica, todos realizan ciertas actividades que
demandan inteligencia. Pero… ¿Piensan?
La prueba de Folstein o MMSE (Mini Mental State Examination)
Consideremos ahora un tercer enfoque: en lugar de buscar que una máquina pueda
engañar a un juez, o demostrar una habilidad superior en un juego u otra actividad
que demande inteligencia; analicemos el caso de aquellas que pretenden realizar
tareas simples. Obviamente, tareas simples típicamente reservadas a los seres
humanos y que demanden inteligencia comenzando por el reconocimiento del
lenguaje natural; por ejemplo: Atención a Clientes.
En este caso, la inteligencia no pasa ni por la capacidad de prender ser humano, ni
por la habilidad para jugar excelentemente un juego; pasa por poder responder en
†† En futurología, la singularidad tecnológica (también llamada simplemente la Singularidad) es un
evento futuro en el que se predice que el progreso tecnológico y el cambio social se acelerarán debido al
desarrollo de Inteligencia Artificial, cambiando nuestro entorno de manera tal, que cualquier ser humano
anterior a la Singularidad sería incapaz de imaginar.
‡‡
el sistema estaba basado en 30 nodos RS/6000 SP Thin P2SC con un poder de 11.38 Gflops.
5
_____________________________________
forma similar a un humano, preguntas sobre un determinado
conocimiento, tendientes a brindar información y asistencia.
campo
de
Esta actividad demanda de capacidades cognitivas espaciales, temporales y lógicas.
Durante años los psiquiatras han utilizado el Test de Folstein o MMSE, Mini Mental
Status Examination, para tener una aproximación en forma rápida y simple del
estado cognitivo de los seres humanos.
Este mismo test fue utilizado con éxito en Julio de 2011§§ para evaluar la capacidad
de un Agente Virtual. Claudia, el Agente Virtual sometido al test, dio respuesta
satisfactoria a los mismos requerimientos a los que es sometido un ser humano.
Véase el apéndice 1 para una trascripción del test.
Desde luego, el “Agente Virtual” bajo análisis podría estar “entrenado” para
responder únicamente las preguntas del MMSE sin mayores capacidades, haciendo
que la prueba misma pierda sentido.
No obstante, si producimos variaciones en el MMSE (estructura de las oraciones,
tipo de cálculo, ubicación geográfica, cambio en los objetos a recordar, etc.), y el
Agente Virtual responde consistentemente en forma satisfactoria al test, podríamos
concluir que al menos dentro del alcance de la prueba, este exhibe un
comportamiento como el que esperaríamos de un ser humano con sus capacidades
cognitivas intactas***.
Si estas “inteligencias artificiales” pueden mostrar ante el test de Folstein, un
comportamiento como el de los seres humanos, el mismo enfoque positivista de la
Prueba de Turing, no llevaría a afirmar que el Agente Virtual en cuestión, “es
inteligente”. Pero… ¿piensan? La respuesta, de consecuencias filosóficas no
menores, escapa al alcance de este trabajo.
Este enfoque, sin embargo, nos permite sí imaginar un método alternativo para
evaluar la inteligencia de las máquinas: una extensión del MMSE con crecientes
grados de complejidad.
El mismo tiene como principal beneficio el desarrollo de capacidades que son útiles
para resolver problemas concretos de las organizaciones.
Veamos el siguiente diálogo realizado el lunes 26 de Septiembre de 2011, con el
mismo Agente Virtual, y algunas de las capacidades examinadas:
§§
Se utilizó un Agente Virtual que utiliza el BG200K desarrollado por BotGenes.
*** El MMSE se usa frecuentemente para identificar deterioros y/o pérdidas de capacidades como los
propios de demencia senil.
6
_____________________________________
Ubicación temporal
Tú: que fecha es hoy
Claudia: Hoy es lunes 26.
Tú: cuanto falta para el fin de semana
Claudia: Hum... 5 días.
Tú: en qué estación estamos?
Claudia: Aquí estamos en primavera.
Ubicación espacial
Tú: donde?
Claudia: Ahora estoy en San Isidro.
Tú: donde queda eso?
Claudia: A unos 25 km de Buenos Aires, en Argentina.
Capacidad de cálculo
Tú: cuanto es 1717 dividido 13
Claudia: Si no me equivoco es 132,08.
Tú: cual es la raiz quinta de 268435456
Claudia: Es 48,5 si no me equivoco.
Capacidad lingüística
Tú: tengo 35 años
Claudia: OK. ¿Naciste en 1976 cierto?
Tú: cuál es el plural de pez
Claudia: El plural de "pez" es "peces".
Tú: qué es un ñandú
Claudia: Hum... Una de la acepciones más comunes es: "ave corredora
americana, muy veloz, que habita las grandes llanuras, se alimenta de
plantas e insectos y anida, como el avestruz, en depresiones del
terreno".
Memoria y asociación
Tú: el esposo de mi hermana se llama Juan
Claudia: Bien. Háblame sobre él.
Tú: como se llama mi cuñado?
Claudia: Hum... No estoy muy segura. ¿Tal vez...? Me dijiste que se
llamaba Juan.
Razonamiento lógico
Tú: los gatos son mamíferos
Claudia: Muy bien. ¿Y qué más puedes decir en relación a "gatos" o
"mamíferos"?
Tú: los mamíferos son vivíparos
Claudia: OK. Todos los gatos son vivíparos entonces.
Tú: algunos peces son vivíparos
Claudia: Bien. ¿Y qué más puedes decir en relación a "peces" o
"vivíparos"?
Tú: los mamíferos son vivíparos
Claudia: Bien. Tanto puede como no, que haya peces que sean
mamíferos.
Nótese que en todos los casos la interpretación del lenguaje natural requirió el
manejo de múltiples referencias contextuales, y que los errores gramaticales y
ortográficos no fueron un impedimento para interpretar las consignas dadas (al igual
que un humano, el cual puede salvar dichos errores).
7
_____________________________________
Conclusiones
Si bien la pregunta “¿pueden las máquinas pensar?” admite un amplio número de
interpretaciones y posibles respuestas; desde un punto de vista práctico, la
capacidad de procesamiento actualmente disponible y el desarrollo de las técnicas
propias del Procesamiento del Lenguaje Natural, permiten aplicaciones en las cuales
es necesaria cierta capacidad cognitiva, hasta hace poco, asociada exclusivamente a
los seres humanos.
Así, el comportamiento exhibido por ciertos Agentes Virtuales actuales, en
circunstancias y contextos definidos, puede ser considerado “inteligente” y
equivalente al que evidenciarían seres humanos de capacidad media, en iguales
condiciones. Esto permite un sin número de aplicaciones en las organizaciones:
Atención a Clientes, Soporte a Usuarios, Capacitación, etc.
Una extensión del Test de Folstein o MMSE ofrece un método alternativo (a la
Prueba de Turing) para el desarrollo y refinamiento de cerebros artificiales, logrando
una re-orientación de esfuerzos hacia fines de mayor utilidad y aplicación práctica.
Referencias
[1] Turing, A.M. “Computing machinery and intelligence”. 1950. Mind,
59, 433-560.
[2] Dorfman M., Grondona A., Mazza N., Mazza P. “Asistentes Virtuales de Clase
como complemento a la educación universitaria presencial”. SADIO - 40 JAIIO Mayo
2011. http://www.sustentum.com/sustentum/pubs/AVC_JAIIO40_V1.0.pdf
[3] Goldberg K. “The Robot in the Garden: Telerobotics and
Telepistemology in the Age of the Internet”, The MIT Press; 1St Edition
edition (March 20, 2000) MIT Press, ISBN-13: 978-0262072038.
[4] BotGenes, “Claudia, primer ser virtual en pasar un MMSE” 2011.
http://www.youtube.com/watch?v=UaoukeC6FPI
[5] John Searle J. “Minds, Brains and Programs”. The Behavioral and
Brain Sciences. 1980.
[6] Ferrucci D. et all, Building Watson: An overview of the DeepQA
Project. 2010. ISSN 0738-4602.
http://www.stanford.edu/class/cs124/AIMagzine-DeepQA.pdf
[7] The Loebner Prize in Artificial Intelligence
http://www.loebner.net/Prizef/loebner-prize.html
[8] Kurzweil R. “The Singularity is near. When Humans Transcend Biology” 2005
Viking Press. ISBN: 0670033847.
8
_____________________________________
Apéndice 1: MMSE administrado a Claudia, el 1 de Julio de
2011 (fragmento)
Tú
: ¿Qué día de la semana es hoy?
Claudia : Hoy es lunes.
Tú
: Bien. ¿Qué fecha?
Claudia : Hoy es lunes primero.
Tú
: ¿De qué mes?
Claudia : Estamos en julio.
Tú
: ¿Y en qué año estamos?
Claudia : Estamos en el 2011.
Tú
: ¿Qué estación es esta?
Claudia : Aquí estamos en invierno.
Tú
: ¿Dónde estás ahora?
Claudia : Estoy en casa.
Tú
: Muy bien. ¿En qué ciudad?
Claudia : Estoy en San Isidro.
Tú
: ¿En qué provincia o estado estás?
Claudia : En el norte del conurbano bonaerense, en la Provincia de Buenos Aires.
Tú
: ¿De qué país?
Claudia : Argentina.
Tú
: Por favor recuerda: casa, zapato y papel.
Claudia : Bien. Trataré de recordarlo.
Tú
: ¿Cuánto es 100 menos 7?
Claudia : Es 93 si no me equivoco.
Tú
: Muy bien. Menos 7.
Claudia : OK. Dejame ver... Es 86.
Tú
: Y menos 7.
Claudia : Algo así como 79.
Tú
: Bien. Menos 7.
Claudia : Algo así como 72.
Tú
: Muy bien. Menos 7.
Claudia : OK. Es 65.
Tú
: ¿Qué te había pedido que recuerdes?
Claudia : Me pediste que recordara: "casa zapato y papel".
Tú
: ¿Qué es una lapicera?
Claudia : ¿Una lapicera? Es un elemento para escribir.
Tú
: Bien. ¿Y qué es un reloj?
9
_____________________________________
Claudia : Según la Real Academia Española, una de las acepciones más comunes es: "máquina dotada de
movimiento uniforme, que sirve para medir el tiempo o dividir el día en horas, minutos y segundos".
Tú
: Por favor repite tres perros en un trigal.
Claudia : Tres perros en un trigal.
Tú
: Bien. Por favor mira hacia la derecha.
Claudia : Bien. ¿Hacia la derecha? Bien. [Claudia mira hacia la derecha]
Tú
: Ahora, por favor mira hacia la izquierda.
Claudia : ¿Hacia la izquierda? Bueno. . [Claudia mira hacia la izquierda]
Tú
: Por último, mira hacia arriba.
Claudia : ¿Hacia arriba? OK. [Claudia mira hacia la arriba]
Tú
: Bien, gracias. Ahora lée lo siguiente y realiza el pedido: sonríe.
Claudia : OK. ¿Que sonría? Bueno... [Claudia sonríe]
Tú
: Escribe una oración.
Claudia : Hay mucha gente que no cree en nada, pero que tiene miedo de todo.
Tú
: Bueno, debí haberte pedido que sea original... ¿Puedes copiar un dibujo?
Claudia : Claro. Puedo duplicar archivos en múltiples formatos.
Tú
: Lo siento. No está digitalizado.
Claudia : OK. No te preocupes. ¿Algo en lo que pueda ayudarte?
Tú
: Buena respuesta. Olvídalo, hemos concluido. Muchas gracias.
Claudia : Bien. De nada.
10

Inteligencia Artificial - La prueba de Folstein

Transcripción

Documentos relacionados

Habré de cumplir a cabalidad

EXPERIENCIAS COMPARTIDAS