Evaluación Diagnóstica Cognitiva.

Transcripción

Evaluación Diagnóstica Cognitiva
(Cognitive Diagnostic
Assessment, CDA)
Roberto D. Cáceres Bauer
Unidad de Evaluación, Dep. de Educación Médica, Facultad de Medicina,
UDELAR.
(PARTE I)
Teorías Psicométricas y
Evaluación Cognitiva
TEORÍA CLÁSICA DE LOS
TESTS(CTT) Y EVALUACIÓN
COGNITIVA.
1. Introducción.
La construcción de tests de evaluación cognitiva, basada en
CTT, en su origen, se sustentan en teorías y técnicas que no
incorporan el conocimiento actual en ciencias cognitivas
(Psicología Cognitiva, Neurociencia Cognitiva).
•
•No se consideran modelos acerca de las estructuras
específicas de conocimiento o los procesos mentales o
cognitivos involucrados.
CTT y Evaluación Cognitiva.
• Puntaje Observado del Test = Puntaje Verdadero Test + error
•La aplicación de CTT a la evaluación cognitiva permite
desarrollar instrumentos de evaluación con propiedades
psicométricas conocidas que caracterizan el test: confiabilidad,
validez predictiva, validez de criterio.
•La estrategia para establecer la validez de constructo, es
relativamente débil y limitada.
• El análisis factorial exploratorio de tests construidos usando la
CTT ha permitido desarrollar una taxonomia de habilidades
cognitiva en los seres humanos.
CTT y Evaluación Cognitiva.
•No obstante, los escores totales de tests desarrollados dentro
del marco de la CTT son una forma limitada de caracterización
de los sistemas cognitivos relacionadas con las respuestas a
un test.
• La relación entre el puntaje total en un test y las estructuras de
conocimiento y procesos mentales involucrados es muy
compleja.
•La selección de contenidos de los tests es “artesanal” y
subjetiva.
TEORÍA DE RESPUESTA A LOS
ÍTEMS (IRT)Y EVALUACIÓN
COGNITIVA.
TRI y Evaluación Cognitiva.
• En la TRI se obtienen modelos probabilísticos que dan la
probabilidad de respuesta correcta a un ítem.
•Un ítem está compuesto por un estímulo complejo y un
conjunto de prescripciones acerca de cómo responder a dicho
estímulo.
•La interacción de un cierto dominio de sujetos y ítems es
caracterizada en un espacio latente en el cual cada sujeto y cada
ítem tiene sus coordenadas.
•La estimación de los parámetros de los ítems
estadísticamente independiente de la muestra de sujetos.
es
Ejemplo Modelo unidimensional 3pl:
P ( X  1/ i ,  j )  c j  (1  c j )
i: habilidad latente
j: dificultad del ítem
j: asíntota inferior
cj: asíntota inferior
 j i  j 
e
 j i  j 
1 e
Ejemplo Modelo unidimensional 3pl: Test de Evaluación
de Paridad.
1.0
Item Characteristic Curves
par4
0.8
par3
j
Item 

1
4
-1.836 12.19
0.023
2
7
-0.672 16.24
0.756
3
9
-0.609 14.44
0.611
4
6
-1.309 14.32
0.331
c
0.6
0.4
0.2
0.0
Probability
par2
par1
-4
-2
0
Ability
2
4
•El hecho de que el ítem es el elemento básico, es en si
mismo un avance importante desde el punto de vista de la
evaluación cognitiva, si se pretende estudiar cómo se
procesan los estímulos que forman parte de un ítem.
•En general, los modelos de TRI se usan para modelizar la
distribución conjunta del patrón de respuesta de los ítems.
•La distribución conjunta de los patrones de respuesta son
una caracterización más rica del proceso de respuesta
que la distribución de puntajes totales y dificultades
clásicas de los ítems, potencialmente más informativa
para el estudio del sistema cognitivo subyacente
relacionado con un test.
(Parte II)
•La evaluación diagnóstica cognitiva se basa en la psicología
cognitiva y ciencias cognitivas que dan los fundamentos
teóricos para la evaluación, en particular para la selección de
contenidos de la evaluación.
•La evaluación diagnóstica cognitiva (CDA) en el contexto de
la educación, tiene el propósito de medir las estructuras de
conocimiento específicas y habilidades de procesamiento en
sujetos de tal forma de proveer información sobre sus
fortalezas y debilidades cognitivas.
Diferentes Enfoques en Evaluación
Diagnóstica Cognitiva
Diseño Cognitivo de Test.
Diseño Cognitivo de Test.
Embretson (1992)
• El diseño cognitivo de test es un marco para utilizar la
teoría cognitiva en el diseño de test de habilidades.
•El marco conceptual es una reformulación del concepto de
la validez de constructo para darle un papel central a la teoría
cognitiva en el desarrollo de tests.
•El marco procedural es una serie de etapas requeridas
para alcanzar simultaneamente propiedades optimas
psicométricas y cognitivas.
Ejemplo: Linear Logistic Trait Model: LLTM
Fischer (1973)
P( X ij  1) 
exp(i  m q jm  d )
m
1  exp(i  m q jm  d )
b   m q jm  d
m
*
j
m
qjm=factor m de complejidad cognitiva del item j
m=peso del factor m en la dificultad del ítem
d=constante de normalización
Propiedades del sistema de diseño
cognitivo de test.
(1) El contenido del test es delimitado por principios explícitos.
(2) El significado de los puntajes está vinculado a los procesos
cognitivos subyacentes.
(3) Los parámetros de los ítems representan las fuentes de
complejidad cognitiva en el ítem.
(4) Las habilidades son vinculadas a los procesos que
subyacen a la dificultad de la tarea.
Modelos de Estudiantes
Sistemas de Producción
Anderson (1993)
• Un sistema de producción es un conjunto de reglas de
condiciones y acciones que son llamadas producciones.
• Cuando la condición de una producción se verifica, su
acción se produce, resultando en un cambio que puede
hacer que se verifiquen las condiciones para nuevas
producciones.
• Se producen comportamientos dinámicos flexibles y
complejos.
• Las acciones cognitivas tienen lugar con la restricción
de un sistema de capacidad limitada llamado Memoria de
Trabajo.
Anderson (1993)
• Pueden estar involucradas cientos de producciones en el
modelo.
• Las operaciones de muchas producciones son internas al
sistema cognitivo y no observables.
• Se asume que el aprendizaje puede ocurrir con la
presentación de cada problema adicional.
• Estimaciones del aprendizaje del estudiante de cada
regla de producción son mantenidas y actualizadas
mediante técnicas bayesianas.
• Este modelo puede ser usado de hecho para resolver
problemas.
Anderson (1993)
E -> “Error”;
P ( Ln / Cn )  P ( Ln 1 / Cn )  1  P ( Ln 1 / Cn )  P(T )
C-> “acción
correcta”;
P( Ln / En )  P ( Ln 1 / En )  1  P ( Ln 1 / En )  P(T )
L-> “Estado
Aprendido”;
P ( Ln 1 ) P(C / L)
P ( Ln 1 / Cn ) 
P ( Ln 1 ) P(C / L)  P (U n 1 ) P(C / U )
P( Ln 1 ) P( E / L)
P( Ln 1 / En ) 
P ( Ln 1 ) P( E / L)  P (U n 1 ) P( E / U )
U-> “Estado no
Aprendido”,
n-> etapa n-ésima
de aplicación de una
regla;
T-> transición del
estado U al estado L
dado la oportunidad
de aplicar la regla.
Inferencia basada en probabilidad en
diagnóstico cognitivo.
Mislevy (1995)
• Espacio de modelos de estudiantes: caracterización
simplificada de los conocimientos de los estudiantes, habilidades,
y/o estrategias, indexadas por variables que indican sus aspectos
clave.
• A partir de la teoría y datos, se postulan probabilidades para las
formas en que los estudiantes con diferentes configuraciones en
el espacio resolverán problemas, responderán preguntas, etc.
• La aplicación de teoría de probabilidades permite asignar a las
observaciones de las acciones de un estudiante valores más
probables de los parámetros en un modelo de estudiante.
Redes de Inferencia.
Mislevy (1995)
•“Independencia Condicional”: Un conjunto de variables puede
estar relacionado en una población, pero son independientes
dado un segundo conjunto de variables.
•Representación Recursiva de la distribución conjunta de las
variables:
n
P( X 1 , X 2 ,..., X n )   P( X j / X j 1 ,..., X 1 )
j 1
• La representación recursiva y las relaciones de independencia
y dependencia condicional simplifican en gran medida la
expresión de la distribución conjunta.
Mislevy (1995)
•La red se puede representar por un grafo dirigido acíclico
• Las direcciones indican que variables son escritas cómo
condicionales en otras en la representación.
• Acíclico refiere a que no se pueden dar ciclos de dependencia
entre las variables.
• Cada variable es un nodo en el grafo.
• La dirección de la flecha va de los eventos condicionantes a
los eventos condicionados.
Mislevy (1995)
•“Cliques”:subconjunto de variables que están todas ligadas por
pares unas a las otras.
• “Intersección de cliques”: conjunto de variables comunes a
dos cliques.
•“Cliques” y “Intersecciones de Cliques” son la estructura para la
actualización local de la red.
•“Representación conjunta del árbol” representa la estructura
conectada en forma simple (por un solo camino) de “cliques” y
“intersecciones de cliques”.
Mislevy (1995)
•“Tablas Potenciales” contienen distribución conjunta de “cliques”
y intesecciones.
•Las “tablas potenciales” se usan para hacer actualizaciones
locales de la red.
•Las actualizaciones se realizan cada vez que se recoge nueva
evidencia, esto es cada vez que una variable observable cambia
de valor.
Aplicación al diagnóstico cognitivo.
Mislevy (1995)
•“Universo de modelos de estudiantes”: es un “supermodelo”
que está indexado por parámetros que significan distinciones
entre estados de comprensión.
• es un vector de parámetros del modelo de estudiante.
• Los parámetros en  pueden ser cuantitativos o cualitativos, y
los cualitativos pueden ser ordenados, parcialmente ordenados
o no ordenados.
• El problema de modelización es delinear los estados o
niveles de comprensión en el dominio de aprendizaje.
Mislevy (1995)
•“Modelo de rendimiento” consiste de una base de
conocimiento y reglas de manipulación que pueden ser
ejecutadas en un dominio de interés.
• El “problema de construcción de tareas” es la elaboración
de situaciones para las cuales los estudiantes que difieren en
los parámetros del espacio es probable que se comporten en
formas observables diferentes.
• P(X/), es la probabilidad condicional de diferentes
comportamientos dado los estados no observables del
estudiante, X representa las observaciones.
Mislevy (1995)
• El problema de inferencia es razonar desde las observaciones
a los modelos de estudiante, para lo cual se usan las redes de
inferencia y los cómputos locales.
•La “construcción del modelo” y “construcción de ítems”
definen las variables relevantes (variables del modelo de
estudiante  y las variables observables X) y proveen de las
probabilidades condicionales.
Aplicación al diagnóstico Cognitivo.
Mislevy (1995)
•P( ) y P(X/  ) implican lo que se espera inicialmente para lo
que se puede observar a partir de un estudiante.
• Una
vez que se tienen nuevas observaciones se revisan las
probabilidades sobre la red para hacer inferencias acerca de 
dado X mediante P( / X )  P(X/  ) P( ).
• P( / X ) carácteriza la creencia acerca de un modelo particular
de estudiante después de haber observado una muestra de el
comportamiento del estudiante.
Atributos Psicométricos
Atributos psicométricos.
• Los atributos caracterizan los ítems de un test.
• Los atributos pueden ser interpretados como procesos
cognitivos o habilidades que son requeridos para un
desempeño correcto en un ítem particular de un test.
• Un atributo puede ser también una producción individual
en un modelo de sistema de producción de habilidad.
• Un atributo puede ser en otros casos conceptos más vagos
como “aprendizaje de fracciones” o “habilidades de
razonamiento matemático”.
Rule Space Model.
Kikumi K. Tatsuoka
Rule Space Model.
Kikumi K. Tatsuoka
• El “análisis de espacio de reglas” es una aproximación probabilistica a la
evaluación diagnóstica cognitiva cuyo propósito es identificar los estados de
conocimiento de los examinados, basándose en el análisis de los requerimientos
cognitivos de la tarea, también llamados atributos.
• Un atributo de una tarea es una expresión de una dimensión latente de la tarea
que es requerida en orden de completar la tarea exitosamente.
• Algunos ejemplos de tipos de atributos son: procedimientos, heurísticas,
estrategias, habilidades, y otros conocimientos componentes.
Rule Space Model.
Kikumi K. Tatsuoka
• Los atributos de una tarea se definen a partir del conocimiento del dominio
evaluado y del conocimiento de la psicología cognitiva relevante para la tarea.
• El modelo de espacio de reglas permite el mapeo de patrones de atributos
(estados de conocimiento) en patrones ideales de escores de ítems,
correspondientes a los diversos estados de conocimiento.
Modelos Multidimensionales de
Teoría de Respuesta a los Ítems.
(MIRT)
Modelos Multidimensionales de Teoría de
Respuesta a los Ítems.
• Se asume que la respuesta a un ítem depende de la posición
del sujeto en un espacio latente multidimensional en el cual se
representa la habilidad del sujeto para responder
correctamente a un ítem.
• Modelos “Compensatorios” vs “Parcialmente
Compensatorios”.
Modelos Multidimensionales de
Teoría de Respuesta a los Ítems.
P ( xij  1|  i ,  j ,  j ) 

exp  j  i   j
'


1  exp  j  i   j
'
 j   j1 ,...,  jK 
 i  i1 ,...,iK 
j

Discriminación Multidimensional del
ítem.
• Aj es la capacidad de un ítem de
discriminar individuos a través de las Fdimensiones del espacio latente
Aj 
F

f 1
2
ij
• Aj es una función de la pendiente de la superficie de respuesta
a los ítems (SRI) definida por el modelo en el punto donde
ocurre el máximo de las pendientes máximas, en la dirección
indicada por la localización multidimensional.
•Este punto ocurre sobre la línea de inflexión de la SRI.
Dificultad Multidimensional del ítem:
MDIFF.
• La localización multidimensional de un ítem
está dada por,

j 
j
Aj
y sus cosenos directores.
• Indica
la distancia a partir del origen en el espacio al
punto de máxima pendiente (las discriminaciones
máximas de los items) en una dirección particular a partir
del origen.
Dirección de la pendiente máxima a
partir del origen.



cos( jf )  





 jf 

F
2



jf 
f 1

Ítem-vectores
• El origen del vector esta dado por la dificultad
multidimensional , esto es, la distancia del origen del espacio al
punto de máxima pendiente.
• Su longitud está dada por Aj.
• La dirección se deriva de los cosenos directores.
Ejemplo: Modelización del patrón de
respuesta de un test de Evaluación de la
Paridad.
• Existen dos grandes tipos de modelos de evaluación de la paridad.
•Uno se basa en asumir que la extracción de la paridad involucra alguna forma de
cálculo mental. De acuerdo a dicha hipótesis se espera que exista un efecto
denominado efecto del tamaño, en el cual existe una relación monótona creciente
entre la magnitud de los números y los tiempos de respuesta y la frecuencia de
errores, y la magnitud del número es entonces una variable relevante para explicar
tiempos de respuesta y tasas de error .
•Otro tipo de modelos considera que en la extracción de la paridad esta
involucrada la recuperación de información de la paridad de un número, a partir de
una memoria semántica almacenada en la memoria a largo plazo, y que
posiblemente involucra otras propiedades del número.
Tarea de Evaluación de la
Paridad
• Los ítems se presentan en forma visual, en
un test psicométrico convecional.
•Al principio del test se encuentra una
consigna que explica en que consiste la
tarea y define las restricciones que existen a
la forma de respuesta a los ítems.
•La consigna fue leída por un evaluador
previamente.
•La respuesta a cada ítems se hizo
escribiendo una “P” para indicar un número
par, y una “I” para indicar un número impar.
i
1
2
3
4
5
6
7
8
9
10
v
4
7
9
6
33
74
86
14
51
38
i
11
12
13
14
15
16
17
18
19
20
v
27
66
58
40
71
85
123
269
496
346
RESULTADOS: Test de Evaluación de la Paridad.
Figura 1. Parámetros estimados para el modelo MIRT para la solución de 2 y 3 dimensiones.
Valores más negativos de MDIFF corresponden a ítems de menor dificultad. Con azul se
señalan los ítems más fáciles y con rojo los más difíciles dentro de cada grupo de ítems (1
cifra, 2 cifras, 3 cifras).Los valores sombreados corresponden a el ítem más difícil (celeste) y
más fácil (rosa).
Ejemplo de Curvas Obtenidas.
4
7
9
6
38
27
Modelización Cognitiva de los ítems.
• La aproximación seguida para elaborar un modelo cognitivo de las
respuestas a los ítems se basó en la idea usada por “Embretson” de
analisar el efecto de “factores de complejidad cognitiva”.
•Tatsuoka (rule space methods) usa también una aproximación similar
para evaluar las matrices Q o de incidencia de atritutos cognitvos de los
ítems de un test. Usa un modelo de regresión lineal que considera la
variable respuesta “dificultad unidimensional del ítem”, y las columnas
de la matriz Q de atributos cognitivos como variables explicativas
(considera R2 y R2ajustado para comparar entre modelos).
•Para Tatsuoka la matriz Q es una definición operativa del modelo
cognitivo utilizado.
•En este caso se utilizó como medida para caracterizar el procesamiento
de información cogntiva el MDIFF.
•Se consideraron todos los factores de complejidad cognitiva de acuerdo
a las dos hipótesis alternativas.
•Se incluyeron en el modelo todos aquellos factores de complejidad
cognitiva que tuvieran algún efecto en el MDIFF o bien si actúan como
factores de confusión.
• El enfoque seguido se basa en la Teoría de procesamiento de
información cognitiva.
Información cognitiva.
La información refiere a las representaciones derivadas por un sujeto a
partir de la estimulación ambiental o a partir del procesamiento de
dichas influencias que producen selecciones entre opciones alternativas
para la creencia o la acción.
Procesamiento de información Cognitiva.
El procesamiento de información refiere a cómo la información es
modificada para que ésta eventualmente produzca su influencia
observada.
Modelos de Procesamiento de información cognitiva.
Los modelos de procesamiento de información son descripciones
teóricas de una secuencia de pasos o etapas a través de la cual este
procesamiento es llevado a cabo.
Figura 4. Modelo final de MDIFF, tabla anova para el modelo y tabla de estimación de los coeficientes del modelo. E(MDIFF) es el valor esperado de acuerdo al modelo. El modelo explica
un 82,7% de la varianza de MDIFF y el efecto conjunto de las variables explicativas es altamente significativo, valor-p<0.001.
Análisis de Cluster de Ítems para Confirmar la
Estructura Dimensional.
• Una aproximación a la determinación de la dimensión del espacio
latente necesario para modelar bien las relaciones en los datos es
hacer un análisis de cluster de una medida de similaridad de los
constructos medidos por los ítems.
• El número de cluster encontrados es un límite superior para la
dimensión del espacio latente.
• El número de dimensiones se puede determinar usando análisis de
cluster comparando los resultados de análisis con diferente número de
dimensiones.
• Si los análisis de cluster son esencialmente los mismos para
diferentes números de dimensiones, el menor número de dimensiones
usado para el análisis es suficiente para modelizar las relaciones en la
matriz de datos.
Medidas de Similaridad
• Ángulo entre cada par de vector-item (Miller y Hirsch, 1992)
12  ar cos(cos  cos  2 )
'
1
cos 12 
'
1
a
a2
m
m
a
l 1
2
1l
a
l 1
2
2l
Medidas de Similaridad
• Covarianza condicional entre items.
n
E[cov(U i , U j Y )]   P(Y  k ) cov(U i , U j Y  k )
k 0
Y = número de respuestas
correctas.
Métodos de Análisis de Cluster.
• Kim (2001) encontró que el método que parece funcionar mejor con
el ángulo entre ítems es el método de Ward (1963).
• Roussos (1998) encontró que el método que parece funcionar mejor
con covarianzas condicionales es “unweighted pair-group method of
averages (UPGMA)”(Sokal y Michener 1958).
Ejemplo: Dimensión del espacio
latente en el Test de Paridad.
• Se aplicó cómo medida de similaridad el ángulo entre ítems y el
método de análisis de cluster fue el método de análisis de cluster
gerárquico de Ward.
• Para ello se compara la solución para d=2,3,4,5 y 6.
Test de Evaluación de la Paridad: Gráfico
Vectorial en 2 dimensiones.
4
10
14
6
2
7
0
16
2
20
18
12 19 9
4
832
1
13
5
-2
17
-4
15
-4
-2
0
1
2
4
i
1
2
3
4
5
6
7
8
9
10
v
4
7
9
6
33
74
86
14
51
38
i
11
12
13
14
15
16
17
18
19
20
v
27
66
58
40
71
85
123
269
496
346
Número de Ítem.
hclust (*, "ward")
13
3
11
9
5
4
1
19
2
20
12
18
7
15
17
8
10
6
16
14
0
100
200
Height
300
400
58
9
27
51
33
6
4
496
7
346
66
269
86
71
123
14
38
74
85
40
0
100
200
Height
300
400
Cluster Dendrogram
Valor del Ítem
hclust (*, "ward")
Valor del Ítem
hclust (*, "ward")
Valor del Ítem
hclust (*, "ward")
4
71
51
123
27
269
85
40
7
66
6
0
50
Height
Height
150
150
250
Cluster Dendrogram:4D
9
33
14
86
38
346
58
496
74
51
33
71
27
123
269
85
66
7
40
9
4
6
38
74
346
58
14
86
496
0 50
71
33
123
27
269
85
66
7
40
6
4
51
9
38
74
496
14
86
346
58
58
9
27
51
33
6
4
496
7
346
66
269
86
71
123
14
38
74
85
40
0
0
Height
Height
100
100 200
200
300
300 400
Valor del Ítem
hclust (*, "ward")
Valor del Ítem
hclust (*, "ward")
Valor del Ítem
hclust (*, "ward")
Valor del Ítem
hclust (*, "ward")
71
51
33
123
27
269
85
40
7
100
Height
Height
150
150
200
66
4
50
50
Valor del Ítem
hclust (*, "ward")
6
9
346
58
38
86
14
496
74
71
51
123
27
269
85
40
7
0
4
66
6
9
33
14
86
38
346
58
496
74
0
51
33
71
27
123
269
85
66
7
40
9
4
6
38
74
346
58
14
86
496
71
33
123
27
269
85
66
7
40
6
4
51
9
38
74
496
14
86
346
58
Height
Height
100
0 50
0
150
200
250
300
Valor del Ítem
hclust (*, "ward")
Resumen de la interpretación de los
resultados anteriores.
• dimensión = 2, no captura apropiadamente las
relaciones entre los ítems.
• dimensión = 3, se observa una mejora importante.
• dimensión = 4 y 5 una mejora relativamente pequeña
respecto a dimensión = 3, pero poco diferencia entre d=4
y d=5.
Resumen de la interpretación de los
resultados anteriores.
• Cluster 1: Contiene ítems de una sola cifra, “66”, “40”.
• Cluster 2: Contiene ítems “pares” de múltiples cifras: ej.
“38”.
• Cluster 3: Contiene ítems “impares” de múltiples cifras:
ej. “27”.
Una hipótesis de Trabajo y muchas preguntas.
Extracción
de la paridad
de cada
cifra.
Codificación del
estímulo
Procesamiento
Sintáctico
Extracción de
la magnitud
de cada cifra
Respuesta
Gracias

Evaluación Diagnóstica Cognitiva.

Transcripción

Documentos relacionados

ARTÍCULO DE REVISTA Referencia a introducir: 1. Búsqueda de