MODELO DE EVALUACIÓ N DE USABILIDAD Y

Transcripción

MODELO DE EVALUACIÓN DE USABILIDAD Y CORRESPONDENCIA
DIDÁCTICA DE UN SOFTWARE LÚDICO
PAOLA ALEXANDRA GUTIÉRREZ BOBADILLA
SANDY VIVIANA HERRERA MORENO
UNIVERSIDAD CATÓLICA DE COLOMBIA
FACULTAD DE INGENIERÍA
PROGRAMA DE INGENIERÍA DE SISTEMAS
BOGOTÁ D.C.
2013
MODELO DE EVALUACIÓN DE USABILIDAD Y CORRESPONDENCIA
DIDÁCTICA DE UN SOFTWARE LÚDICO
PAOLA ALEXANDRA GUTIÉRREZ BOBADILLA
SANDY VIVIANA HERRERA MORENO
Trabajo de Grado
Director
Holman Diego Bolívar Barón
Ingeniero de Sistemas
UNIVERSIDAD CATÓLICA DE COLOMBIA
FACULTAD DE INGENIERÍA
PROGRAMA DE INGENIERÍA DE SISTEMAS
BOGOTÁ D.C.
2013
Nota de aceptación
Aprobado por el comité de
grado en cumplimiento de los
requisitos exigidos por la
Facultad de Ingeniería y la
Universidad
Católica
de
Colombia para optar al título
de Ingenieros de Sistemas.
________________________________
Ingeniero Holman Diego Bolívar
Director.
________________________________
Ingeniero Carlos Alberto Pulido
Revisor Metodológico.
Bogotá D. C. 28 de mayo del 2013
De Paola:
A mis padres,
a mi esposo, Jaime.
a mis hijas, Isabella y Mariana
De Sandy:
A mi abuela, Margoth
por su incondicional apoyo
AGRADECIMIENTOS
A mi familia por su paciencia y apoyo. A Holman Bolívar, director de tesis, por su
apoyo, guía y consejos.
Paola Gutiérrez
Doy gracias a Dios por permitirme vivir esta etapa de mi vida, a mi abuelita
Margoth Hernández, quien me apoyo a lo largo de esta etapa y confió en mi como
una madre, a mi padres Miguel Herrera y Mary García, por sus buenos deseos en
mi vida, a mi prima Lina Gil por brindarme sus conocimientos y concejos, a mi
ahijada María José Gutiérrez y a mis amigos más cercanos por su apoyo
incondicional, a los docentes que me acompañaron en el tiempo que estuve en la
Universidad, a mi director de proyecto Holman Bolívar por brindarme su apoyo y
dedicación, finalmente agradezco a la Universidad Católica de Colombia por
darme la oportunidad de crecer como persona y profesionalmente.
Sandy Herrera
CONTENIDO
Pág.
INTRODUCCIÓN
19
1. PLANTEAMIENTO DEL PROBLEMA
20
2. OBJETIVOS DEL PROYECTO
2.1. OBJETIVO GENERAL
2.2. OBJETIVOS ESPECÍFICOS
22
22
22
3. MARCO REFERENCIAL
3.1.MARCO CONCEPTUAL
3.1.1 Proceso de enseñanza y aprendizaje
3.1.2. Educación
3.1.3. Pedagogía
3.1.4. La didáctica
3.1.5. Software lúdico
3.1.6. Ingeniería de software
3.1.9. Usabilidad
3.1.10. Evaluación de la usabilidad
3.1.11. Métodos de evaluación de usabilidad
3.1.12. Clasificación de los métodos
3.1.13. Descripción de modelos de evaluación de usabilidad
3.2.MARCO TEÓRICO
23
23
23
26
27
29
31
36
44
45
46
46
48
50
4. METODOLOGÍA PROPUESTA
4.1.PROCESO DE REVISIÓN SISTEMÁTICA
4.1.2. Revisión sistemática
4.1.3. Utilización de una revisión sistemática
4.1.4. Importancia de una revisión sistemática
4.1.5. Ventajas y desventajas
4.1.6. Características de una revisión sistemática
4.1.7. Revisión sistemática para el desarrollo del proyecto
52
52
52
52
52
52
53
53
5. IDENTIFICACIÓN DE FUENTES DE REFERENCIA
5.1.COMPONENTES DE PROTOCOLO DE BÚSQUEDA
5.1.1. Preguntas de investigación
5.1.2. Diseño de la estrategia de búsqueda
5.1.3. Selección de artículos referentes
56
56
56
56
59
6. REVISIÓN DE MODELOS DE USABILIDAD
61
6.1.MUSA UN MODELO DE EVALUACIÓN DE ENTORNOS VIRTUALES DE
ENSEÑANZA Y APRENDIZAJE. APLICACIÓN A UN CASO DE ESTUDIO
61
6.1.1. Características
61
6.1.2. Objetivos
61
6.1.3. Estructura del modelo MUsa
61
6.1.4. Ajuste de MUsa a diferentes contextos
65
6.2.INSTRUMENTO CUSEOA (CUESTIONARIO DE SATISFACCIÓN DE
ESTUDIANTES DE UN OBJETO DE APRENDIZAJE)
66
6.2.1. Objetivos
66
6.2.2. Estructura de CUSEOA
66
6.2.3. Indicadores
68
6.3.MODELO DE EVALUACIÓN
DE SOFTWARE EDUCATIVO BAJO UN
ENFOQUE SISTEMÁTICO
69
6.3.1. Objetivos
69
6.3.2. Etapas del modelo
69
6.4.METODOLOGÍA PARA LA EVALUACIÓN DE LA USABILIDAD EN SITIOS
WEB. EXPERIENCIA COLOMBIANA
73
6.4.1. Etapas de la Metodología
74
6.4.2. Roles y perfiles
77
6.5.METODOLOGÍA PARA LA EVALUACIÓN DE OBJETOS DE APRENDIZAJE 78
6.5.1. Objetivos
78
6.5.2. Etapas de la metodología
79
6.5.3. Instrumentos e indicadores
80
6.6.UNA APROXIMACIÓN A LA EVALUACIÓN DE LA USABILIDAD DE LAS
APLICACIONES DE APRENDIZAJE
81
6.6.1. Objetivo de la metodología
81
6.6.2. Características de la metodología SUE
81
6.6.3. Fases de la metodología
82
6.6.4. Componentes
82
6.6.5. Etapas de la Metodología
82
6.7.LA INVESTIGACIÓN SOBRE LA EVALUACIÓN DE LA USABILIDAD DE LOS
SISTEMAS DE APRENDIZAJES
84
6.7.1. Objetivo de la Investigación
84
6.7.2. Etapas de la metodología
84
6.7.3. La aplicación de técnicas en la evaluación de la usabilidad
85
6.8.LA EVALUACIÓN DE LA USABILIDAD Y LA ACEPTACIÓN DE LA
EDUCACIÓN MULTIMEDIA BASADA EN LA WEB EN LOS NIÑOS
86
6.8.1. Técnicas de evaluación
87
6.8.2. Métodos de evaluación
88
6.8.3. Elementos de prueba de aceptación
88
6.9.1. Tipos de Uso del enfoque de aprendizaje
90
6.9.2. Metodología
90
6.10.HEURÍSTICAS DE USABILIDAD PARA APRENDIZAJE
91
6.10.1. Etapas
6.10.2. Instrumentos de evaluación
91
93
7. REVISIÓN DE MODELOS DE CORRESPONDENCIA DIDÁCTICA
95
7.1.MODELO PARA LA EVALUACIÓN DEL IMPACTO DEL
SOFTWARE
EDUCATIVO
95
7.1.1. Objetivos
95
7.1.2. Estructura del modelo
95
7.1.3. Fases del modelo
96
7.1.4. Evaluación del impacto pedagógico del software educativo
97
7.1.5. Niveles de evaluación
98
7.1.6. Instrumentos de evaluación
99
7.2.GRILLA DE EVALUACIÓN DE SOFTWARE EDUCATIVO (GRIESE)
99
7.2.1. Características de la Grilla
99
7.2.2. Objetivos de la grilla GrieSE
100
7.2.3. Etapas de la grilla Grítese
100
7.3.FACTORES DE EVALUACIÓN DE SOFTWARE EDUCATIVO
107
7.2.1. Sectores
108
7.4.TÉCNICAS Y MÉTRICAS PARA LA EVALUACIÓN DE LA USABILIDAD
111
7.4.1. Etapas
111
7.4.1. Objetivo de la metodología extendida
113
7.4.2. Etapas de la metodología extendida
113
8. REVISIÓN DE MODELOS DE USABILIDAD Y CORRESPONDENCIA
DIDÁCTICA
115
8.1.MODELO TUP (TECNOLOGÍA, CAPACIDAD DE USO, LA PEDAGOGÍA) 115
8.1.1. Objetivos
115
8.1.2. Etapas
115
8.2.MODELO DE CALIDAD DE SOFTWARE EDUCATIVO
118
8.2.1. Etapas del modelo
118
8.3.MODELO
EMPI
(EVALUACIÓN
DE
SOFTWARE
INTERACTIVO,
PEDAGÓGICA Y MULTIMEDIA)
119
8.3.1. Objetivos
120
8.3.2. Fases
120
8.3.3. Instrumento de evaluación
122
8.4.EVALUACIÓN DE AMBIENTES DE SOFTWARE EDUCATIVOS
122
8.4.1. Propósito
123
8.4.1. Listas de Verificación
123
8.4.2. Criterios de acuerdo al aspecto
123
8.5.FACILIDAD DE USO Y APRENDIZAJE: EVALUACIÓN DEL POTENCIAL DE
SOFTWARE EDUCATIVO
124
8.5.1. Etapas.
124
8.5.2. Tareas.
125
9. MODELO PROPUESTO DE EVALUACIÓN DE SOFTWARE LÚDICO USCODI
(USABILIDAD Y CORRESPONDENCIA DIDÁCTICA)
127
9.1.ANÁLISIS DE REVISIÓN DE MODELOS
127
9.1.1. Análisis de modelos preexistentes
127
9.1.2. Correlación de modelos preexistentes
129
9.2.DESCRIPCIÓN DE MODELO PROPUESTO USCODI
(USABILIDAD Y
CORRESPONDENCIA DIDÁCTICA)
132
9.2.1. Objetivos perseguidos por el modelo USCODI
133
9.2.2. Etapas del modelo.
134
CONCLUSIONES
140
BIBLIOGRAFÍA
141
LISTA DE TABLAS
Pág.
Tabla 1. Técnicas de evaluación de aprendizaje – enseñanza.
26 Tabla 2. Instrumentos relacionados a las técnicas de evaluación.
26 Tabla 3. Técnicas didácticas.
30 Tabla 4. Técnicas didácticas (continuación).
31 Tabla 5. Estas son las funciones de un software lúdico.
35 Tabla 6. Características de un software.
37 Tabla 7.Tipos de software existentes.
38 Tabla 8. Método de evaluación de Nielsen y Molich.
46 Tabla 9. Método de evaluación de Wixon y Wilson.
47 Tabla 10. Método de evaluación de Preece.
47 Tabla 11. Método de Scriven.
47 Tabla 12. Las diez principales heurísticas según Nielsen.
48 Tabla 13. Tipo de inspecciones.
49 Tabla 14. Tipo de guías de estilo.
49 Tabla 15. Descripción de ventajas y desventajas
53 Tabla 16. Identificación de las preguntas de protocolo de búsqueda.
56 Tabla 17. Palabras claves para la realizar la revisión.
57 Tabla 18. Bases de datos de búsqueda.
57 Tabla 19. Ecuaciones de búsqueda seleccionadas.
58 Tabla 20. Lista de artículos encontrados según ecuaciones de búsqueda.
58 Tabla 21. Lista de artículos encontrados según ecuaciones de búsqueda
(continuación).
59 Tabla 22. Ecuaciones de búsqueda seleccionada por la media aritmética.
59 Tabla 23. Artículos que responden las preguntas de protocolo de búsqueda.
59 Tabla 24. Artículos que responden las preguntas de protocolo de búsqueda
(continuación).
60 Tabla 25. Heurísticas para la evaluación de alto nivel orientada a la tarea.
65 Tabla 28. Métricas de usabilidad.
65 Tabla 29. Escala de Diferencial Semántico.
67 Tabla 30. Categorías y criterios heurísticos (dimensión pedagógica y usabilidad) 68 Tabla 31. Peso de cada categoría.
68 Tabla 32. Selección de características y subcaracterísticas.
71 Tabla 33. Características mínimas que deben ser satisfechas para la categoría de
usabilidad.
72 Tabla 34. Normalización de las métricas para la evaluación del producto.
72 Tabla 35. Listado de criterios, métrica y atributos.
75 Tabla 36. Diseño de plantilla para la recolección de información.
76 Tabla 37. Diseño de platilla para la recolección de informaciones de roles.
77 Tabla 38. Diseño de platilla para la recolección de informaciones de perfiles.
78 Tabla 39. Categorías y criterios heurísticos.
80 Tabla 40. Peso de cada categoría y sub-heurísticas
80 Tabla 41. Criterios de aprendizaje.
92 Tabla 42. Criterios de usabilidad.
92 Tabla 43. Descripción de criterios de usabilidad y aprendizaje.
94 Tabla 44. Relación de peso por aspecto.
99 Tabla 45. Aspectos seleccionados y su descripción.
101 Tabla 46. Criterios, subcriterios e ítem del aspecto funcionales.
102 Tabla 47. Criterios, subcriterios e ítem del aspecto pedagógico.
103 Tabla 48. Criterios, subcriterios e ítem del aspecto pedagógico (continuación). 104 Tabla 49. Criterios, subcriterios e ítem del aspecto pedagógico (continuación). 105 Tabla 50. Escala de valoración.
105 Tabla 51. Ficha de evaluación del software.
107 Tabla 52. Tipo de preguntas.
116 Tabla 53. Subcriterios y preguntas para el aspecto de usabilidad.
117 Tabla 54. Subcriterios y preguntas para el aspecto de pedagogía.
117 Tabla 55. Temas seleccionados para el modelo EMPI.
120 Tabla 56. Criterios determinados para el modelo EMPI.
121 Tabla 57. Subcriterios determinados para el modelo EMPI.
121 Tabla 58. Relación de atributo usabilidad vs métricas de modelos.
129 Tabla 59. Relación de atributo usabilidad vs métricas de modelos (continuación).
130 Tabla 60. Relación de atributo correspondencia didáctica vs métricas de modelos.
130 Tabla 61. Meticas y Criterios generales de usabilidad.
131 Tabla 62. Meticas y Criterios generales de correspondencia didáctica.
131 Tabla 63. Selección de métricas, criterios e ítems de usabilidad.
134 Tabla 64. Selección de métricas, criterios e ítems de usabilidad (continuación). 135 Tabla 65. Selección de métricas, criterios e ítems de correspondencia didáctica.
135 Tabla 66. Selección de métricas, criterios e ítems de correspondencia didáctica
(continuación).
136 LISTA DE FIGURAS
Pág.
Figura 1. Proceso de aprendizaje.
23 Figura 2. Elementos del proceso de aprendizaje – enseñanza.
24 Figura 3. Modelo de aprendizaje basado en proyectos.
25 Figura 4. Modelo de aprendizaje basado en problemas.
25 Figura 5. Parámetro de los modelos pedagógicos.
27 Figura 6. Aspectos que componen la ingeniería de software.
36 Figura 7. Razones de la importancia del software.
36 Figura 8. Que es un producto de software.
37 Figura 9. Enfoques para realizar el desarrollo de un software.
38 Figura 10. Fases del proceso de ingeniería de software.
39 Figura 11. Actividades del modelo lineal secuencial.
40 Figura 12. Modelo incremental.
41 Figura 13. Medida de la corrección.
42 Figura 14.Medida de la facilidad de mantenimiento.
42 Figura 15. Medida de la integridad.
42 Figura 16.Tipos de calidad en el software.
43 Figura 17. Lista de presentación del aseguramiento de calidad.
44 Figura 18. Marco de referencia de usabilidad (ISO 9241-11).
44 Figura 19. Marco de usabilidad según Nielsen.
45 Figura 20. Características de la revisión sistemática.
53 Figura 21. Método para la realización de revisiones sistemáticas.
54 Figura 22. Diagrama de componentes del modelo MUSA.
62 Figura 23. Diagrama de componentes del instrumento CUSEOA.
69 Figura 24. Método para la selección de software
70 Figura 25. Modelo de Medición de Usabilidad basada en Jerarquía de tres.
74 Figura 26. Diagrama de componentes de la metodología de evaluación de OAs. 79 Figura 27. Diagrama de componentes de la Metodología SUE.
81 Figura 28. Diagrama de Componentes de Evaluación de Usabilidad en Sistemas
de Aprendizaje.
85 Figura 29. Diagrama de componentes para los método de evaluación de la
educación multimedia.
87 Figura 30. Diagrama de componentes para Heurísticas de usabilidad para el
aprendizaje.
91 Figura 31. Diagrama de componentes del modelo de evaluación del impacto
pedagógico.
97 Figura 32. Descripción de niveles de evaluación.
98 Figura 33. Diagrama de componentes de la grilla GrieESE.
100 Figura 34. Estructura de los niveles usados en GriESE.
101 Figura 35. Ficha de datos generales de identificación del software.
106 Figura 36. Ficha de observaciones generales del software.
107 Figura 37. Diagrama de componentes de Factores de evaluación de software
educativo.
108 Figura 38. Diagrama de componentes para metodología de evaluación de
usabilidad.
112 Figura 39. Diagrama de Componente para la metodología extendida.
114 Figura 40. Diagrama de componentes del modelo TUP.
115 Figura 41. Diagrama de componentes del modelo.
119 Figura 42. Diagrama de componentes del modelo EMPI.
119 Figura 43. Etapas de la Fase de Estructura.
120 Figura 44. Etapas de la Fase de Estructura.
122 Figura 45. Diagrama de componentes del Método de Evaluación de Ambientes de
Software educativo.
123 Figura 46. Diagrama de componentes para el modelo Jigsaw.
125 Figura 47. Modelo entidad relación de información artículos.
127 Figura 48. Diagrama de componentes para el modelo propuesto USCODI.
133 Figura 49. Diagrama de las actividades realizadas en el modelo USCODI
139 LISTA DE ANEXOS
Pág.
ANEXO A. Plantilla de recolección de información.
ANEXO B. Checklist de evaluación de usabilidad.
ANEXO C. Checklist de evaluación de correspondencia didáctica
ANEXO D. Casos de prueba de escenarios.
ANEXO E. Cuestionario de cuestionario de usuario real.
ANEXO F. Casos de prueba de escenarios simulados.
145
146
149
152
153
154
GLOSARIO
PEDAGOGÍA: Se entiende como la disciplina que organiza el proceso de
educación de una persona, esta permite trasmitir experiencias, conocimientos,
valores, con los recursos que se tiene al alcance como materiales, tecnología, el
lenguaje hablado ya se escrito o corporal.
DIDÁCTICA: Se enfoca en los procesos como técnicas y métodos para
trasmisión de enseñanza y aprendizaje del conocimiento.
la
LÚDICO: Es un método el cual contiene una seria de estrategias diseñadas para
crear un proceso de enseñanza, donde se utilizan juegos.
SOFTWARE: Hace referencia a un conjunto de programas y datos que tiene un
computador.
MODELO: Es la representación que tiene un objeto, idea o sistema, de forma
diferente. Los modelos ayudan a entender de una forma gráfica, donde puede ser
una réplica exacta de un objeto o la abstracción de características del objeto.
USABILIDAD: Se entiende por la facilidad de uso, aprendizaje y satisfacción que
tiene un usuario al interactuar sobre un software.
MULTIMEDIA: Es la combinación que se presenta entre texto, arte gráfico,
animación, sonido y video, que se puede observar a través de medios electrónicos
como el computador, celulares, tabletas.
CORRESPONDENCIA: Es la relación de una dependencia y la unión que existe
entre varias cosas.
PROCESO: Se define como el conjunto de actividades que son organizadas,
donde existe la implicación de varios recursos coordinados para lograr un objetivo
identificado.
TECNOLOGÍA: Es un conjunto de conocimientos de técnicas ordenadas, las
cuales permiten diseñar bienes y servicios, donde el objetivo es facilitar la
adaptación a un medio ambiente y satisfacer las necesidades que tiene los seres
humanos.
TECNOLOGÍAS DE LA INFORMACIÓN Y LA COMUNICACIÓN (TICS): Agrupan
los elementos y técnicas para manejar el tratamiento y la transmisión de las
informaciones, principalmente la informática, internet y telecomunicaciones.
RESUMEN
La evaluación de un software lúdico es un proceso complejo por la participación de
distintas áreas interdisciplinares, razón por la cual se hace indispensable valorar,
apreciar y estimar los criterios de las diferentes áreas que participan en el
desarrollo del mismo, por lo anterior surge la necesidad de encontrar una
herramienta que permita hacer una evaluación completa a este tipo de
software de allí que el propósito de esta investigación sea formular un modelo de
evaluación donde los atributos de usabilidad y correspondencia didáctica de un
software lúdico reúnen los criterios más importantes que se deben evaluar dentro
de un software que tenga como finalidad trasmitir un conocimiento.
Para ello, ha sido necesario recurrir a conceptos teóricos de usabilidad,
aprendizaje, software lúdico e ingeniería de software, así mismo investigar sobre
los modelos, técnicas e instrumentos de evaluación de aplicaciones de
aprendizaje por diferentes autores.
Las actividades principales que se realizaron son la revisión y análisis de los
aspectos que se debe tener en cuenta para efectuar la evaluación de un software
lúdico, así mismo determinar cuáles son las métricas con sus respectivos criterios
que permiten medir su calidad.
El modelo que se propone tiene como enfoque principal la evaluación desde la
perspectiva de evaluadores expertos y reales, con la aplicación de diferentes
métodos e instrumentos que permiten realizar una evaluación orientada a
escenarios que evalúan los atributos de usabilidad y correspondencia didáctica.
Palabras claves: Usabilidad, correspondencia didáctica, software lúdico y
evaluación.
17
ABSTRACT
Evaluation of a playful software is a complex process for the participation of
interdisciplinary areas, reason why is indispensable value, appreciate and estimate
the criteria of the different areas involved in the development of the same,
therefore there is a need to find a tool that allows you to do a complete evaluation
to this type of software from there that the purpose of this degree is to formulate a
model of evaluation where the attributes of usability and didactic correspondence
of a playful software meet the most important criteria that must be evaluated within
a software that is intended to transmit a knowledge.
For this reason, it has been necessary to resort to theoretical concepts of usability,
learning, leisure software, and software engineering, likewise inquire about models,
techniques and instruments of evaluation of applications of learning by different
authors.
The main activities are conducted the review and analysis of the aspects that
should be taken into account to make the assessment of leisure software, also
identify metrics with their respective criteria for measuring quality.
The proposed model has as its main focus the evaluation from the perspective of
expert evaluators and real, with the application of different methods and tools that
allow scenarios based assessment evaluating usability attributes and
correspondence teaching.
Keywords: Usability, correspondence teaching, playful software and evaluation
18
INTRODUCCIÓN
Este proyecto de grado tiene como finalidad proponer un modelo de evaluación de
usabilidad y correspondencia didáctica, a través de una revisión de 20 artículos,
donde se proponían modelos y metodologías, para realizar una evaluación de
entornos de aprendizaje.
A través de la revisión documental se elaboró una base de datos por medio de
tablas técnicas del protocolo de búsqueda donde se hizo la revisión de los
artículos seleccionados, donde se identificó las métricas y criterios más
importantes para evaluar un entorno de aprendizaje. Así mismo se extrajo la
información de las metodologías y modelos propuestos para realizar la evaluación
por medio de gráficos.
Este proyecto de investigación surgió debido a que en la actualidad la tecnología
juega un papel importante en el proceso de aprendizaje.1 Para las Tecnologías de
información y la Comunicación (TIC) el software es uno de sus principales
componentes, su utilización es muy común en muchas de las actividades de la
vida diaria, y en el campo de la educación no es la excepción. Por ellos es
importante realizar una evaluación para saber cuáles son sus efectos, en cuanto a
su facilidad de uso, si es positiva o negativa, así mismo como en la programación
didáctica.2
Con la información que se extrajo de cada artículo se llevó a cabo un análisis de
los modelo preexistentes para realizar el un cruce de información y así extraer la
información más importante.
Para realizar la ejecución de este proyecto se utilizara la metodología propuesta
por Bárbara Kitchenham, que a través de las etapas que define ayudara a
determinar las pautas a seguir para realizar la revisión documental.
1
ALBA OBESO, María Helena. Metodología de Medición y Evaluación de la Usabilidad en Sitios Web
Educativos. Oviedo, 2005, p. 2.
2
CHOCÓ DÍAZ, Arbey. El uso del software y sus efectos en las prácticas Escolares. Cauca, 2011, p. 1.
19
1. PLANTEAMIENTO DEL PROBLEMA
En los últimos años se ha incorporado el uso de las Tecnologías de la Información
y la Comunicación (TIC), en las diferentes áreas del conocimiento humano,
generado una competitividad cada vez mayor entre quienes la utilizan, de allí que
se pueda deducir que las TIC han impactado y modificado a nivel mundial las
áreas culturales, educativas y todas aquellas que se relacionan en alguna medida
con la enseñanza y el aprendizaje.
La tecnología se ha convertido en una herramienta de aplicación e impacto
interdisciplinario que utilizada de forma conjunta entre las diferentes áreas se
tiene como resultado la gestión del conocimiento a través de la utilización de un
software lúdico, que permite al usuario la interacción amable con un aplicativo que
contiene un conocimiento, este se ha sido diseñado teniendo en cuenta la
calidad general de un software y en ocasiones no se tiene en cuenta las
necesidades y propósitos de las áreas interdisciplinares que han intervenido en el
desarrollo para la evaluación de este tipo de software. Razón por la cual al
momento de evaluar la calidad en un software lúdico se debe tener en cuenta los
criterios puntuales como los siguientes: pedagógicos, psicológicos, tecnológicos y
técnicos, criterios que posibilitan la evaluación del alcance del software de forma
conjunta siempre y cuando se determinen los factores que integren a estos.3
La calidad de software se evalúa por medio de atributos de calidad determinados,
la usabilidad es un atributo de calidad multidimensional, que indica que un
producto o un sistema usable deben poseer unas características intrínsecas, como
‘Facilidad de comprenderse’, ‘Facilidad de aprendizaje’, ‘Facilidad de uso’,
‘Tolerancia de errores’ y ‘Diseño atractivo’, su importancia en el software lúdico
radica en la
comprensión del aspecto cognitivo
y el análisis de la
correspondencia didáctica puesto que permite evaluar el proceso de aprehensión
del conocimiento e identificar los elementos comprendidos por el usuario, de esta
manera se puede examinar si el software cumple o no la finalidad y los objetivos
para el cual fue creado.4
Para realizar la evaluación de la calidad de un software lúdico teniendo en cuenta
la usabilidad y la correspondencia didáctica, es importante contar con un modelo
que permita controlar y evaluar un software lúdico, para determinar e identificar las
necesidades, falencias y actividades a seguir para cumplir con la finalidad quien
dio origen a la creación del mismo.
3
MARTIN, Roció. Las nuevas tecnologías en la educación. En: Sociedad de la información MADRID:
Fundación AUNA, 2005. p. 4.
4
HERNÁNDEZ. B, Víctor E. Un modelo de evaluación de software educativo para la enseñanza de la
Matemática, 2007, p. 4.
20
Actualmente existen modelos que permiten evaluar aplicaciones de aprendizaje,
en estos modelos existentes definen características enfocados a la evaluación de
la usabilidad en entornos web, software corporativo y software general, por lo cual
no se enfocan en la parte didáctica, pedagógica y lúdica, esto se debe a la
característica principal de este tipo de software, es decir que debido a que en su
desarrollo participan diferentes áreas o disciplinas es difícil establecer un modelo
que evalué todas las necesidades interdisciplinarias que pretenden ser suplidas
con el software. De allí la importancia de identificar ¿Cuál es el modelo que
permite la evaluación de usabilidad y correspondencia didáctica en un software
lúdico?
21
2. OBJETIVOS DEL PROYECTO
2.1 OBJETIVO GENERAL
Identificar un modelo de evaluación de usabilidad y correspondencia didáctica de
un software lúdico a través de la evaluación de modelos referentes.
2.2 OBJETIVOS ESPECÍFICOS
• Identificar modelos referentes para evaluación de usabilidad y correspondencia
didáctica de un software lúdico.
• Caracterizar los modelos identificados.
• Formular un modelo coalescente de acuerdo a los modelos referentes.
22
3. MARCO REFERENCIAL
3.1. MARCO CONCEPTUAL
3.1.1 Proceso de enseñanza y aprendizaje. Es un conjunto de pasos
sistemáticos que se encuentran ordenados y tiene como propósito brindar los
instrumentos teóricos – prácticos, que permiten desarrollar y perfeccionar hábitos
del ser humano como, actitudes, aptitudes y conocimientos que se aplican en el
desempeño de las actividades diarias que realiza.
Proceso de aprendizaje.5 Es el proceso de adquirir conocimientos,
habilidades, valores, actitudes por parte del ser humano, el aprendizaje es un
cambio permanente estos son razonablemente objetivos y por tanto pueden ser
medidos.
Todo proceso de aprendizaje es una evolución para mejorar las competencias de
cada persona en áreas específicas, por medio de nuevos conocimientos y
destrezas prácticas.
El aprendizaje evoluciona desde la competencia Inconsciente, pasando por la
Incompetencia Consciente, yendo hacia la Competencia Consciente, para
evolucionar finalmente en la Competencia Inconsciente.
Figura 1. Proceso de aprendizaje.
Fuente: los autores.
5
YTURRALDE, Ernesto Worldwide Inc. Training & Consulting. Metodologías aplicadas [en línea].
<http://www.yturralde.com/metodologias.htm> [citado el 20 marzo del 2013].
23
Proceso de enseñanza. Es una actividad que se realiza conjuntamente en la
interacción de cuatro elementos, docentes o tutores, alumnos, el objeto del
conocimiento y un entorno educativo.
Elementos del proceso aprendizaje – enseñanza.6 Para realizar el proceso
de enseñanza y aprendizaje es necesario identificar cuáles son los elementos que
lo conforman y así mismo su relación. En la figura n se ven los elementos y sus
respectivas relaciones:
Figura 2. Elementos del proceso de aprendizaje – enseñanza.
Modelos de aprendizaje - enseñanza. Existen los siguientes modelos para el
aprendizaje y enseñanza:
Modelo de aprendizaje basado en proyectos: este modelo permite al
estudiante planear, implementar y evaluar proyectos que tiene aplicación en el
mundo real.
6
UNIVERSIDAD DE VALLADOLID, Departamento de informática. El Proceso Enseñanza-Aprendizaje [en
línea]. < http://www.infor.uva.es/~descuder/docencia/pd/node24.html> [citado el 20 de marzo del 2013].
24
Figura 3. Modelo de aprendizaje basado en proyectos.
Modelo de aprendizaje basado en problemas: es un modelo que se centra
en el estudiante en una experiencia pedagógica organizada que permite
investigar y resolver problemas que se presentan en el mundo real. Los elementos
básicos son: tutor, alumno, grupo, evaluación y problema.
Figura 4. Modelo de aprendizaje basado en problemas.
Técnicas e instrumentos de evaluación7. Las técnicas se definen como
aquellos procedimientos y actividades que se realizan por los maestros
(facilitadores) con el propósito de hacer efectiva la evaluación del aprendizaje.
7
UCSS.
Técnicas
e
instrumentos
de
evaluación
[en
línea].<http://190.254.1.202/ingenieria/DIPLOMADO%20DOCENCIA%20UNIVERSITARIA/Educacion%20Sup
erior/Eval_Competencia2.pdf> [citado el 20 de marzo del 2013].
25
Pueden existir tres tipos de técnicas de evaluación: técnicas no formales, técnicas
semiformales y técnicas formales.
Tabla 1. Técnicas de evaluación de aprendizaje – enseñanza.
A continuación en la tabla 2, se presenta algunas técnicas con los instrumentos
respectivos de evaluación:
Tabla 2. Instrumentos relacionados a las técnicas de evaluación.
3.1.2. Educación8. La mejor herramienta para construir una sociedad es la
educación, esta permite preparar a los individuos para un desenvolvimiento
autónomo y social. La educación ha sido un tema de interés a lo largo del tiempo,
se ve como una estrategia caracterizada por la revolución del conocimiento.
La educación debe ser un compromiso de cada uno de los ciudadanos que
conforman la sociedad, sobre todo en los que tiene la responsabilidad de guiar a la
8
PAIDEIA SUR COLOMBIANA. EDUCACIÓN. Pedagogía y Modelos Pedagógicos [en línea]. <
http://www.paideiasurcolombiana.com/articulos/5.-educacion,-pedagogia-y.pdf> [citado el 22 de marzo 2013].
26
sociedad. Se tiene diferentes escenarios: familia, comunidad, instituciones,
organizaciones, donde se adquiere una educación.
3.1.3. Pedagogía. Es la ciencia de la enseñanza, el quehacer de un maestro,
donde ha desarrollado un campo intelectual de objetos, conceptos y métodos que
transcienden la concepción instrumental, explora las relaciones con la práctica en
dos sentidos:
De la Práctica Pedagógica con la Educación, la vida cotidiana de la institución
educativa y el entorno socio cultural que la rodea, pasando por las relaciones con
la práctica política.
De la Pedagogía con la Didáctica, su campo de aplicación y de articulación
con los saberes enseñados.
Modelos de la pedagogía9.
Los modelos pedagógicos son una
representación de las corrientes pedagógicas que existen dentro del campo
disciplinario de la pedagogía. El modelo permite describir, organizar y entender la
multiplicidad de la diversidad, contingencias y estructuras que presenta una
corriente pedagógica. Para esto se tiene unos parámetros, estos hacen referencia
aquello interrogantes pedagogos que se han planteado, los parámetros son los
siguientes:
Figura 5. Parámetro de los modelos pedagógicos.
Metas: ayudan a responder a la pregunta de interrogante pedagogo ¿qué tipo
de hombre formar y para qué?, se refiere a cuales son las intencionalidades.
Contenidos: responde al interrogante sobre cuáles deben ser los elementos
de la ciencia y la cultura, que conocimientos se deben seleccionar acordes al
contexto y las características del alumno, desde el campo de la ciencia desde la
compresión del maestro y saber cómo transferir la práctica de la enseñanza en la
interacción maestro-alumno.
Relación Maestro - Alumno: responde al interrogante sobre cómo se debe
trabajar juntos maestro y alumno, donde se debe implicar la apropiación de las
9
FUNDACIÓN UNIVERSITARIA DEL ÁREA ANDINA. Clases De Modelos Pedagógicos [en línea]. <
http://www.joaquinparis.edu.co/DATA/MODELOS/PAGINAS/RAFAEL.htm#socialista> [citado el 23 de marzo
2013].
27
teorías del desarrollo cognitivo, como los aspectos efectivos y desde lo
sociocultural.
Método: responde al interrogante de que estrategia utilizar o como se debe
realizar, teniendo en cuenta en primer plano lo didáctico, que esta es la disciplina
instrumental de la pedagogía, se refiere a los métodos, técnicas, medios y
ambientes que permiten ensañar. A continuación se presentan los modelos
pedagógicos.
Modelo tradicional. Se enfoca en la formación del alumno a través de la
voluntad, virtud y la disciplina, se caracteriza por la exposición verbal del maestro.
En este modelo prima el proceso de enseñanza sobre el proceso de aprendizaje,
las técnicas utilizadas son un tablero, marcador y la voz del profesor, además la
evaluación es memorística y cuantitativa. Los parámetros se describe de la
siguiente forma para este modelo:
La meta: es la formación del carácter de los estudiantes, a través de la
voluntad y la disciplina.
La relación maestro alumno: es vertical el maestro es la autoridad.
El desarrollo: Comprende el desarrollo de las cualidades a través de la
disciplina.
Los contenidos: son las disciplinas clásicas y las facultades del alma.
El método: es academicista, verbalista, desarrollado bajo un régimen de
disciplina, los alumnos son los receptores y aprenden a través de la imitación, el
emisor principal es el maestro.
Modelo conductista. Este modelo procura producir aprendizaje, retenerlos y
transferirlos bajo un método que fija resultados por medio de objetivos medibles,
precisos, breves, lógicos y exactos. El maestro guía al estudiante a lograr un
objetivo instruccional, el plan de enseñanza que se plantea se enfoca a los
objetivos educativos, su organización y evaluación. Los parámetros se describe de
la siguiente forma para este modelo:
La meta: es el modelamiento de la conducta técnica productiva y el relativismo
ético.
La relación maestro alumno: el maestro es el intermediario ejecutor entre el
programa y el alumno, trasmitiendo los saberes técnicos.
El desarrollo cognitivo: está representado por la adquisición de
conocimientos y destreza.
Los contenidos de aprendizaje: son los conocimientos técnicos, los códigos,
destrezas y competencias como conductas observables.
El método: es la fijación y control de los objetivos instruccionales, formulados
en forma precisa, así como el adiestramiento experimental.
Modelo romántico. Este modelo parte del hecho que el maestro no debe
intervenir en el desenvolvimiento natural y espontáneo del estudiante y la relación
que tiene con el entorno que lo rodea, no interesa los contenidos. El maestro solo
28
es un guía que facilita la expresión, la originalidad y la espontaneidad del
estudiante, por esta razón no se evalúa. Los parámetros se describe de la
siguiente forma para este modelo:
La meta: es el desarrollo natural del niño.
La relación maestro alumno: el maestro es una guía del alumno, un simple
amigo de su libre expresión.
El desarrollo cognitivo: consiste en suprimir los obstáculos e interferencias
de la libre expresión.
Los contenidos de aprendizaje: es natural, espontáneo y libre.
El método: no existe ninguna programación, facilita la libre expresión.
Modelo desarrollista: Permitir que el alumno acceda progresiva y
secuencialmente a la etapa superior de desarrollo intelectual, de acuerdo con sus
necesidades y condiciones. Los parámetros se describe de la siguiente forma para
este modelo:
La meta: es el acceso de cada individuo al nivel superior de desarrollo
intelectual.
La relación maestro alumno: el maestro es un facilitador, crea un ambiente
estimulador de experiencias para las estructuras cognitivas.
El desarrollo cognitivo: es progresivo y secuencial a estructuras mentales,
cualitativas y jerárquicamente diferenciadas.
Los contenidos de aprendizaje: son las experiencias que facilitan el acceso
a estructuras superiores de desarrollo, el niño construye sus propios contenidos de
aprendizaje.
El método: es la creación de ambientes y experiencia.
3.1.4. La didáctica. Se concentra en los procedimientos de enseñar en un área
del conocimiento o disciplina, desde la perspectiva de la corriente pedagógica,
cada corriente define su propia didáctica.
Técnicas didácticas10. Ayudan al maestro y al alumno a dinamizar el proceso
de aprendizaje, para aplicar una técnica se debe tener encueta las necesidades,
las expectativas, perfil y los objetivos que se pretende alcanzar, alguna de estas
técnicas se describen a continuación en la tabla 3:
10
JUNTA DE ANDALUCÍA. Guía de métodos y técnicas didácticas [en línea]. <
http://www.juntadeandalucia.es/agenciadecalidadsanitaria/acsa_formacion/html/Ficheros/Guia_de_Metodos_y
_Tecnicas_Didacticas.pdf> [citado el 23 de marzo 2013].
29
Tabla 3. Técnicas didácticas.
Técnicas
De carácter explicativo
La explicación oral
Sub-técnicas
Técnica de aprendizaje dirigida generalmente a
un grupo, con la que se pretende que cada
alumno/a, por medio de la explicación,
comprenda datos, métodos, procedimientos o
conceptos, relacionándolos con los ya adquiridos
y estructurándolos de forma individual.
Estudio directo:
La Mesa Redonda
Técnicas de aprendizaje
demostrativo
La simulación
Técnicas
descubrimiento
Resolución
problemas
de
de
El caso
Investigación
laboratorio
Técnica de instrucción estructurada según las
normas de la enseñanza programada, lineal o
ramificada, con la que se podrían alcanzar
objetivos relacionados con cualquier capacidad
cognoscitiva
Técnica en la que un grupo de expertos,
coordinados por un moderador, exponen teorías,
conceptos o puntos de vistas divergentes sobre
un tema común, aportando al
alumnado
información variada, evitando enfoques parciales.
Al finalizar las exposiciones, el
moderador
resume las coincidencias y diferencias, invitando
al alumnado a formular preguntas de carácter
aclaratorio.
Proporciona un aprendizaje de conocimientos y
habilidades sobre situaciones
prácticamente
reales, favoreciendo una retroalimentación casi
inmediata de los resultados (robot, vídeo,
informática, etc.).
Va más allá de la demostración por parte del
profesorado, ya que se
pretende que, el
alumnado, a través de un aprendizaje guiado,
sea capaz de analizar los distintos factores que
intervienen en un problema y formular distintas
alternativas de solución.
Tras la descripción de una situación real o ficticia,
se plantea un problema sobre el que el
alumnado debe consensuar una única solución.
Se utiliza principalmente en la modalidad
formativa de las sesiones clínicas, favoreciendo
extraordinariamente
la
transferencia
del
aprendizaje.
de
Técnica de descubrimiento, en la que el
profesorado presenta al alumnado uno o varios
fenómenos relacionados entre sí y, a ser posible,
aparentemente
contradictorios, para que,
utilizando la evidencia científica, el alumnado
extraiga conclusiones útiles para su práctica
profesional.
30
Tabla 4. Técnicas didácticas (continuación).
Técnicas
Sub-técnicas
Investigación social
El proyecto
Técnicas de trabajo en
grupo
El
debate
dirigido
discusión guiada
El foro
Correo electrónico
Foro
Chat
o
Técnica de descubrimiento que favorece la
adquisición de objetivos de comprensión y
aplicación, potenciando el descubrimiento de
estructuras profundas, relaciones nuevas y
valoraciones críticas. Se trata de plantear “un
problema" pobremente definido y de
discutir sus posibles soluciones
Técnica que facilita la transferencia del
aprendizaje al puesto de trabajo, ya que la
labor del docente no acaba en el aula, sino
que sigue asesorando al alumnado en la
aplicación de un
plan de trabajo
personalizado, previamente definido.
Un grupo reducido (entre 5 y 20) trata un
tema en discusión informal, intercambiando
ideas y opiniones, con la ayuda activa y
estimulante de un conductor de grupo.
El grupo expresa libre e informalmente sus
ideas y opiniones sobre un asunto,
moderados por el/la formador/a o tutor/a.
Generalmente acompaña a otras técnicas
(mesa redonda, role play, etc.) o se utiliza
como continuidad de la actividad, al finalizar
ésta.
Es una herramienta de comunicación
asíncrona que permite enviar mensajes a los
participantes del curso. Suele ser el medio
más generalizado para realizar tutorías a
través de Internet
asíncrona, que permite que las consultas y
correos enviados, puedan ser resueltos y/u
observados tanto por el alumnado como por
el profesorado. A
través de esta herramienta el tutor puede
organizar debates, resolver dudas, convocar
Chat, etc.
síncrona que permite que los participantes en
una acción formativa puedan comunicarse en
tiempo real. Todas las personas que estén en
el Chat
pueden leer los mensajes de los demás en el
momento
3.1.5. Software lúdico. Al iniciar una introducción a la tecnología en el campo
educacional, se van generando nuevos términos para denominar aquellos
programas didácticos que son utilizados en el proceso de aprendizaje y
enseñanza, el término más usual frente a esto es 'Software lúdico', este es
utilizado por docentes, especialistas en la educación y por las fábricas de
software. El termino lúdico es asignado a los programa de computador, por la
31
razón de que son elaborados con un propósito y con características propias para
poder así determinar su carácter educacional11.
Aquellos investigadores que están detrás de esta nueva disciplina para mejorar el
proceso de enseñanza, definen como: “cualquier programa computacional que
cuyas características estructurales y funcionales le permiten servir de apoyo a la
enseñanza, el aprendizaje y la administración educacional”12.
“Las expresiones de software educativo, programas educacionales y programas
didácticos como sinónimos para designar genéricamente todo tipo de programas
para computador creados con la finalidad específica de ser utilizado como medio
didáctico”13.
Se habla de un software lúdico cuando se está refiriendo a los programas
educativos o programas didácticos y que cumplen con una finalidad específica, de
poder ser utilizados para facilitar los procesos de enseñanza y aprendizaje.
Características de Software Lúdico14.
Para poder establecer las
características de un software lúdico, es necesario saber que en el mercado hay
muchos programas que se consideran como 'Software lúdico', pero cada uno se
diferencia por las características propias y que estas a su vez deben cumplir con
fines educativos, como las siguientes:
El software lúdico es realizado con un fin específico, apoyar la labor del docente
en el proceso de aprendizaje de los estudiantes.
Se deben establecer características computacionales y elementos
metodológicos que ayuda a la orientación de un proceso de aprendizaje.
Estos programas son elaborados para ser utilizados por computadores y así
generando ambientes interactivos que ayudan a la comunicación con el
estudiante.
Una facilidad de uso, que es una condiciones básica para su manejo por parte
de los estudiantes, ya que debe ser mínimos los conocimientos informáticos para
su utilización.
Debe ser una motivación para que el alumno se interese en este software que
es material de su educación.
11
ABUD FIGUEROA, María Antonieta. MECSE: Conjunto de Métricas para Evaluar Software Educativo. EN:
Repositorio
Digital,
Instituto
Politécnico
Nacional
[en
línea].
Vol.
39
(2005)
<
http://www.repositoriodigital.ipn.mx/bitstream/handle/123456789/5329/39-2.pdf?sequence=2> [citado el 2 de
febrero del 2013].
12
SÁNCHEZ J, Construyendo y Aprendiendo con el Computador. 1995.
13
MARQUES, Pere. El software educativo, Universidad Autónoma de Barcelona 19 de febrero del 2001.
14
HERNÁNDEZ B, Víctor E. Un modelo de evaluación de software educativo para la enseñanza de la
Matemática. 2007. p. 2-5
32
Componentes del software lúdico15. El software lúdico que tiene una
finalidad educativa, deben estar conformado por varios componentes, que son
fundamentales dentro del software para la enseñanza, que sirven para realizar un
seguimiento al programa y permite indicar si está cumpliendo con los
requerimientos.
Componente técnico – estético: este componente se centra en los
elementos que se consideran importantes, como son: la presentación y el
funcionamiento del software, buscando la facilidad de uso del mismo y el
acoplamiento de cada uno de sus elementos a la hora de su ejecución, a
continuación se presenta el listado de componentes:
• Calidad en el entorno audio visual y multimedia: esta se refiere a la calidad
de que se debe tener en la presentación de todo lo relacionado a los elementos
como imágenes, audio, animación, fotografía, iconos, títulos, gráficos, música,
botones, entre otros elementos.
• Navegación: se debe tener una manera en como los pasos deben guiar al
usuario cuando se esté ejecutando el software, esto será importante para
determinar su facilidad de uso.
• Interacción: se relaciona con la parte amigable que tiene el software, como la
capacidad de dar y poder recibir una información a partir del usuario, este permite
que el usuario tenga una buena ejecución del programa.
• Usabilidad: los programas deben ser amigables, tener un uso fácil y que sean
autos explicativos, para que sean realmente utilizados por los usuarios y no tener
que realizar una lectura de manuales extensos.
• Calidad de contenidos: se trata de tener una buena selección y estructuración
de los contenidos teniendo en cuenta las características del usuario. Como la
información que se presenta es correcta y actual, con una estructura que se pueda
diferenciar de forma adecuada (datos, elementos, ortografía y construcción de
frases).
Componente didáctico – pedagógico: este componente recoge los
elementos que son importantes para el proceso de enseñanza en el programa, ya
que cuentan con una claridad, aceptación, pertinencia y eficiencia. Cuenta con los
objetivos, los contenidos que debe tener el software, a continuación se presenta el
listado de componentes:
• Objetivos: este se centra en una buena planificación del diseño instruccional
para asegurar los objetivos planteados en el software. Es fundamental que este
15
Ibid., p. 2-5.
33
bien definido ya que se pretende es lograr con la aplicación es el procesos de
enseñanza y de aprendizaje.
• Contenido: es la administración del contenido que se está colocando en el
software, es importante por la calidad de material y este debe ser controlado para
que sea adecuado y preciso.
• Comunicación: conseguir tener una información clara para compartirla con el
estudiante que está ejecutando el programa para cumplir los objetivos.
• Documentación: debe tener una información que permita dar una ayuda de
cómo debe ser la ejecución del programa para ser utilizado de una forma clara.
• Metodología de enseñanza: se aborda la manera en como el software debe
manejar todo el proceso de enseñanza y de cómo transferir el conocimiento que
debe obtener el usuario.
• Interacción con el estudiante: es la capacidad de motivar al estudiante para
que el aprendizaje significativo ser realice de una forma que el ambiente sea
amigable hacia el estudiante, para mantener la curiosidad de los elementos
lúdicos
Ventajas del software lúdico16. En los últimos años los materiales de
multimedia son muy atractivos para los alumnos, las ventajas principales de este
tipo de software en el área de educación son:
Avivar el interés: los alumnos se pueden motivar al utilizar este tipo de
materiales, la motivación en un eje principal del aprendizaje, esta permite la
estimulación de actividades y de pensamiento, también la motivación hace que el
estudiante dedique más tiempo a trabajar.
Mantener una continua actividad intelectual: el estudiante siempre busca
interactuar con la computadora y esto lleva a que mantiene un alto grado de
implicación e iniciativa en el trabajo. Los materiales multimedia ofrecen versatilidad
e interactividad, esto permite que se tenga una gran atención por parte del
alumno.
Orientar el aprendizaje: en los entornos de aprendizaje se pueden incluir
buenos gráficos, simulaciones, herramientas para el procesamiento de la
información, que permiten guiar a los estudiantes y favorezcan la comprensión.
Promover un aprendizaje a partir de los errores: utilizar una
retroalimentación inmediata a las respuestas y a las acciones de los usuarios
permite a los estudiantes conocer los errores en línea y en ocasiones el programa
permite realizar oportunidades de corrección de las respuestas o formas de actuar
para supéralos.
Facilitar la evaluación y control: para facilitar la comprensión de algunos
temas, se realiza mediante ejercicios de refuerzo sobre técnicas instrumentales,
presentación de conocimientos generales, prácticas sistemáticas de ortografía,
esto permite que el profesor no tenga que hacer trabajos repetitivos esto busca
16
NUÑEZ MATUREl, Lissette y RUIZ PEREIRA, Dayamis. Software educativo sobre temas generales de la
Podología. EN: Revista Cubana de Informática Médica [en línea]. No. 24 (2011) <
http://www.rcim.sld.cu/revista_24/articulo_pdf/podologia.pdf> [citado el 7 de febrero del 2013].
34
que se pueda dedicar más a estimular el desarrollo de las facultades cognitivas
superiores de los alumnos.
Posibilitar un trabajo individual y también en grupo: estos programas se
adaptan a los conocimientos previos del estudiante y a su ritmo de trabajo, estos a
su vez facilitan el compartir información y la comunicación entre miembros del
grupo.
Limitaciones del software lúdico17. Aunque el software lúdico tiene ventajas
también se debe tener en cuenta cuales son las limitaciones que se presenta en el
uso de este software como herramienta de la educación. Alguna de estas
limitaciones se presentan a continuación:
Se requieren conocimientos mínimos en el uso de elementos informáticos.
Se pueden presentar fallas en el sistema ajenas al aplicativo.
Se puede dificultar la búsqueda de información específica.
Falta de software adecuado ajustado a la práctica docente.
Falta de adecuación del sistema educativo actual para trabajar con software
educativo.
Funciones del software lúdico. Los programas didácticos, cuando se aplican
a la realidad educativa, realizan las funciones básicas propias de los medios
didácticos en general y además, en algunos casos, según la forma de uso que
determina el profesor, pueden proporcionar funcionalidades específicas.
Tabla 5. Estas son las funciones de un software lúdico.
17
PAUR, Alicia Beatriz y SAENZ, Marta Susana. Evaluación de software educativo mediante variables que
califiquen su calidad. Tesina Licenciado en Informática. Universidad Nacional de la Patagonia San Juan
Bosco. Facultad de Ingeniería, 2004. 39 p.
35
3.1.6. Ingeniería de software18. La ingeniería de software es una disciplina que
realiza la integración de procesos, métodos y herramientas para el desarrollo de
software.
Figura 6. Aspectos que componen la ingeniería de software.
El producto. El producto es lo que diseña y construye un ingeniero del
software sin importar el tamaño y la arquitectura.
Figura 7. Razones de la importancia del software.
18
APARICIO, Alexandra. Ingeniería de Software. EN: Datateca, Universidad Nacional Abierta y a Distancia
[en línea]. (2012) <http://datateca.unad.edu.co/contenidos/301404/301404.pdf> [citado el 15 de marzo del
2013].
36
Un producto es visto de diferentes formas dependiendo del stakeholders que
interactúa con este.
Figura 8. Que es un producto de software.
Introducción al software. El software se ha convertido en un elemento calve
en la evolución de los sistemas y de los productos informáticos, por esta razón no
se puede ver solo como un conjunto de programas, instrucciones y estructura de
datos. A continuación se presenta las características que identifican un software.
Tabla 6. Características de un software.
Aplicaciones del software. El software afecta las actividades dentro de una
sociedad por esta razón tiene una gran de amplitud de aplicaciones, en la tabla 7
se relacionan estas aplicaciones:
37
Tabla 7.Tipos de software existentes.
El proceso. Es una serie de pasos a seguir que permiten construir el producto
o sistema, es importante en el software porque este proporciona estabilidad,
control y organización de una actividad.
Proceso, método y herramientas. La ingeniería del software se apoya sobre
los enfoques de calidad sonde se utiliza lo siguiente:
Herramientas.
Métodos.
Proceso.
Enfoque de calidad.
Figura 9. Enfoques para realizar el desarrollo de un software.
38
Fases de la ingeniería de software. Se divide en tres fases, con
independencia de cada área de aplicación, tamaño o complejidad del proyecto.
Fase de definición: se centra en el sobre qué, donde identifica que
información ha de ser procesada, su función y que rendimiento se desea. Las
tareas específicas de esta fase son: ingeniería de Sistemas o de información,
planificación del proyecto software y análisis de requerimientos.
Fase de desarrollo: se centra en el cómo, se define en como diseñar la
estructura de los datos, como se deben implementar las funciones dentro de la
arquitectura de software, como deben ser las interfaces, el lenguaje de
programación y como ha de realizar la prueba.
Fase de mantenimiento: se centra en el cambio de los siguientes aspectos:
• Corrección de errores.
• Adaptaciones requeridas a medida que evoluciona el entorno del software.
• Cambios debido a las mejoras producidas por los requisitos cambiantes del
cliente.
• Se encuentran cuatro tipos de cambio: corrección, adaptación, mejora y
prevención.
Figura 10. Fases del proceso de ingeniería de software.
3.1.7. Modelos de proceso de software. Para desarrollar un software se necesita
de una estrategia que acompañe al proceso, métodos y a las herramientas.
Una estrategia a menudo es utilizar un modelo de proceso o paradigma de
ingeniería de software, se selecciona un modelo de proceso para la ingeniería del
software según la naturaleza del proyecto y de la aplicación, los métodos y las
herramientas a utilizarse, y los controles y entregas que se requieren.
39
Modelo lineal secuencial. Se denomina también el ciclo de vida básico o
modelo en cascada, este modelo sugiere un enfoque sistemático, secuencial, para
el desarrollo del software que comienza en un nivel de sistemas y progresa con el
análisis, diseño, codificación, pruebas y mantenimiento.
Es un ciclo de vida que tiene un sentido amplio, que incluye no sólo las etapas de
ingeniería sino toda la vida del producto: las pruebas, el uso (la vida útil del
software) y el mantenimiento.
Figura 11. Actividades del modelo lineal secuencial.
Actividad ingeniería del sistema: se encarga de analizar las características y
el comportamiento del sistema del cual el software va a formar parte.
Actividad análisis: se debe comprender cuáles son los datos que se van a
manejar, cuál va a ser la función que tiene que cumplir el software, cuáles son las
interfaces requeridas y cuál es el rendimiento y otros requisitos no funcionales que
se esperan lograr.
Diseño: el diseño se aplica a cuatro características distintas del software: la
estructura de los datos, la arquitectura de las aplicaciones, la estructura interna de
los programas y las interfaces.
Codificación: consiste en la traducción del diseño a un formato que sea
comprensible para la máquina. Si el diseño es lo suficientemente detallado, la
codificación es relativamente sencilla, y puede hacerse de forma automática,
usando generadores de código.
Prueba: el objetivo es comprobar que no se hayan producido errores en
alguna de las fases anteriores, especialmente en la codificación. Se deben probar
todas las sentencias, y todos los módulos que forman parte del sistema.
Utilización: el software se entrega al cliente y comienza la vida útil del mismo.
Mantenimiento: el software sufrirá cambios a lo largo de su vida útil. Estos
cambios pueden ser debidos a tres causas:
• Durante la utilización el cliente detecte errores en el software los errores
latentes.
40
• Se produzcan cambios en alguno de los componentes del sistema.
• El cliente requiera modificaciones funcionales no contempladas en el proyecto.
Modelo incremental. El modelo incremental se centra en la entrega de un
producto operacional con cada incremento. Los primeros incrementos son
versiones “incompletas” del producto final, pero proporcionan al usuario la
funcionalidad necesaria para su evaluación.
Figura 12. Modelo incremental.
3.1.8. Control de calidad de software. Las metodologías y herramientas que
existen tiene un objetivo único producir software de gran calidad.
Alguna definición de calidad se puede encontrar como “Concordancia con los
requisitos funcionales y de rendimiento explícitamente establecidos con los
estándares de desarrollo explícitamente documentados y con las características
implícitas que se espera de todo software desarrollado profesionalmente ". R. S.
Pressman (1992)19.
La norma ISO 8402 (UNE 66-001-92) define la calidad como “El conjunto de
características de una entidad que le confieren su aptitud para satisfacer las
necesidades expresadas y las implícitas”20.
Cada metodología o estándares realizan una definición de un conjunto que
desarrolla criterios, que permiten ser la guía para aplicar la ingeniería de software.
Los requisitos que tiene el software son la base de poder medir la calidad.
Métricas para la calidad de software. El objetivo principal de la ingeniería de
software es desarrollar y producir software de una alta calidad. Para lograr este
objetivo se necesita aplicar métodos y herramientas efectivas dentro del contacto
maduro de desarrollo de software. Dentro de las métricas existen medidas de
calidad del software estas son:
19
CUEVA L, Juan M. Calidad del Software: conferencia, Grupo GIDIS, 21 de Octubre de 1999. Universidad
Nacional de la Pampa. p. 1.
20
Ibid., p. 1.
41
Corrección: es el grado en el cual el software cumple con su funcionalidad, la
medida más común para esto es:
Figura 13. Medida de la corrección.
Facilidad de mantenimiento: se refiera a la facilidad con la cual se puede
corregir un programa si se encuentra un error. Se utiliza las medidas indirectas
como:
Figura 14.Medida de la facilidad de mantenimiento.
Integridad: mide la capacidad del software para resistir ataques. Se debe
tener en cuenta los siguientes atributos:
• Amenaza: es la probabilidad de que un ataque ocurra en un tiempo
determinado.
• Seguridad: es la probabilidad de que se pueda repeler el ataque de un tipo
determinado.
Se utiliza las medidas indirectas como:
Figura 15. Medida de la integridad.
Facilidad de uso. Mide lo amigable del software con el usuario final, se mide
en función de:
• Habilidad intelectual o física para aprender el sistema.
• El tiempo requerido para hacer uso eficiente del sistema.
• Aumento de la productividad.
42
• Valoración subjetiva de la disposición de los usuarios hacia el sistema.
Conceptos de calidad. Se deben identificar los conceptos claves para la
calidad del software.
• Calidad: Según la norma ISO 9000, define la calidad como un conjunto de
características de una entidad que le confieren su aptitud para satisfacer las
necesidades expresadas e implícitas.
Figura 16.Tipos de calidad en el software.
• Control de Calidad. Hace referencia a las actividades de inspección, revisión y
pruebas que se utilizan a lo largo del proceso de software, que busca como
objetivo para asegurar que cada producto desarrollado cumpla con los requisitos
que le han sido asignados. En un control de calidad se debe definir todos los
productos y las especificaciones para realizar una comparación de los resultados
del proceso, el control debe tener las actividades que puedan ser automáticas,
manuales o combinados y si existe una retroalimentación.
• Aseguramiento de Calidad de Software. Se habla de aseguramiento de
calidad a un grupo de actividades planificadas y sistemáticas para ayudar en la
confianza de un producto para satisfacer los requisitos de calidad. Cuando se
realiza el aseguramiento de calidad se realiza antes de comenzar el desarrollo no
después21.
21
Ibid., p. 2.
43
Figura 17. Lista de presentación del aseguramiento de calidad.
3.1.9. Usabilidad. Es la medición de calidad de la facilidad de uso que tiene un
usuario cuando interactúa con un producto o sistema, como aplicaciones de
software. Esta se mide a través de la composición y relación de las herramientas
(Sistema de navegación, funcionalidades y el contenido ofrecido), para determinar
la eficiencia de su uso de cada uno de los elementos ofrecidos en el producto o
sistema.
Definiciones. A continuación se mencionan algunas definiciones para el
atributo de calidad usabilidad:
Según la norma ISO 9241-11 define la usabilidad como “El grado en el cual un
producto puede ser usado por unos usuarios específicos para alcanzar metas
especificadas con efectividad, eficiencia y satisfacción en un contexto de uso
especificado.”22
Figura 18. Marco de referencia de usabilidad (ISO 9241-11).
Fuente: los autores
22
INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. Ergonomic requirements for office work
with visual display terminals (VDTs) - Part 11 :Guidance on usability: ISO, 1998 (ISO/DIS 4241-11).
44
Definición según Nielasen, la usabilidad se define en términos de cinco
atributos de usabilidad:
• Aprendizaje: es la capacidad con que los nuevos usuarios deben aprender
fácilmente a usar el sistema.
• Eficiencia: es la capacidad con que el sistema debe ser eficiente para su uso
cuando un usuario ha aprendido a usarlo.
• Memorización: es la capacidad del sistema de su facilidad de recordación por
parte del usuario sin importar los periodos de su uso.
• Prevención de errores: el sistema debe tener mínimos errores.
• Satisfacción: el sistema debe ser agradable en su uso.
Figura 19. Marco de usabilidad según Nielsen.
3.1.10. Evaluación de la usabilidad23. La evaluación de la usabilidad en un
proceso que permite determinar una medida de facilidad de uso. Existe un objeto
que se evalúa a través del cual uno o más atributos se les da un valor. El campo
de desarrollo de software se ha incrementado el interés en las pruebas de
usabilidad.
La evaluación de la usabilidad es una actividad importante cuando se diseña la
interfaz del usuario. Cuando existe un interfaz deficiente puede llevar al ámbito de
la educación a un fracaso de un buen aprendizaje.
Los propósitos más esenciales de la evaluación de usabilidad son:
Proporcionar retroalimentación para mejorar el diseño de interfaz.
23
ALVA OBESO, María Elena. Metodología de Medición y Evaluación de la Usabilidad en Sitios Web
Educativos. Doctora en Informática. Universidad de Oviedo. Departamento de Informática, 2005 . p. 10.
45
Valorar qué objetivos de usuarios y organizaciones están siendo logrados.
Monitorizar el uso de productos o sistemas a largo plazo.
Al realizar una evaluación de usabilidad no solo debe importar lo técnico y físico
del sistema, sino también las características de los usuarios y de las tareas, si se
basa la evaluación en el enfoque del usuario se puede identificar las tareas más
representativas que debe tener el sistema en un uso real.
3.1.11. Métodos de evaluación de usabilidad24. Es un procedimiento
sistemático para realizar la grabación de datos que se relacionan con la iteración
del usuario final con el sistema o software. Con los datos obtenidos realiza un
análisis para determinar la usabilidad del producto.
3.1.12. Clasificación de los métodos. Los métodos que permiten realizar la
evaluación de la usabilidad se pueden clasificar por numerosos criterios: el grado
de implicación del usuario, escenarios de tareas o el objetivo de la evaluación. A
continuación se encuentran los métodos de evaluación de usabilidad:
Nielsen y Molich: el método planteado por ellos se divide en cuatro categorías.
Tabla 8. Método de evaluación de Nielsen y Molich.
Categorías
Evaluación formal
Evaluación automática
Evaluación empírica
Evaluación heurística
Descripción
Se realiza la evaluación de la interfaz de usuario mediante análisis
técnicos.
Se utilizan procedimientos automatizados para realizar la
evaluación de la usabilidad.
Se realiza a partir de experimentos con pruebas a usuarios y tiene
como objetivo de completar una evaluación del usuario.
Se realiza mediante la revisión de la interfaz del usuario y se
genera un informe sobre la opinión.
Wixon y Wilson: en este método el usuario es el centro del proceso y se
clasifica de la siguiente forma:
24
Ibid., p. 10.
46
Tabla 9. Método de evaluación de Wixon y Wilson.
Preece: considera cuatro métodos para la evaluación de la usabilidad, estos
son:
Tabla 10. Método de evaluación de Preece.
Scriven: una aproximación para la evaluación de la usabilidad basadas en el
objetivo de la evaluación.
Tabla 11. Método de Scriven.
Método
Evaluación formativa
Evaluación sumativa
Descripción
Aquella realizada durante el desarrollo para mejorar un diseño, es
decir, se basa en encontrar problemas de usabilidad para lograr así que un diseño
de interacción pueda ser mejorado
Aquella realizada después que el diseño de la interfaz de usuario (o componente)
ha sido completado, para realizar una valoración absoluta o comparativa del diseño.
Consiste de una valoración y comparación estadística de dos o más configuraciones
de diseño.
47
3.1.13. Descripción de modelos de evaluación de usabilidad25,26.
Método de evaluación de inspección. Este método no requiere una extensa
preparación o experiencia del evaluador y se pueden aplicar e integrar en el
proceso de desarrollo. Los evaluadores pueden ser especialistas en usabilidad,
usuarios finales, etc.
Evaluación heurística. Busca la revisión de una aplicación si es o no fácil de
usar, realizando la evaluación de cada elemento de la interfaz del usuario
siguiendo los principios de usabilidad establecidas.
• Proceso para realizar la evaluación heurística: Se basa en un conjunto de
reglas que describen propiedades de interfaces usables, cada heurística se
presenta de una forma estructurada, con uno o más de los siguientes elementos:
- Preguntas de conformidad: estas preguntas se relacionan a que debe hacer
el sistema/usuario para satisfacer la heurística.
- Evidencia de conformidad: cuales son los aspectos de diseño se deben
considerar, que indique satisfacción de la heurística.
- Motivación: determina los aspectos no conformes (defectos) en un informe
donde los evaluadores describen el problema.
27
Tabla 12. Las diez principales heurísticas según Nielsen .
Recorrido cognitivo. Permite evaluar la facilidad de aprendizaje y de uso de
las principales tareas del sistema evaluado, es una técnica cualitativa donde se
realizar por parte de evaluadores expertos donde exploran una interfaz gráfica
25
Ibid., p. 16
UNIVERSITAT DE LLEIDA. Estudio sobre Evaluación de la Usabilidad Móvil y Propuesta de un Método
para Test de Usabilidad
Cuantitativos basado en Técnicas de
Eyetracking [en línea]. <
http://www.recercat.net/bitstream/handle/2072/209215/ccuadrats_Parte1.pdf?sequence=7> [citado el 15 de
abril de 2013]. p. 17.
27
Ibid., p. 18 – 20.
26
48
propuesta, se debe realizar un análisis de exploración por los siguientes
argumentos: los usuarios prefieren aprender del software mediante la exploración
de sus posibilidades y es una técnica muy eficaz cuando se quiere testear
procesos. La sesiones pueden ser de forma individual o grupal (usuarios,
desarrolladores y profesionales de la usabilidad) y se denominan:
• Recorrido Cognitivo (Cognitive Walkthrough): cuando sea individual.
• Recorrido Cognitivo Conjunto (Pluralistic Walkthrough): cuando el
recorrido cognitivo se realice en grupo.
Método de inspección formal: metodologías de inspección del código, son
las que se llevan a la práctica con más frecuencia que otras evaluaciones con
expertos, en este método se contemplan los aspectos técnicos, las principales
inspecciones son las siguientes:
Tabla 13. Tipo de inspecciones.
Inspección
Inspecciones Formales de
Usabilidad
Inspecciones de Características
Inspecciones de Consistencia
Inspecciones de Estándares
Descripción
Los expertos recorren meticulosamente las tareas con los
objetivos de los usuarios en mente, enfatizando la búsqueda
de errores.
Analizan únicamente un
conjunto de características
determinadas del producto, valiéndose de los escenarios de
uso.
Se busca asegurar la
consistencia a través de la
comparación de múltiples productos similares.
Las inspecciones de estándares garantizan el ajuste a los
estándares de la industria.
Revisión de guías de estilo. Los evaluadores que son expertos revisan que
el software cumpla con las directrices que tiene fijadas por una institución, las más
características son:
Tabla 14. Tipo de guías de estilo.
Guías
Guías de Comprobación
Listas
de
Comprobación
Basadas en Escenarios
Descripción
Las guías y las listas de comprobación ayudan a asegurar que
los principios de usabilidad sean completamente revisados en
un diseño
Se puede entender como una particularización de la anterior en
la que la inspección se lleva a cabo a través de tres escenarios:
usuario novel, usuario experto y manejo de errores.
49
3.2. MARCO TEÓRICO
En el desarrollo de los protocolos de búsqueda y de revisión de los artículos se
pudo evidenciar diferentes modelos de evaluación de usabilidad y
correspondencia didáctica
que apoyan la evaluación de aplicaciones de
aprendizaje, los cuales definen cuales son las etapas, métodos, instrumentos y
métricas para realizar una evaluación.
A continuación se presentan los modelos propuestos que sirven como guía para
evaluar la usabilidad y correspondencia didáctica en diferentes entornos de
aprendizaje:
Modelo que evalúa Entornos Virtuales de Enseñanza y Aprendizaje (EVEA) y
se centra en la evaluación de la usabilidad. Este modelo está compuesto por
cuatro capas donde se inicia con la evaluación general y se llega a tener una
evaluación más específica al usuario final, cada capa tiene objetivos diferentes y
aplican diferentes métodos, evaluadores e instrumentos de evaluación, como
método principal la evolución por heurística.
El modelo permite realizar la evaluación de un software educativo teniendo en
cuenta aspectos tecnológicos, capacidad de uso y de pedagogía, a partir de
estándares de calidad, utiliza cuestionarios para realizar la evaluación, donde
existe diferentes tipos de preguntas.
Es un modelo que se basa en las normas internacionales, busca adaptar estas
normas a la parte de enseñanza del entorno evaluado. Unifica criterios y
estandartes, esta propuesta es genérica y adapta a la evaluación de cualquier tipo
de software educativo.
El modelo presentado evalúa el impacto del software educativo en el aspecto
pedagógico, se utiliza indicadores para la evaluación donde se recogen a partir de
la información de estudiantes, profesores y directivos. A partir de la información
recogida en la evolución toma decisiones para mejorar el software educativo.
Utiliza instrumentos para la evaluación como, entrevistas, guías de observación y
evaluación, pruebas y cuestionarios.
La utilización de un instrumento de evaluación de usabilidad para un usuario
final, puede conseguir una evaluación objetiva desde la facilidad de aprendizaje,
su comprensión. El instrumento se enfoca en la integración de las dimensiones
pedagógicas y técnicas.
El modelo busca evaluar la calidad en un software educativo donde se
encuentra las métricas de medición teniendo un enfoque sistemático (MOSCA).
El método busca que un docente seleccione un software de aprendizaje que
satisfaga la enseñanza de sus alumnos, utiliza una lista de criterios donde tiene
los aspectos de usabilidad y didácticos, cada pregunta tiene una calificación que el
profesor determina.
Metodología que mide la usabilidad de aplicaciones web, donde se evalúa en
cada etapa del desarrollo de aplicaciones de software, se usa un modelo de
50
medición de jerarquía de tres niveles, donde se define los criterios, métricas y
atributos. Utiliza técnicas para la evaluación teniendo en cuenta los criterios.
Esta metodología propuesta realiza una evaluación objetiva de la calidad del
software educativo, contempla los aspectos de funcionales y pedagógicos, donde
cada uno tiene sus criterios definidos. La medición de cada criterio se hace por
subcriterios e ítems. Se diseñan fichas donde contiene los criterios, subcriterios e
ítems donde a cada uno da valores.
Metodología que propone la evaluación de un objeto de aprendizaje a través
de la combinación de métodos de heurística de usabilidad y criterios pedagógicos,
para reunir las categorías que se enfocan en la facilidad de aprendizaje y de uso.
Metodología propone la evaluación de la usabilidad en aplicaciones de
aprendizaje, donde identifica las dimensiones de análisis y sus respectivos
criterios, reúne la experiencia de evaluadores expertos y los estudios de los
usuarios, utiliza patrones de evaluación (ATs) donde se describen los objetos de la
aplicación a evaluar y cada acción que debe realizar el evaluador.
La evaluación de usabilidad en sistemas de aprendizaje mejora el proceso de
adquisición de conocimientos en la educación. La combinación de
comportamientos y mediciones que se basan en la facilidad de uso, rendimiento y
satisfacción
de los usuarios como profesores y alumnos, permiten tener
resultados para rediseñar la interfaz ofrecida.
Una lista de control recoge aspectos enfocados a la usabilidad y pedagogía,
donde esta lista se enfoca en la experiencia de los maestros en la evaluación de
entornos educativos.
Técnicas como la observación y la entrevista, determinan una evaluación de
componentes del sistema de aprendizaje, la información que se obtiene en la
evaluación busca saber cuál es la aceptación del usuario final a la aplicación.
Los factores de evaluación de un software educativo son los encargados de la
integración de los avances tecnológicos como el diseño isntruccional y la
evolución de los sistemas.
Es importante entender las características de la calidad de aprendizaje a
distancia donde se tiene en cuenta la perspectiva del alumno y el instructor, donde
la facilidad de uso es la caracterices principal a evaluar.
Las listas de control se enfocan en la evaluación predictiva de software
educativo, pero no realiza la integración de los aspectos de facilidad de uso y
aprendizaje, por esta razón el modelo propuesto permite la integración de estos
dos aspectos, desde el conocimiento de los profesores.
Las heurísticas se desarrollan para evaluar específicamente entornos virtuales
de aprendizaje, donde se enfocan en la facilidad de uso de su interfaz.
Las técnicas y métricas de una evaluación de usabilidad permiten la
recolección de datos y consolidación de datos, para esto es importante
caracterizar cuales son las técnicas que se van emplear dependiendo del contexto
y usuarios.
Una metodología propuesta en el diseño de software educativo donde existe la
etapa de evaluación donde este puede ser realizada por evaluadores internos y
externos.
51
4. METODOLOGÍA PROPUESTA
Para realizar el proyecto se utilizará una revisión sistemática siguiendo la
metodología propuesta por Bárbara Kitchenham. A continuación se explica el
proceso de revisión sistemática:
4.1. PROCESO DE REVISIÓN SISTEMÁTICA28
4.1.2. Revisión sistemática. Es la recopilación y simplificación de información
sobre un tema, que sea importante para un interrogante de una investigación.
“Una revisión sistemática es una manera de evaluar e interpretar toda la
investigación disponible, que sea relevante respectó de un interrogante de
investigación particular, en una área temática o fenómeno de interés”29
4.1.3. Utilización de una revisión sistemática. La utilización de una revisión
sistemática surge de las publicaciones de artículos en revistas que hablan sobre la
Ingeniería de Software, por esta razón se vuelve inaccesible a toda esta
información y no se puede tener la información adecuada para la toma de
decisiones frente a un interrogante.
Existes razones para llevar a cabo una revisión sistemática, una de ellas es la
búsqueda de sintetizar la información existente en relación con un área, otra razón
es identificar cuáles son las omisiones o vacíos que existen en la investigación
actual y así sugerir nuevas investigaciones en áreas y por ultimo proveer un nuevo
marco de trabajo para crear nuevas actividades en la investigación.
4.1.4. Importancia de una revisión sistemática. Cuando se inicia una
investigación independientemente de cual sea, el primer paso que se realiza es
una revisión de la documentación existente en un área específica, esta primera
revisión se denomina literaria es decir no tiene un gran valor científico si no es
exhaustiva y objetiva. Por este motivo se propone realizar una revisión
sistemática, mediante esta revisión se busca identificar, evaluar, interpretar y
sintetizar de forma objetiva la investigación que se esté realizando.
4.1.5. Ventajas y desventajas. Realizar una revisión sistemática requiere de
disciplina exhaustiva, motivo por el cual se hace indispensable analizar las
ventajas y desventajas propias de la revisión sistemática las cuales se mencionan
en la siguiente tabla.
28
MALACRIDA, Juan Ignacio. REVISIÓN Y AGREGACIÓN DE ESTUDIOS EXPERIMENTALES
VINCULADOS A TÉCNICAS DE INSPECCIÓN. Buenos Aires, 2008, 183 h. Tesis de magister en ingeniera de
software (Ingeniero). Instituto Tecnológico de Buenos Aires. Departamento de ingeniería.
29
GUTIÉRREZ CARO, María Angélica., et al. Análisis y revisión de la literatura en el contexto de proyectos de
fin de carrera: Una propuesta. p. 2-3.
52
Tabla 15. Descripción de ventajas y desventajas
4.1.6. Características de una revisión sistemática. A continuación se describen
las características que ayudan a diferenciar la revisión sistemática a la revisión
tradicional.
Figura 20. Características de la revisión sistemática.
4.1.7. Revisión sistemática para el desarrollo del proyecto30,31,32 .En la revisión
sistemática se involucran diferentes actividades, el método de Bárbara
Kitchenham propone tres etapas y cada una se divide en fases, a continuación se
explica cada etapa y sus fases correspondientes, para llevar a cabo la revisión
sistemática en el proyecto.
30
Ibid., p. 2-3.
GRIMÁN, Anna C. Revisiones Sistemáticas: Recomendaciones para un Proceso Adecuado a la Ingeniería
del Software. Madrid: España, 2008. p. 4-5.
32
MORGUES F, José A. Obtención de conocimiento empírico sobre la calidad de Casos de Uso. Valencia,
septiembre del 2010, 121 h. Tesis de master. Universidad Politécnica de Valencia.
31
53
Figura 21. Método para la realización de revisiones sistemáticas.
Etapa 1: Planificación de la revisión. En esta etapa tiene como propósito
definir todos los parámetros que son significativos para poder determinar si hay
una necesidad de realizar una revisión y así mismo planear su desarrollo, se
divide en dos sub - etapas.
Identificación de la necesidad de la revisión: El objetivo principal es resumir
toda la información encontrada en la investigación inicial. Si existen revisiones
sistemáticas se deben identificar y realizar una revisión sobre el tema de interés
para realizar un criterio de evaluación que sea acoplado.
Definición de un protocolo de revisión: Se realiza la revisión de cada
estudio que se encontró en la investigación y que pueden ser incluidos para
realizar la revisión sistemática. En esta etapa se debe definir aquellas normas de
revisión a seguir, los criterios de exclusión e inclusión que serán empleados, como
realizar la filtración de datos y hacer finalmente la síntesis de estos.
Etapa 2: Desarrollo de la Revisión. En esta etapa se lleva a cabo la revisión
como tal, su desarrollo se guía por la planificación de la revisión, este es un
proceso flexible se puede incluir cambios para mejorar su desempeño.
Identificación de la investigación: Se realiza la identificación de los estudios
que son notables a partir de la estrategia de búsqueda que debe ser exhaustiva y
no se tenga ambigüedades para no llegar a conclusiones o resultados erróneos,
se divide en cinco sub - etapas.
Selección de los estudios primarios: Se determina lo más importante de
cada estudio, con la ayuda de las preguntas de investigación planteadas, esto se
lleva a cabo a partir de los criterios de inclusión/exclusión que se establecieron
con el protocolo de revisión.
54
Evaluación de calidad de estudio: Su objetivo es encontrar información
adicional acera de los estudios seleccionados para mejorar los criterios de
inclusión y exclusión, y reducir las ambigüedades de los resultados.
Extracción y monitoreo de datos: El objetivo es diseñar una forma de filtrar
la información de los estudios primarios que obtuvieron los investigadores y así
mismo realizar un registro de los datos.
Síntesis de datos: A partir de la recolección de datos se realiza un resumen
de los datos que han sido filtrados de los estudios primarios seleccionados. En
este proceso se puede utilizar para realizar la síntesis una forma descriptiva (no
cuantitativa) o por meta - análisis.
Etapa 3. Publicación de resultados. Se debe realizar un reporte donde se
puede evidenciar las implicaciones de los resultados y se pueda dar validez a la
investigación. Para realizar este reporte se puede utilizar diferentes medios como
revistas científicas, reportes técnicos, páginas de web, entre otros medios.
55
5. IDENTIFICACIÓN DE FUENTES DE REFERENCIA
5.1. COMPONENTES DE PROTOCOLO DE BÚSQUEDA
5.1.1. Preguntas de investigación. Según la revisión sistemática ayuda a
responder una serie de preguntas que influyen en la evaluación de calidad de un
software lúdico. La pregunta principal es la siguiente:
¿Cuál es el modelo que permite la evaluación de usabilidad y correspondencia
didáctica en un software lúdico? .A partir de esta pregunta se sintetiza la
identificación de las preguntas de protocolo de búsqueda, como ser observa en la
tabla 16.
Tabla 16. Identificación de las preguntas de protocolo de búsqueda.
5.1.2. Diseño de la estrategia de búsqueda. Para la realización de la estrategia
de búsqueda se debe seleccionar aquellas palabras claves y la bases de datos de
56
búsqueda de artículos a utilizar, a continuación se describe cuáles son las
palabras claves, base de datos a utilizar y la ecuaciones de búsquedas
seleccionadas.
Palabras claves. Se identifica cuáles son la palabras claves que ayudan a la
creación de la ecuaciones de búsquedas, para la realizar la consulta en las base
de datos seleccionadas y la obtención de una información destacada, para
identificar los modelos que permiten determinar la evaluación de usabilidad y
correspondencia didáctica de un software lúdico. A continuación se listan las
palabras claves identificadas.
Tabla 17. Palabras claves para la realizar la revisión.
PALABRAS CLAVES
Software lúdico
SINÓNIMO
Usabilidad
Software educativo, Software
Aplicaciones de aprendizaje
Facilidad de uso
de
Correspondencia didáctica
Evaluación
Pedagogía, aprendizaje, pedagógico
Medición
aprendizaje,
Fuente: Los autores.
Bases de datos de búsqueda. Para realizar la búsqueda de artículos
relacionados con la evaluación de usabilidad y correspondencia didáctica se
utilizaran las siguientes bases de datos digitales que se especializan en contener
documentos científicos ver tabla 18.
Tabla 18. Bases de datos de búsqueda.
NÚMERO
1
2
3
4
NOMBRE BASE DE DATO
SPRINGER LINK
SCIENCEDIRECT
IEEEXPLORE
ACM LIBRARY
Ecuaciones de búsqueda. Una vez que se identificó las palabras claves se
realiza la construcción de las ecuaciones de búsqueda para facilitar y simplificar la
información que se va a buscar en la base de datos.
Con las palabras claves seleccionadas para realizar la búsqueda se debe
combinar estas palabras con conectores lógicos, como referencia del lenguaje
SQL. A continuación en la tabla 19, se encuentra la ecuación de búsqueda y los
respectivos resultados en cada base de datos utilizada.
57
Tabla 19. Ecuaciones de búsqueda seleccionadas.
Una vez obtenido el resultado de acuerdo a la ecuación, se listan los artículos
encontrados en la base de datos relacionados en la tabla 20, para luego proceder
a identificar la media de las ecuaciones, ver tabla 21, para analizar cuál de las
ecuaciones es la mejor para mirar los artículos y poder determinar cuál de estos
responden a las preguntas establecidas.
Tabla 20. Lista de artículos encontrados según ecuaciones de búsqueda.
58
Tabla 21. Lista de artículos encontrados según ecuaciones de búsqueda (continuación).
Tabla 22. Ecuaciones de búsqueda seleccionada por la media aritmética.
5.1.3. Selección de artículos referentes. Se realiza la selección de los artículos
que respondan a la preguntas del protocolo de búsqueda, para esto se creó la
tabla 8, la cual contiene las preguntas y los artículos enumerados.
Tabla 23. Artículos que responden las preguntas de protocolo de búsqueda.
59
Tabla 24. Artículos que responden las preguntas de protocolo de búsqueda (continuación).
En este capítulo se realizó la identificación de fuentes de referencia, en lo cual
consistió como primer paso identificar cuáles eran las preguntas de investigación
en realización con la pregunta del planteamiento del problema, el segundo paso
fue realizar el diseño de la estrategia de la búsqueda, donde se identificó las
palabras claves asociadas con su respectivos sinónimos, se definió cuáles eran
las bases de datos de búsqueda a utilizar para la búsqueda de artículos
científicos, se diseñan las ecuaciones de búsqueda en base a las preguntas de
investigación y las palabras claves, como último paso se realiza la selección de
artículos los cuales permiten contestar las preguntas realizadas en la
investigación.
60
6. REVISIÓN DE MODELOS DE USABILIDAD
6.1. MUSA UN MODELO DE EVALUACIÓN DE ENTORNOS VIRTUALES DE
ENSEÑANZA Y APRENDIZAJE. APLICACIÓN A UN CASO DE ESTUDIO33
El modelo MUSA propone analizar las herramientas y posibilidades funcionales del
EVEA (objeto de evaluación), pero además, indagar sobre su usabilidad desde la
mirada de expertos, trabajando con el sistema concretamente, y la de los usuarios
reales en los contextos de uso propios para los que fue diseñado. Donde se
establece una estrategia basada en cuatro niveles o capas de evaluación, que
parten de lo general para llegar a lo particular, es decir, una estrategia top-down.
6.1.1. Características. El modelo tiene las siguientes características principales:
Las cuatro capas persiguen objetivos diferentes, la primera es la encargada de
realizar una evaluación del entorno en general, las tres capas restantes se sitúan
en un contexto de uso particular.
Las capas más cercanas al usuario proponen escenarios de uso que permiten
guiar y sistematizar la evaluación.
La evaluación se apoya en escenarios reales de uso, teniendo especial
consideración por los alumnos y docentes
6.1.2. Objetivos: Los objetivos que del modelo MUSA son los siguientes:
Realizar la evaluación de producto, es decir, sobre EVEA (Entornos Virtuales
de Enseñanza y Aprendizaje) que ya han sido desarrollados, y están en pleno
funcionamiento.
También facilita la evaluación de nuevas versiones de un mismo sistema o la
comparación entre ellas.
6.1.3. Estructura del modelo MUSA. El modelo se descompone en capas, es
una estrategia utilizada que se denomina top-down, donde la primera capa es la
encargada de realizar una evaluación del entorno en general, desde un análisis
más técnico y las tres capas restantes se sitúan en un contexto de uso particular,
involucrando diferentes usuarios, que van desde aquellos que poseen una mirada
experta en este tipo de sistemas a los usuarios finales con diferentes tipos de
características y contextos de uso.
33
FERREIRA SZPINIAK, Ariel y SANZ, Cecilia V. MUsa un modelo de evaluación de Entornos virtuales de
enseñanza y aprendizaje. Aplicación a un caso de estudio. Diciembre, 2012: Argentina, no. 8, p 94 – 103.
61
Figura 22. Diagrama de componentes del modelo MUSA.
Existen capas más cercanas al usuario utilizan escenarios de uso que permiten
guiar y sistematizar la evaluación.
En cada etapa, se han planteado métodos y técnicas de recolección de datos
diferentes y se complementan entre si y posibilitan enriquecer la evaluación. Las
capas propuestas pueden ajustarse a distintos contextos dependiendo de la
necesidad, nivel de profundidad de la evaluación, recursos y tiempo disponible.
Capa 1: Características generales técnicas. Está destinada a analizar
aspectos relacionados con la aceptabilidad práctica del EVEA. La utilidad a su vez
está determinada por la utilidad práctica o funcional (utility), la usabilidad, y
accesibilidad. Se aborda el análisis de todos los componentes de la aceptabilidad
práctica, menos el referido específicamente a usabilidad, cuestiones relacionadas
con las facilidades para la organización académica y la parte pedagógica.
Evaluadores: para esta etapa es necesario contar con especialistas en
educación y en tecnología.
Métodos utilizados: esta primera capa reúne varios de los elementos que se
proponen en diferentes métodos de evaluación de EVEA.
Instrumentos utilizados: el instrumento de evaluación diseñado para esta
capa, se focaliza en los componentes tecnológicos de los EVEA, pero sin perder
de vista los componentes organizativos, pedagógicos y didácticos, ya que ambos
son determinantes al momento de analizar un entorno particular.
Capa 2: Está orientada a evaluar la forma en que el sistema interactúa con el
usuario, la interfaz que presenta, y el modo en que permite a los usuarios realizar
las tareas básicas.
Métodos utilizados: se proponen los métodos de inspección, como el
recorrido cognitivo y la evaluación heurística, como los adecuados para analizar
estos elementos. Para ello se han definido para esta capa una serie de heurísticas
de usabilidad organizadas en dos niveles de evaluación: uno general, orientado a
la tarea, y otro particular, orientado al diseño.
62
• Nivel 1 General - orientado a la tarea: Examina el aspecto y comportamiento
desde el punto de vista de las tareas y objetivos de los usuarios.
• Nivel 2 Particular - orientado al diseño: Los aspectos concretos del conjunto
de interfaces provistas por el EVEA para completar las tareas.
Instrumentos utilizados: heurísticas y sub-heurísticas de usabilidad que
guían tanto a expertos como a usuarios a aportar la información requerida para la
evaluación del EVEA.
Evaluadores: se requiere de la participación de expertos, donde transitará una
serie de escenarios de uso adoptando distintos personajes, navegando por las
interfaces respectivas a los fines de determinar el grado en que son respetadas las
heurísticas, tanto desde el punto de vista de los propósitos como desde los
objetivos de los usuarios de un EVEA.
Capa 3. El objetivo es nutrirse de la opinión del usuario final, pero dentro de un
ambiente controlado, y con la participación de observadores que guíen y faciliten
el proceso. Establecer en el EVEA se adapta a los estilos de trabajo reales de los
usuarios, en lugar de forzar a los usuarios a adaptar sus estilos de trabajo, Esta
capa es muy costosa en términos de tiempo, cantidad de participantes y análisis,
puesto que requiere de observaciones directas de distinto tipo de usuarios
trabajando sobre el entorno.
Evaluadores: usuario reales.
Instrumentos utilizados: test de pensamiento en voz alta, denominada test
de expresión del usuario en base a preguntas.
Metodología utilizada: consiste en brindarle al usuario un escenario tipo, y
solicitarle que efectúe las tareas involucradas en dicho escenario, bajo la atenta
mirada de un observador. A medida que el usuario interactúa con el EVEA, el
observador debe realizar preguntas directas acerca del producto o la tarea que el
usuario está realizando, mientras que éste debe expresar en voz alta sus
pensamientos, sensaciones y opiniones. El observador debe tomar registro de
todo ello para procesarlo una vez concluido el test. Se realiza dos evaluaciones:
• Evaluación directa: realizada por los usuarios.
• Evaluación indirecta: realizada por los observadores.
Técnica: Evaluación con heurística de usabilidad.
Capa 4. Está destinada exclusivamente a que los usuarios finales aporten su
punto de vista dentro de un contexto o ambiente real.
Instrumentos utilizados: test remotos son muy eficaces, rápidos y fáciles de
realizar, el usuario realiza el test en su propio medio o ambiente, con lo cual es
posible evaluar el contexto de uso. Los test remotos se basan, principalmente, en
el uso de cuestionarios para recolectar la información.
63
Metodología utilizada: las heurísticas coinciden con las utilizadas en la
segunda capa para la evaluación orientada a la tarea (complejidad, visibilidad,
intuitividad, y topografía natural), y se agregan otras vinculadas al diseño en
general (productividad, retroalimentación, control por parte del usuario,
reversibilidad y manejo del error, diseño y organización, consistencia, ayuda y
documentación, y estándares).
Técnica: evaluación con heurística de usabilidad.
Heurísticas y métricas. Para guiar a los usuarios en el tipo de información a
revisar, se han planteado una serie de heurísticas de usabilidad. Aquí se han
elegido específicamente, aquellas a la tarea, tales como complejidad, visibilidad,
intuitividad, y topografía natural. También se incorporan las métricas relacionadas
con efectividad, eficiencia, y satisfacción. Los usuarios participan de la evaluación
realizando una o más tareas que forman parte de un escenario tipo. Es importante
que los usuarios involucrados en los test abarquen los diferentes roles en que
puede interactuarse con el EVEA.
En las tablas 25 y 26 se encuentran las heurísticas definidas con sus respectivas
subheurísticas.
Tabla 25. Heurísticas para la evaluación de alto nivel orientada a la tarea.
64
Las métricas seleccionadas poseen directa relación con el estándar ISO 9241-11 y
posibilitan medir la usabilidad del EVEA sin necesidad de estar involucrados en su
desarrollo, en la tabla 28 se encuentran las métricas definidas.
Tabla 28. Métricas de usabilidad.
6.1.4. Ajuste de MUSA a diferentes contextos. Cada capa del modelo plantea el
acercamiento hacia el usuario de acuerdo al objetivo que persigue, siendo la
65
primera la más lejana y la cuarta la más cercana, estas capas se pueden ajustarse
a distintos contextos dependiendo de la necesidad, nivel de profundidad de la
evaluación, recursos y tiempo disponible. Se puede utilizar las capas que sean
necesarias. Las alternativas planteadas con el fin de poder aplicar el MUSA en
diferentes situaciones y contextos son:
Capa 1 à Capa 2 à Capa 3 à Capa 4.
Capa 1 à Capa 2 à Capa 4.
Capa 1 à Capa 3 à Capa 4.
Capa 1 à Capa 4.
Las versiones reducidas del modelo, constituyen alternativas con el fin de reducir
costos y tiempo, pero se considera que el recorrido por cada una de las cuatro
capas es la opción más adecuada para una evaluación completa del EVEA.
6.2. INSTRUMENTO CUSEOA (CUESTIONARIO DE SATISFACCIÓN DE
ESTUDIANTES DE UN OBJETO DE APRENDIZAJE)34
Este instrumento se elabora para la evaluación de la usabilidad de un Objeto de
Aprendizaje por estudiantes, conocer si el Objeto de Aprendizaje ha sido
adecuado como unidad de enseñanza, es decir, valorar su calidad desde el punto
de vista de los estudiantes con preguntas relacionadas a su satisfacción con
respecto a los contenidos, actividades y evaluación (usabilidad pedagógica),
diseño de la interfaz y navegación (usabilidad). Para ello deben definirse una serie
de criterios que se correspondan con la valoración buscada. En la figura n se
encuentran los componentes que conforman el cuestionario.
6.2.1. Objetivos. El objetivo del instrumento es realizar la evaluación de la
usabilidad por parte de los estudiantes utilizando principios heurísticos.
6.2.2. Estructura de CUSEOA. La estructura del cuestionario es la siguiente:
Reacción global al Objeto de Aprendizaje. El estudiante valorará el Objeto
de Aprendizaje, no sólo por la funcionalidad, usabilidad, los contenidos, sino
también por las emociones o los sentimientos que le provoca. Donde se tiene dos
puntos de vista que son los siguientes:
Técnico. Un buen producto debería satisfacer todas las expectativas del
consumidor, pero especialmente la de provocar una respuesta emocional positiva.
Pedagógico. La disposición emocional y actitudinal, que puede abordarse
desde la motivación en el alumno
34
MASSA, Stella Maris y PESADO, Patricia. Evaluación de la usabilidad de un Objeto de Aprendizaje por
estudiantes. Diciembre, 2012: Argentina, no. 8, p 65 – 76.
66
CUSEOA aborda estos dos puntos de vista de la siguiente forma:
• Se le presenta al estudiante una serie de adjetivos bipolares y se solicita que lo
clasifique en una escala 7 puntos. Para evitar prejuicios, sólo se emplearon
escalas positivas. El rango real es -3 a +3. La tabla 29, muestra los puntajes
presentados a los estudiantes, y los puntajes reales.
Tabla 29. Escala de Diferencial Semántico.
• Valoración de recomendación del Objeto de Aprendizaje a otros estudiantes a
través una proposición o afirmación que debe calificar utilizando una escala desde
1 correspondiente a “totalmente en desacuerdo” hasta 5 “Totalmente de acuerdo”.
Dimensión pedagógica. Comprende a aquellos aspectos relativos a los
objetivos como, contenidos teóricos, actividades y realimentación. Su propósito es
valorar la significatividad lógica y psicológica en los objetos de aprendizaje desde
la perspectiva del estudiante, en la tabla 30 se encuentran la categoría y criterios
heurísticos asociados a la dimensión pedagógica. Consta de 6 proposiciones o
afirmaciones que debe calificar utilizando una escala desde 1 correspondiente a
“totalmente en desacuerdo” hasta 5 “Totalmente de acuerdo”.
Dimensión técnica (Usabilidad Web). Comprende aspectos relativos al
diseño de la interfaz y la estructura y navegación en la tabla 30 se encuentran la
categoría y criterios heurísticos asociados a la dimensión técnica. El estudiante
debe valorar la Funcionalidad y Usabilidad luego de la interacción con el Objeto de
Aprendizaje. Consta de 7 proposiciones o afirmaciones que debe calificar
utilizando una escala desde 1 correspondiente a “totalmente en desacuerdo” hasta
5 “Totalmente de acuerdo”.
67
Tabla 30. Categorías y criterios heurísticos (dimensión pedagógica y usabilidad).
6.2.3. Indicadores. En cuanto a los indicadores se tuvieron en cuenta:
La valoración individual de las dimensiones pedagógica y técnica.
La valoración global de las dimensiones pedagógica y técnica que se calcula
como promedio ponderado, en donde cada peso es la proporción de criterios
heurísticos asociados a cada dimensión en la tabla 31 se muestra el respectivo
peso por dimensión y sub-heurística.
Tabla 31. Peso de cada categoría.
La reacción global a partir del análisis de los resultados de la escala de
diferencial semántico.
68
Figura 23. Diagrama de componentes del instrumento CUSEOA.
6.3. MODELO DE EVALUACIÓN DE SOFTWARE EDUCATIVO BAJO UN
ENFOQUE SISTEMÁTICO35
Este modelo se basa en modelo de calidad MOSCA en primer lugar en primer
lugar se describe las dos actividades que se realizaron para formular la propuesta
de evaluación a partir de MOSCA y en segundo lugar, el algoritmo para la
evaluación de la calidad del software educativo.
6.3.1. Objetivos. Este modelo proporciona una valiosa herramienta de evaluación
para el docente que tiene la necesidad de conocer el valor educativo de un
software, su calidad y el uso posible de un software en el ambiente educativo,
como criterios imprescindibles para su adquisición y uso por parte de las
instituciones educativas y propone un algoritmo para la estimación de la calidad
sistémica, haciendo uso del prototipo propuesto.
6.3.2. Etapas del modelo. A continuación se explica las etapas que conforman
este modelo:
Etapa 1- Propuesta para una preselección de software educativo. En esta
etapa se debe determinar si el software está desarrollado o no para esto se
propone un procedimiento de preselección de software educativo para evaluar la
gran oferta de material educativo computarizado. La razón de esta preselección se
basa en:
35
DÍAZ, Antón; PÉREZ, Grimán y MENDOZA, L. Instrumento de evaluación de software educativo bajo un
enfoque sistémico.
69
La poca disponibilidad de tiempo de los docentes involucrados en la selección
de software educativo.
En la numerosa disponibilidad de material educativo computarizado comercial
que está disponible en el mercado y que puede ser usado como apoyo en el
proceso de enseñanza-aprendizaje, y que además requeriría la inversión de horas
de evaluación, de las cuales los docentes no disponen.
Una vez tomada la decisión de preseleccionar un software educativo, se procede a
aplicar el algoritmo para la evaluación de calidad. En el caso de que se trate de
desarrollo de software, se aplica el modelo que se describe a continuación para
confirmar o evaluar la calidad de producción del software que está en proceso de
desarrollo.
Figura 24. Método para la selección de software
Etapa 2 - Formulación del modelo propuesto basado en mosca. Para
realizar esta etapa se debe tener claro que para el área de software educativo, se
encontró que las características y métricas indicadas en MOSCA no se adaptan
completamente a este tipo de software, debido a que las métricas están diseñadas
genéricamente, y por lo tanto no consideraba los aspectos pedagógicos y
metodológicos del proceso de enseñanza-aprendizaje, que se debe tomar en
cuenta al diseñar un instrumento de evaluación.
Por esta razón se procedió a realizar las siguientes 3 (tres) actividades para
efectuar los cambios necesarios en MOSCA para adaptarlo y especificarlo en el
área educativa.
Selección de las categorías: MOSCA consta de seis (6) categorías, de las
cuales sólo se deben utilizar 3 (tres) para la evaluación de software educativo. La
70
Usabilidad es seleccionada debido a que un software educativo motive al
aprendizaje, es fundamental que el material educativo sea atractivo y de fácil
manejo, debe generar actividades interactivas que motiven y mantengan la
atención, actividades que deben ser variadas y que respondan a los diversos
estilos de aprendizaje.
Selección y propuesta de las características y subcaracterísticas: una vez
seleccionadas las categorías que están relacionadas con la evaluación de
software educativo, se seleccionan las características asociadas a estas
categorías en MOSCA, que estén relacionadas con el área educativa. Se decidió
seleccionar ciertas características asociadas a la efectividad del producto y no a
la eficiencia del producto, debido a que, al adquirir un software comercial, no se
tiene acceso a los documentos que permiten aplicar las métricas correspondientes
a esta dimensión, por lo que no es posible evaluarla.
Selección y propuesta de las métricas: es necesaria una selección de
métricas adicionales relacionadas con Usabilidad, que permitan adaptar MOSCA
en el área de software educativo.
Tabla 32. Selección de características y subcaracterísticas.
Etapa 3 - Definición estructura del modelo. La estructura del modelo consta
de cuatro niveles que se explican brevemente a continuación:
Nivel 0 – Dimensiones: producto.
Nivel – Categorías: se contempla la categoría de
• Usabilidad (USA): esta categoría se refiere a la capacidad del producto de
software para ser atractivo, entendido, aprendido y utilizado por el usuario bajo
condiciones específicas.
Nivel 2 – Características: cada categoría tiene asociado un conjunto de
características (4 en total).
Nivel 3 – Subcaracterísticas: para algunas de la característica se asocian un
conjunto de subcaracterísticas.
Nivel 4 – Métricas: para cada característica se propone una serie de métricas
utilizadas para medir la calidad sistémica. Dada la cantidad de métricas asociadas
a cada una de las características que conforman la propuesta.
71
Etapa 4 - Evaluación de la calidad del software educativo. Para esta etapa
se plantea un algoritmo el cual contiene 2 fases:
Fase 1 - Preselección (sólo en caso de adquisición por vía comercial).
Fase 2 - Estimar la calidad del producto de software educativo con
enfoque sistémico: a través de la ejecución de esta fase, se evalúa la calidad de
producto de software; para tal fin, se siguen 3 actividades, las cuales son descritas
a continuación:
• Estimar la calidad de la Funcionalidad del producto: según MOSCA, se
establece que siempre y en todos los casos se debe medir primero la categoría
Funcionalidad del producto, donde las características que se proponen para esta
categoría deben ser cumplidas para proceder a la próxima actividad. De lo
contrario, la evaluación finaliza. Para la categoría funcionalidad se propone que al
menos se cumpla la característica “Ajuste a los propósitos”, más una de las dos
características restantes, es decir, “Precisión” o “Seguridad” (ver tabla 33).
Tabla 33. Características mínimas que deben ser satisfechas para la categoría de usabilidad.
• Estimación de calidad para cada categoría: Para la categoría seleccionada
previamente(Usabilidad), se debe:
- Aplicar las métricas propuestas en el submodelo del producto para las
categorías seleccionadas.
- Normalizar los resultados de las métricas a una escala del 1 al 5. La
normalización de los resultados es llevada a cabo de acuerdo a la tabla 34.
Tabla 34. Normalización de las métricas para la evaluación del producto.
72
- Verificar que el 75% de las métricas se encuentran dentro de los valores
óptimos (mayor o igual a 4) para cada una de sus subcaracterísticas y
características. Si no se cumple el 75% de las métricas asociadas, entonces esta
subcaracterística o característica tendrá calidad nula. En el caso de institutos
educativos la población de evaluadores serán docentes de aula y de informática y
los estudiantes; y en el caso de empresas desarrolladoras de software educativo,
la población de evaluadores serán los expertos en contenido, diseño instruccional,
en informática y el coordinador o líder del proyecto. Las pautas para promediar las
métricas se aplican tal como lo señala el algoritmo MOSCA en este apartado.
- Evaluar la categoría. En MOSCA, una categoría es satisfecha si el número de
características es altamente satisfecho; es decir, si satisface el 75% de las
características asociadas a la categoría.
- Tratándose de software educativo, donde existen características que son
imprescindibles que estén presentes, se proponen las características mínimas
satisfechas que debe tener cada categoría del producto para que ésta pueda ser
satisfecha.
• Estimar la calidad del producto partiendo de las categorías evaluadas. En
este punto se utiliza el algoritmo de MOSCA, con ciertas modificaciones. Una vez
terminada la evaluación del producto, y sólo en caso de que éste obtenga al
menos el nivel de calidad intermedio:
Se procederá a la toma de decisión de adquisición del software educativo en el
caso de institutos o empresas de acuerdo a los recursos económicos.
Se procederá a evaluar la calidad del proceso a través del submodelo del
mismo (fase 2 y 3 de MOSCA), en el
caso de empresas o institutos
desarrolladores de software educativo. El algoritmo de estas fases escapa al
alcance de esta propuesta.
6.4. METODOLOGÍA PARA LA EVALUACIÓN DE LA USABILIDAD EN SITIOS
WEB. EXPERIENCIA COLOMBIANA36
Es una propuesta metodológica que contempla una serie de pasos a tenerse en
cuenta para desarrollar de forma consistente evaluación de la usabilidad de sitios
Web, experiencia aplicada a páginas del Gobierno Colombiano. Trata de integrar
bajo una sola propuesta, métodos y técnicas que, complementadas con
actividades de definición del contexto, puede extraer la información necesaria para
llegar a un consenso sobre el nivel de Usabilidad. En la figura n se encuentran los
componentes que conforman la metodología.
36
CLAROS, Iván D y COLLAZOS, Cesar A. Propuesta Metodológica para la Evaluación de la Usabilidad en
Sitios Web: Experiencia Colombiana. EN: Interacción (noviembre): Colciencias (Colombia) Proyecto No. 412814-18008 y Proyecto No. 030-2005, 2004, p. 1 – 10.
73
6.4.1. Etapas de la Metodología. A continuación se explica las etapas que
conforman la metodología:
Etapa 1 - Seleccionar modelo. En la definición de este proceso, fue dotarlo
de un denominado Modelo de Medición de Usabilidad basada en Jerarquía de tres
Niveles.
Figura 25. Modelo de Medición de Usabilidad basada en Jerarquía de tres.
Etapa 2 - Seleccionar los términos de evaluación de la usabilidad. Se
definen los términos para la usabilidad en criterios, métricas y atributos, este
modelo tiene diferentes propuestas de autores, por lo cual se define los siguientes
criterios, métricas y atributos en la tabla 35:
Etapa 3 - Acercamiento al contexto. Definir objetivos deseables de
Usabilidad para el producto. Se lleva a cabo mediante la ponderación de los
criterios, métricas y atributos que conforman el Modelo de Medición de Usabilidad
propuesto para sitios Web. Para este fin, se reúne las opiniones de los usuarios,
administrativos del proyecto, desarrolladores y expertos que al realizar una
discusión de las necesidades y alcances más generales de los usuarios del
sistema, asignan a cada elemento del modelo una valoración, un nivel de
importancia en función de sus necesidades y limitaciones.
Para realizar este proceso se puede realizar a través de diferentes técnicas que la
misma Ingeniería de la Usabilidad (IU) ofrece, como el caso de los Stakeholder
Meeting, esta técnica sirve para consolidar la opinión de los diferentes actores
involucrados en el desarrollo, como jefes del proyecto, desarrolladores y clientes. .
Para efectos de experiencia desarrollada con sitios gubernamentales, se escogió
la escala de 1 a 5 para la ponderación del modelo.
74
Etapa 4 - Definición del Modelo Mental de Cada Tarea. Recolectar y
analizar las conductas y necesidades que presentan los usuarios frente al sistema,
tratando de generar mapas o modelos que resuman las condiciones particulares
con las cuales los usuarios resuelven una tarea dada, la información utilizada para
hacerlo y el tipo de interacción que esperan recibir del sistema. Este es un proceso
altamente complejo del cual solo se propone realizar observaciones que permitan
ir recolectando información que se podría resumir en una plantilla propuesta ver
tabla 36.
Tabla 35. Listado de criterios, métrica y atributos.
75
Tabla 36. Diseño de plantilla para la recolección de información.
Etapa 5 - Selección de Técnicas. Se definen cuáles serán las técnicas y/o
prácticas a utilizar durante la evaluación. Para ello se toman en cuenta la
caracterización de cada práctica en términos de 7 los siguientes criterios:
Estrategia: estado del proceso de desarrollo en el cual se ejecuta la
evaluación.
Localización: laboratorio o en un entorno real.
Prejuicio: nivel de subjetividad u objetividad inherente en el método.
Medida de la Usabilidad: tipo de medida: cuantitativo o cualitativo.
Información: Información o realimentación provista por el método. La
información son elementos de bajo nivel, pequeños detalle de la interfaz: colores,
íconos, etc.; realimentación implica alto nivel de abstracción, refleja problemas de
mayor complejidad como cognitivos o de estructura.
Inmediatez de la Respuesta: tiempo de retorno de Información.
Intromisión: presencia de un observador o un sistema de registro.
Costo: recursos involucrados para la ejecución del método y su posterior
análisis.
Etapa 6 - Ejecución de la Evaluación. Al realizar la descripción de las
técnicas, solo sirven de guía para el diseño y desarrollo de herramientas prácticas,
por esto es necesario la adecuación de cada técnica su contexto de ejecución, el
propósito de realizar evaluación no es tanto estimar una referencia numérica, sino
extraer información acerca del sistema que permita mejorar al diseño y la
interacción con el usuario.
76
Etapa 7 - Consolidación general de resultados. Como estrategia de
consolidación se propone, contrastar el Modelo de Medición ponderado por las
necesidades y objetivos de Usabilidad para el sistema, con un modelo análogo
generado por los resultados obtenidos de aplicar las técnicas. A medida que las
ponderaciones coincidan o en el mejor de los casos, que los resultados obtenidos
sean mayores que los esperados, el sistema habrá alcanzado sus objetivos de
Usabilidad. Este paralelo entre lo esperado y lo realmente encontrado, permite
identificar las fortalezas y debilidades en la Usabilidad del sitio. A los resultados de
este proceso de comparación de le conoce como el Nivel de Usabilidad del Sitio
Web.
6.4.2. Roles y perfiles. Al realizar la ejecución de la segunda y tercera etapas del
modelo, se debe a recolectar información acerca de Roles y Perfiles. El Rol de
refiere a los usuarios desde una perspectiva funcional, Perfiles por su parte,
contempla el carácter humano de las personas que desempeñan esos Roles. El
propósito con esta distinción, es definir una estrategia de abstracción que permita
llegar a conocer a las personas, con sus limitaciones, necesidades y propósitos
sobre el sistema, para capturar la información de Roles se propone utilizar plantilla
definida en la tabla 37.
Tabla 37. Diseño de platilla para la recolección de informaciones de roles.
Definir Perfiles consiste en caracterizar a las personas que desempeñan estas
funciones dentro de la organización o entorno. Para la definición de Perfiles se
propone utilizar la plantilla definida en la tabla 38.
77
Tabla 38. Diseño de platilla para la recolección de informaciones de perfiles.
6.5. METODOLOGÍA
APRENDIZAJE37
PARA
LA
EVALUACIÓN
DE
OBJETOS
DE
Esta metodología evalúa lo objetos de aprendizaje (OAs) donde define los
aspectos pedagógicos y tecnológicos del recurso. Tiene en cuenta las categorías:
técnicas y métricas para la evaluación de la usabilidad, combina métodos de
evaluación heurístico y de observación de un experto y de un usuario. Presta
varios escenarios de tareas con el objetivo de facilitar la inspección y completar
un informe de la evaluación.
6.5.1. Objetivos. Realizar la combinación de métodos de evaluación heurística de
la usabilidad y una incorporación de criterios pedagógicos, para realizar una
evaluación desde distintos puntos de vista y recolectar información donde se
pueda sacar conclusiones para la orientación a los docentes de la selección de
este tipo de recursos teniendo en cuenta los objetivos de aprendizaje y el contexto
de aplicación.
37
MASSA, Stella Maris, et al. Métricas de calidad de Objetos de Aprendizaje: una mirada pedagógica
entrelazada con la tecnología. EN: VI Congreso de Tecnología en Educación y Educación en Tecnología
(2011). p. 1 – 9.
78
6.5.2. Etapas de la metodología: a continuación se explican las etapas que
confirman esta metodología:
Figura 26. Diagrama de componentes de la metodología de evaluación de OAs.
Etapa 1 - Planificación. Esta etapa está conformada por las siguientes
actividades:
Actividad 1 - Adecuación de cada criterio: se utilizará al contexto de uso al
cual pertenece el sistema que se desea evaluar
Actividad 2 - Selección de los evaluadores: experto de software relacionado
con las tecnologías Web, consultor de experiencia de usuario, experto en
experiencia de usuario y especialista del área del contenido, los evaluadores
pueden ser de tres y cinco.
Actividad 3 - Elaboración de un paquete de inspección: una colección de
heurísticos que ayudarán al experto a realizar el análisis. Se define una platilla
asada en la herramienta de evaluación de objetos didácticos de aprendizaje
reutilizables (HEODAR).
Actividad 4 - Selección de escenarios: Se seleccionan las tareas para
realizar la evaluación.
Etapa 2 - Puesta en marcha. Esta etapa está conformada por las siguientes
actividades:
Actividad 1 - Entrenamiento previo a la evaluación: informar a los
evaluadores sobre el tema, contexto de aplicación, perfiles de usuario,
descripción del sistema.
Actividad 2 - Entrenamiento previo a la evaluación: informar a los
evaluadores sobre el tema, contexto de aplicación, perfiles de usuario, descripción
del sistema.
Actividad 3 - Revisión: Se analizan cada una de las evaluaciones realizadas
para presentar un informe con todos los problemas y sus posibles resoluciones,
teniendo en cuenta que el análisis obtenido es cuantitativo y cualitativo.
79
6.5.3. Instrumentos e indicadores. A continuación se describen los instrumentos
y métricas que se utilizan en la metodología.
Plantilla HEODAR: este instrumento se encuentra agrupado en cuatro
categorías cada una de ellas contiene subheurísticas o criterios específicos. Cada
categoría se identifica como criterios de usabilidad pedagógica o de usabilidad de
sitios Web según corresponda, en la tabla 39 se muestra la división:
Tabla 39. Categorías y criterios heurísticos.
Indicadores de calidad: Los indicadores se determina dos, el primero es la
valoración individual de cada categoría y la segunda la valoración global que se
calcula como promedio ponderado, cada peso es la proporción de criterios
heurísticos asociados a cada categoría.
Tabla 40. Peso de cada categoría y sub-heurísticas
80
6.6. UNA APROXIMACIÓN A LA EVALUACIÓN DE LA USABILIDAD DE LAS
APLICACIONES DE APRENDIZAJE38
La idea principal de SUE es permitir una evaluación fiable mediante la
combinación de la evaluación sistemática de inspección y pruebas de usuario. La
inspección tiene un papel central: cada proceso de evaluación debe comenzar a
tener expertos evaluadores para inspeccionar la aplicación. Entonces, las pruebas
de usuario podrían llevarse a cabo en los casos más críticos, cuando el evaluador
siente la necesidad de una evaluación más objetiva que se puede obtener a través
de la participación del usuario.
Figura 27. Diagrama de componentes de la Metodología SUE.
6.6.1. Objetivo de la metodología. La metodología SUE tiene por objeto definir
un marco general de evaluación de la usabilidad.
6.6.2. Características de la metodología SUE. Las siguientes son las
características de la metodología:
Combinación con la evaluación sistemática de inspección y pruebas de
usuario.
El proceso de evaluación debe tener expertos evaluadores para inspeccionar
la aplicación.
Las pruebas de usuario solo son necesarias cuando el evaluador requiera una
evaluación más objetiva.
Identifica un número de dimensiones de análisis.
Se basan en principios de usabilidad los cuales se descomponen en criterios.
Identifica atributos y directrices de usabilidad específicos asociados a criterios.
38
LANZILOTTI, Rosa, et al. ROSSANO. An approach to usability evaluation of e-learning applications. 2006
Vol. 4 P. 270 – 283.
81
Se identifican patrones de evaluación (ATs) para abordar las directrices.
6.6.3. Fases de la metodología. A continuación se explican las fases que
conforman la metodología SUE:
Fase 1 - De preparación. Se realiza sólo una vez por cada dimensión de
análisis, cuyo propósito es crear un marco conceptual que se utilizará para llevar a
cabo las evaluaciones.
Fase 2 - De ejecución. Se lleva a cabo cada vez que una aplicación
específica debe ser evaluada, esta evaluación consiste en la inspección, realizada
por expertos evaluadores y las pruebas de usuario, involucrando a usuarios
reales.
6.6.4. Componentes. Los componentes de la metodología SUE son los
siguientes:
Plataformas Aprendizaje.
Módulos de Aprendizaje.
6.6.5. Etapas de la Metodología. A continuación se describe las etapas que
conforman la metodología SUE:
Etapa 1 - Descripción de Dimensiones de Análisis. Para cada componente
se definen las siguientes dimensiones.
Presentación.
Pro-actividad.
Actividad del usuario.
Para cada dimensión, se consideran los principios generales de eficacia y
eficiencia que contribuyen a caracterizar la usabilidad.
Etapa 2 - Definición de Criterios. A continuación se describe los criterios
seleccionados:
La eficacia se especializa más en:
• El apoyo para el aprendizaje / autoría: se refiere al grado en el que las
herramientas proporcionadas por la plataforma permiten el aprendizaje y la
preparación de lecciones y senderos educativos de una manera eficaz.
• El apoyo para la comunicación, la personalización, y el acceso: se refiere
al grado en el que la plataforma satisface estas necesidades, aumentando así la
eficacia de aprendizaje.
82
La eficiencia se especializa en:
• Estructura Adecuada: se refiere al grado en que las actividades del usuario
por lo general realiza son estructurada de modo eficiente y visualizarse.
• Instalaciones y adecuación de la tecnología: se refiere a la eficiencia de
andamios y soportes complementarios proporcionados al usuario y el grado en
que la plataforma se adapta a la tecnología utilizada por el alumno para acceder a
ella.
Etapa 3 - Determinar Directrices. Con el objetivo de satisfacer los criterios
anteriores, un primer conjunto de directrices se deriva. El estudio de usuarios
puede sugerir algunas pautas.
Etapa 4 - Identificar Patrones de Evaluación ATs. Estos patrones de
evaluación se derivan para dar apoyo al inspector en la evaluación de los
componentes específicos de las aplicaciones de aprendizaje, es decir, en la
comprobación de si la solicitud se ajusta a las directrices y satisface los atributos
de usabilidad. Estas ATs se agrupan en las siguientes categorías:
La inserción de contenidos y acceso al contenido: esta categoría incluye
ATs para evaluar las herramientas que permiten y facilitan la edición o la
búsqueda de contenido.
Andamios: esta categoría incluye ATs para evaluar los mecanismos que
apoyan al usuario en tareas complejas.
Ventana de aprendizaje: esta categoría incluye ATs para evaluar las
características del entorno virtual de aprendizaje.
Etapa 5 - Diseñar Plantillas de ATs. Se describen los objetos de la aplicación
y las acciones que los evaluadores deben realizar con el fin de analizar este tipo
de objetos y detectar posibles violaciones de la heurística identificados y se
presenta un ejemplo de ATs para evaluar aspectos de la plataforma (P) y los
módulos de Aprendizaje (M).
Propósito.
Descripción de la actividad.
Salida.
Aspecto a evaluar.
Enfoque de la acción.
Etapa 6 - Inspeccionar la aplicación. Los evaluadores analizan la aplicación
utilizando ATs definidas en la etapa anterior.
83
6.7. LA INVESTIGACIÓN SOBRE LA EVALUACIÓN DE LA USABILIDAD DE
LOS SISTEMAS DE APRENDIZAJES39
Esta investigación está basada en la evaluación de usabilidad aplicada, como una
combinación de comportamiento y mediciones, permitiendo cuantificar en términos
de facilidad de uso de los usuarios (profesores "y" estudiantes) el rendimiento y la
satisfacción.
6.7.1. Objetivo de la Investigación. Su objetivo es mejorar la experiencia de
aprendizaje y aumentar el comportamiento de los sistemas inteligentes, a través
de la evaluación de usabilidad.
6.7.2. Etapas de la metodología. A continuación se explican las etapas
determinadas por la investigación:
Etapa 1 - Explicación del proceso. una descripción general del proceso de
evaluación, describiendo los objetivos y el público destinatario.
Etapa 2 - Tareas. Se realizan las tareas previstas, junto con las tareas de
búsqueda y un examen corto. A partir de estas tareas permite definir las siguientes
mediciones:
Corrección de Tareas.
Reconocimiento y recuperación de memoria.
Tiempo de aprendizaje.
Etapa 3 - Evaluación de la usabilidad. Esta etapa de evaluación basada en
escenarios comprende un test de usabilidad tutorial, una prueba de memo y un
cuestionario de satisfacción de los usuarios. Dentro de esta etapa se aplican
técnicas para la evaluación de la usabilidad, las cuales se describirán a
continuación.
Etapa 4 - Lista de directrices / principios de usabilidad. Un conjunto de
directrices fueron ajustados al contexto de aprendizaje. Los expertos tuvieron que
pronunciarse sobre si el sistema se considera que ha seguido la directriz o no. De
ahí que la asignación de las puntuaciones es estrictamente arbitrario.
39
ZHENGYI, Chai; YUJUAN, Zhao y SIFENG, Zhu. The research on usability evaluation of e-learning
systems. 2008. p, 424 – 427.
84
Figura 28. Diagrama de Componentes de Evaluación de Usabilidad en Sistemas de Aprendizaje.
6.7.3. La aplicación de técnicas en la evaluación de la usabilidad. Teniendo en
cuenta que el uso de un sistema particular depende de las características de los
usuarios, no existe una definición simple o única medida significativa de la
usabilidad. Por consiguiente, para comprender el efecto del diseño, un escenario
de trabajo detallado fue elaborado, que consiste en una secuencia de tareas
típicas del sistema y acciones de usuario. Los objetivos de usabilidad se lograrán
si el potencial del sistema se utiliza realmente de manera eficaz (para un nivel
determinado de rendimiento del usuario) y feliz (a un nivel especificado de la
evaluación subjetiva).
La prueba de usabilidad tutorial: se compone de dos partes: (1) una tarea
de escenario guiada de una generación de conocimiento de dominio particular,
para mostrar la funcionalidad básica del sistema y los principales aspectos de su
interfaz, junto con (2) una tarea específica relacionada con una generación
particular, el conocimiento que los usuarios de prueba (en este caso la
participación de profesores) tienen que realizar por sí mismos. En consecuencia,
el usuario final tutorial prueba permite determinar los valores de los atributos
siguientes:
• La idoneidad: que expresa el grado de adecuación del sistema para las tareas
que han de llevarse a cabo.
85
• La capacidad de aprendizaje: la cual refleja lo fácil que es para el usuario a
aprender el sistema y la rapidez con que pueda empezar a trabajar con él.
• La tasa de error: que refleja la relación de error mientras se trabaja con el
sistema.
Prueba de memo: se realiza con posterioridad a la prueba de tutorial y
permite la medición de la capacidad de interfaz al exigir a un usuario explicar los
efectos de un solo comando o escribir el nombre de comando para una operación
en particular.
Cuestionario de satisfacción de usabilidad. Se realiza después de la
prueba de memo y permite la medición de la satisfacción de los usuarios subjetiva
con aspectos de la interfaz. Los atributos que se evalúan con esta técnica son:
•
•
•
•
Facilidad de uso.
Eficiencia.
Simpatía.
Actitud que el sistema induce en el usuario durante su uso.
Etapa 4: Lista de directrices / principios de usabilidad. Un conjunto de
directrices fueron ajustadas al contexto de aprendizaje. Los expertos tuvieron que
pronunciarse sobre si el sistema se considera que ha seguido la directriz o no. De
ahí que la asignación de las puntuaciones es estrictamente arbitraria.
6.8. LA EVALUACIÓN DE LA USABILIDAD Y LA ACEPTACIÓN DE LA
EDUCACIÓN MULTIMEDIA BASADA EN LA WEB EN LOS NIÑOS40
El desarrollo de un producto de software tiene que ser evaluado para asegurar que
cumple con el objetivo. Hay muchas maneras de evaluar un producto de software,
pruebas de su funcionalidad, facilidad de uso, la integridad y la aceptación. Este
estudio evaluó la facilidad de uso y la aceptación de la educación web multimedia
entre los niños.
40
BAHARUDIN, Suzana, et al. Evaluating the usability and acceptance of multimedia web-based education
among children. 2011. p. 46 – 49.
86
Figura 29. Diagrama de componentes para los método de evaluación de la educación multimedia.
6.8.1. Técnicas de evaluación: Esta investigación combina la técnica de la
observación y la entrevista para recopilar los datos durante la usabilidad y pruebas
de aceptación. Esta técnica se utiliza ya que los usuarios objetivos son los
niños. Por lo tanto, los investigadores deben observar de cerca el comportamiento
de ellos. Pruebas de Aceptación del usuario. A través de la prueba de aceptación
del usuario, el usuario probara:
Tiempo para que el usuario aprenda funciones específicas en el aplicación.
La velocidad de ejecución de la tarea en una aplicación.
La tasa de errores creados por los usuarios.
La retención humana de comandos a través del tiempo.
Satisfacción subjetiva.
Pruebas de aceptación. Para garantizar Pruebas de aceptación (UAT)
efectivas, se crean 2 tipos de casos de estudiantes que se clasifican de acuerdo al
tiempo dedicado a la computación semanalmente.
Usuarios moderados.
Usuarios de la web de alta.
87
Estos casos de prueba están diseñados para asegurar una cobertura adecuada de
todos los escenarios que ensamblan el uso del mundo real con la aplicación.
Las pruebas de aceptación. Son pruebas predefinidas para determinar el
cumplimiento de los criterios de aceptación. Esta prueba normalmente está
destinada a mostrar la escala de cumplimiento de la aplicación seleccionada con
los requisitos especificados.
Además se debe tener en cuenta las especificaciones del ordenador para la
evaluación del desempeño del sistema. Las especificaciones se dividen en dos
grupos que son equipos de gama baja y de gama alta.
6.8.2. Métodos de evaluación. La evaluación se llevó a cabo a través de un
enfoque etnográfico. Estudio etnográfico es una observación directa que también
involucra entrevistas, cuestionarios y artefactos de estudio. Tiene como objetivo
observar una situación sin imponer toda una estructura o marco sobre ella.
6.8.3. Elementos de prueba de aceptación. Estos son los siguientes elementos:
Velocidad de rendimiento del sistema: Velocidad de rendimiento del sistema
se refiere al tiempo de descarga tomada por el navegador de Internet para
ejecutar la aplicación. Este elemento es importante debido a que la capacidad de
atención de los niños es muy corta y se distraen con facilidad.
Tasa de error: Tasa de error del usuario es sobre la cantidad de errores
hechos por los usuarios. Esto es para determinar si la instrucción, iconos, botones
proporcionados en esta solicitud son comprensibles y puede ser utilizado de
manera eficiente.
La retención de las horas extraordinarias de comandos del usuario. La
retención de las horas extraordinarias de comandos de usuario es con respecto al
reconocimiento de las funciones especiales proporcionada por el aplicación, como
botones, iconos y actividades. Esta prueba debe llevarse a cabo después de una
semana de la primera prueba de aceptación. El propósito de este elemento es
para probar las características de la interfaz.
Satisfacción de los usuarios. La satisfacción del usuario es muy
subjetiva. Por lo tanto, una entrevista debe llevarse a cabo para obtener la
retroalimentación del usuario. Dado que los usuarios se encuentran entre niños
pequeños que normalmente son difíciles de expresar sus sentimientos y
emociones, por lo tanto los emoticonos símbolos se utilizan para representa la
escala de Likert de cinco nivel de sus expresiones de gustos y disgustos.
Terminología utilizada. En términos de las pruebas de usabilidad a la
terminología, se observarán los niños hacia su comprensión de los términos
previstos en la solicitud. Esto fue llevado a cabo a través de la observación y la
entrevista de los niños mientras que están usando activamente la aplicación.
Prueba de la pantalla. Esta prueba abarca los objetos, palabras, diseño de
pantalla y la secuencia de la pantalla que se proporcionan por esta
88
aplicación. Estos elementos son importantes para ser probados con el fin de
garantizar que el contenido es legible y apropiado para el usuario.
Capacidad de aprendizaje. Capacidad de aprendizaje es sobre lo que el
usuario medio podría haber aprendido de la operación de los sistemas y de las
actividades de exploración, que son relevante para sus tareas. Esto también
implica la forma fácil podía recordar los nombres y el uso de comandos en este
aplicación.
6.9. DISTANCIA DE APRENDIZAJE EN LÍNEA: CARACTERÍSTICAS DE
CALIDAD Y EVALUACIÓN DE LA USABILIDAD41
Este estudio se llevó a cabo con el fin de cumplir con tres objetivos. En primer
lugar es investigar las características de calidad y la facilidad de uso de los
programas de aprendizaje a distancia en línea. En segundo lugar está para
examinar las relaciones entre las características de calidad y el programa de
educación a distancia en línea. En tercer lugar es para examinar la relación entre
la aplicación y el aprendizaje a distancia en línea.
La calidad del instructor y la calidad de los estudiantes son características
importantes que determinan el éxito de la aplicación de aprendizaje a distancia en
línea.
Calidad Instructor. El instructor juega un papel esencial para determinar la
eficacia en la prestación de aprendizaje en línea. Hay tres características del
instructor que influyen en los resultados del aprendizaje:
• La actitud hacia la tecnología.
• Estilo de enseñanza.
• El control de la tecnología.
Calidad de Estudiante. Una variedad de características tienen influencia
potencial sobre el aprendizaje en línea. Tales variables son experiencia, tener un
ordenador en casa, y la actitud que hacia los ordenadores. Hay características del
estudiante que influyen en los resultados del aprendizaje:
Uso del computador.
Experiencia con el computador.
Familiaridad con la tecnología.
Tiempo y apoyo del entorno.
41
NOROL, Hamiza, et al. On line distance learning: Quality characteristics and usability evaluation. 2010. p.
575 - 579.
89
Usabilidad. La usabilidad es un concepto escurridizo que refleja la experiencia
del usuario con un producto, artefacto o servicio y el nivel de éxito que se ha
establecido para el producto / servicio.
6.9.1. Tipos de Uso del enfoque de aprendizaje. Se dividen de la siguiente
forma:
Aprendizaje autentico: Medida en que los estudiantes tienen la oportunidad
de resolver problemas del mundo real que son auténticos.
Aprendizaje activo: Grado en que los estudiantes tienen la oportunidad de
tomar un papel activo en su aprendizaje.
En el contexto de la eficacia, se sugieren las siguientes dimensiones que se
pueden utilizar para captar el concepto de eficacia:
La participación estudiantil.
El compromiso cognitivo.
La tecnología de auto-eficacia (es decir, la creencia de que uno tiene la
capacidad de interactuar con una tecnología dada).
Utilidad percibida de la tecnología empleada
La ventaja relativa o desventaja de entrega en línea.
6.9.2. Metodología. Las metodologías utilizadas son las siguientes:
La Muestra: la muestra del estudio se compone de estudiantes que
actualmente participar en un programa de aprendizaje a distancia en línea, en una
de las universidades públicas de Malasia. El marco de población era derivada de
la unidad que controla el programa. Un total de 200 cuestionarios fueron
distribuidos a la muestra y 185 Se recibieron respuestas, produciendo una tasa de
respuesta del 92,5%.
El Instrumento: el instrumento de la encuesta utilizada para este estudio
compuesto por 3 secciones.
• Primera Sección: perfil del encuestado y el uso o aplicación del aprendizaje a
distancia en línea.
• Segunda sección: percepción sobre la calidad de instructor, como actitud,
tiempo del encuestado y el apoyo familiar.
• Tercera sección: requiere responder a los elementos relacionados con
facilidad de uso de la educación a distancia en línea.
Evaluar la fiabilidad y validez: en este estudio, la prueba de fiabilidad se
realizó con métodos para evaluar la consistencia de las escalas de
instrumentos. Se recogieron los datos, una prueba de fiabilidad fue realizada para
medir la consistencia interna del instructor como la actitud, tiempo y apoyo a los
estudiantes, la autonomía, la eficacia y el uso del aprendizaje a distancia en
línea. La prueba obtiene el coeficiente α = 0,915 y construcciones de fiabilidad
90
individual que varían desde 0,915 hasta 0,955. El resultado indica que el
instrumento es confiable y consistente internamente.
Resultados y Discusión: los resultados muestran que la mayoría de los
encuestados son mujeres (81,1%) mientras que 17,8% son hombres. También
muestra que la mayor parte de los encuestados son solteros 66,1% y el 40,5% de
los encuestados tienen 2-4 años de experiencia de trabajo.
6.10. HEURÍSTICAS DE USABILIDAD PARA APRENDIZAJE42
Este modelo se desarrolló para evaluar la usabilidad de aplicaciones de
aprendizaje. Basado en un listado de heurísticas desarrolladas específicamente
para entornos virtuales de aprendizaje. Las mismas surgen a partir de la
integración de conceptos provenientes de usabilidad, aprendizaje.
6.10.1. Etapas. A continuación se explica las etapas que conforman este modelo:
Figura 30. Diagrama de componentes para Heurísticas de usabilidad para el aprendizaje.
Etapa 1 - Identificación de Criterios. Dada la necesidad de considerar los
aspectos vinculados al aprendizaje al evaluar la usabilidad de una aplicación de
aprendizaje, se realizó una revisión a grandes rasgos de las teorías de aprendizaje
conductistas, cognitivistas y constructivistas, y su influencia en el diseño
instruccional. Se encontró que los diseñadores deberían seleccionar, usar y
adaptar atributos desde varios enfoques diferentes en función del perfil del
estudiante, sus necesidades y la naturaleza del tema en particular, aprovechando
sus elementos fuertes y adaptándolos al nuevo desafío del aprendizaje. Sin
embargo en la actualidad, el constructivismo constituye el enfoque dominante para
este tipo de aplicaciones.
42
FONT, Graciela. Heurísticas de usabilidad para e-learning. Vol. 03 No. 09 Julio 2010. p. 15.
91
Actividades 1 - Identificación de criterios desde las teorías del
aprendizaje: en función de lo expuesto se identificaron tres categorías de criterios
que deberían considerarse en la evaluación:
Tabla 41. Criterios de aprendizaje.
Actividad 2 - Recopilación de heurísticas de usabilidad, principios y
atributos para aplicaciones educativas: se recopilaron heurísticas de
usabilidad, además de principios y atributos propuestos por diversos autores para
aplicaciones educativas. Se tomaron en cuenta las 8 reglas de oro de
recomendaciones de usabilidad específicas para la Web, heurísticas de
aprendizaje con software, principios para aprendizaje en line efectivo, atributos de
usabilidad específicos para el aprendizaje y criterios de motivación para aprender.
Tabla 42. Criterios de usabilidad.
Actividad 3: Elaboración de listado de criterios. Se elaboró un listado con
13 criterios formados a partir de diez criterios correspondientes a las heurísticas
de Nielsen y los tres criterios identificados desde las teorías del aprendizaje. En él
se fueron incorporando en las categorías correspondientes, subcriterios
propuestos por los diversos autores. De esa forma se obtuvo un listado de criterios
y subcriterios para evaluación de aplicaciones de aprendizaje que tienen en
cuenta la usabilidad.
Etapa 2: Desarrollo de Heurísticas específicas. Con el fin de desarrollar las
heurísticas específicas para evaluar el curso de aprendizaje se partió del listado
resultante de la integración de usabilidad y aprendizaje.
92
Actividad 1: análisis de cada criterio y su pertinencia en función del software a
evaluar.
Actividad 2 - Definición de subcriterios: una vez analizado los criterios que
se van a evaluar los mismos incluyen 38 subcriterios que orientan al evaluador en
relación al alcance de cada heurística.
Etapa 3: Evaluación. La evaluación de usabilidad se realizó mediante tres
métodos/técnicas: test de usuario (pensando en voz alta), evaluación heurística y
cuestionarios.
Actividad 1: Test de Usuario. Antes de iniciar las actividades del curso
“Enseñar y Aprender en el Aula Virtual”, cinco futuros usuarios evaluaron la
aplicación mediante la técnica pensando en voz alta. Se identificaron las tareas
típicas del estudiante en el Aula Virtual y se definieron cinco escenarios que
describían una situación artificial en el que ocurría la tarea. Cada test se realizó en
forma individual con la participación de un moderador y un observador. Se contó
además con un software de captura de las acciones del usuario en la interfaz. Una
vez finalizado cada test se dialogó con el usuario a los fines de recabar cualquier
otra información que pudiera aclarar y ampliar los datos observados. Una vez
ejecutados los cinco test se compilaron los resultados en una lista de 18
problemas de usabilidad.
Actividad 2: En la Evaluación Heurística participaron cuatro expertos, de los
cuales dos eran expertos dobles (con conocimientos en usabilidad y educación), el
tercero era experto en usabilidad y el cuarto experto en educación. Se les proveyó
el listado con las heurísticas y una guía que dirigía el procedimiento con
información general sobre la aplicación y el perfil de los estudiantes. Cada
evaluador inspeccionó la interfaz independientemente. Además de la lista general
de heurística, se les dio la libertad de considerar otros principios de usabilidad que
pudieran ser relevantes para elementos de diálogo específicos. Luego de que
todas las evaluaciones se ejecutaron, se procedió a compilar los problemas
identificados generando un listado final con 34 problemas únicos.
Etapa 4: Resultados obtenidos. Si bien en la investigación se realizó un
análisis detallado de los resultados de cada uno de los tres métodos/técnicas por
separado y combinadas, en esta publicación se presentan y comparan en forma
general los resultados de las evaluaciones realizadas por los estudiantes
(mediante las dos técnicas), con los resultados de los expertos.
6.10.2. Instrumentos de evaluación. Se usa el siguiente instrumento para
realizar la evaluación.
Cuestionario: se diseñó un cuestionario de evaluación del entorno virtual en
base a los mismos criterios utilizados en la evaluación heurística. Se entregó a los
estudiantes luego de finalizadas todas las actividades del curso. En él identificaron
las áreas de la aplicación que generaron dificultades en la interacción durante todo
el desarrollo. En función del objetivo se proveyeron espacios en blanco en cada
93
sección y se alentó a los estudiantes a expresar otras dificultades experimentadas
y no incluidas en el cuestionario. Se identificaron en total 16 problemas de
usabilidad.
Tabla 43. Descripción de criterios de usabilidad y aprendizaje.
94
7. REVISIÓN DE MODELOS DE CORRESPONDENCIA DIDÁCTICA
7.1. MODELO PARA LA EVALUACIÓN DEL IMPACTO DEL SOFTWARE
EDUCATIVO43
Es un modelo de evaluación del impacto pedagógico de un software educativo en
los procesos de enseñanza y aprendizaje de la secundaria básica, teniendo en
cuenta las problemáticas encontradas en la evaluación del software como no
profundizar en los aspectos metodológicos, la falta de indicadores e instrumentos,
no se abarca los efectos y las consecuencias de incorporar el software educativo
en el proceso de enseñanza y aprendizaje. Los docentes y directivos no conocen
los instrumentos y los pasos para evaluar el impacto pedagógico del software
educativo.
7.1.2. Objetivos. El modelo tiene como objetivo evaluar el impacto pedagógico
mediante la recolección de variables, dimensiones, indicadores y una propuesta
de instrumentos que le confieren nivel de confiabilidad y viabilidad, que se adecua
a las condiciones tecnológicas y pedagógicas.
7.1.3. Estructura del modelo. El modelo propone componentes y cualidades que
se describen a continuación:
Componentes del modelo de impacto pedagógico del software educativo.
Se encuentran los componentes para el modelo estas son:
• Finalidad: transformación.
• Contenido: evaluar el impacto pedagógico del software educativo.
• Unidad de evaluación: estudiante, el profesor y el directivo.
• Rol del Evaluador: implicación.
• Toma de decisiones: profesores generales integrales, asesores de
computación, funcionarios, metodólogos y directivos de las escuelas, Direcciones
Municipales y Provinciales de Educación.
Cualidades del modelo de evaluación de impacto pedagógico del
software educativo. Las cuales que tiene el modelo son las siguientes:
• Flexible: permite ser aplicado en una diversidad de contextos educativos.
• Funcional: el modelo puede ser empleado tanto en su totalidad como en
partes.
43
RODRÍGUEZ GONZÁLEZ, Mayda Agustina: ASTORGA GALARDY, Pedro y CHE SOLER, Justo. Modelo
Para La Evaluación Del Impacto Del Software Educativo. EN: XIV Congreso Internacional de Informática en la
Educación. Cuba, 2010, p 1 – 9.
95
• Participativo: participación de los sujetos del proceso cuyo impacto
pedagógico se busca reconocer.
• Transformador: la transformación de los sujetos del proceso de enseñanzaaprendizaje (estudiantes, profesores y directivos).
• Enfoque: Histórico- Cultural y método Dialéctico-Materialista.
7.1.4. Fases del modelo. El modelo se compone de tres etapas que se relacionan
por medio de sus resultados, estas son: fase inicial, fase de seguimiento
(monitoreo) y fase final. El modelo propone siete etapas aplicables en cada etapa
y estas a su vez tienen sus respectivas actividades a desarrollar.
Etapa 1 - Caracterización del efecto de impacto pedagógico. Es esta fase
se realizó un estudio de antecedentes donde se parte de los objetivos de la
institución, se selecciona a que grado va dirigido en la secundaria, se revisa la
documentación del software para su uso, donde se define la asignatura, el tipo de
usuario y su metodología, las condiciones tecnológicas y pedagógicas y los
resultados que se esperan obtener.
Etapa 2 - Diseño de evaluación de impacto pedagógico. Se selecciona los
evaluadores para realizar la selección de los indicadores y el rediseño y aplicación
de los instrumentos.
Etapa 3 - Organización del proceso de evaluación de impacto
pedagógico. Se reúne el equipo de trabajo, se instrumenta la asignación
seleccionada. Se organizó la planeación del sistema de capacitación de los
evaluadores y facilitadores.
Etapa 4 - Ejecución de la evaluación del impacto. Se realiza la distribución
y aplicación de los instrumentos determinados por el equipo evaluador, así como
la metodología para procesar los datos obtenidos.
Etapa 5 - Control y análisis de los resultados obtenidos. Se revisa los
indicadores afectados por parte de los estudiantes y se realiza el conceso de que
aspectos se requieren mejorar.
Etapa 6 - Socialización de los resultados. Para realizar la socialización se
utiliza entrenamientos
metodológicos conjuntos, consejos de dirección,
preparaciones metodológicas, balances metodológicos, actividades de superación
a directivos, maestrías, discusiones de tareas integradoras, eventos científicos,
entre otras, donde se permite formalizar el análisis y valoración del resultado la
evaluación de impacto pedagógico del software educativo.
Etapa 7 - Pronóstico y seguimiento. Se implementa un sistema de acciones
dirigido a la mejora de los indicadores afectados a partir del análisis e informe de
evaluación realizada. Se realiza un seguimiento o monitoreo que permite
identificar los cambios logrados y los resultados esperados durante el curso
96
escolar, donde se hace un seguimiento a la actuación de los sujetos que emplean
el software educativo, el desempeño de los docentes, la organización escolar, así
como en el aprendizaje de los alumnos, lo que permitió reajustar y rediseñar las
acciones de transformación.
Figura 31. Diagrama de componentes del modelo de evaluación del impacto pedagógico.
7.1.5. Evaluación del impacto pedagógico del software educativo. Para
realizar la evaluación se proponen: una variable, 3 dimensiones, 14 indicadores y
82 sub-indicadores. Se establecen a partir de la sistematización realizada sobre,
evaluación de impacto, la construcción de indicadores de evaluación de impacto,
la introducción del software educativo en el proceso de enseñanza aprendizaje
de la Secundaria Básica y la experiencia en la práctica educativa.
Variable evaluación de impacto pedagógico del software educativo. Se
refiere al grado de trascendencia de la aplicación del software educativo en el
proceso de enseñanza-aprendizaje, a partir de cambios significativos de los
sujetos en el desempeño, organización escolar y la satisfacción con la calidad del
software.
Dimensiones e indicadores. La siguientes son las dimensiones e indicadores
que se encuentran en el modelo:
97
• La organización escolar: Los indicadores relativos al nivel de organización
escolar que conciernen al funcionamiento, disponibilidad y gestión de recursos
humanos, planificación y materiales utilizados de forma racional que permiten el
aprovechamiento del software educativo.
• Indicadores_1: Nivel de gestión de recursos humanos y materiales para el uso
del software. Frecuencia en la planificación de actividades. Nivel o grado de
organización del laboratorio para el trabajo con software. Cambios que se
aprecian en el contexto de la institución educativa.
• Satisfacción con la calidad del software educativo: se refiere al grado con
el que un software educativo cumple con los requisitos especificados y las
necesidades o expectativas de los sujetos del proceso de enseñanzaaprendizaje.
• Indicadores_2: Indicadores: Nivel de contribución del software educativo al
desarrollo de una actividad constante del alumno. Nivel de aceptación de la
presentación del contenido. Nivel de Satisfacción con la interfaz de trabajo. Nivel
de satisfacción con la estructura del software.
• Desempeño: indicadores referentes al nivel del desarrollo de un sujeto a
través de interacción con el software educativo en correspondencia con los
objetivos de la actividad pedagógica en que participa y el logro de un resultado
que evidencia su mejoramiento y satisfacción individual al ejercer sus tareas con
cuidado, precisión, profundidad, originalidad y rapidez.
• Indicadores_3: Nivel de disposición para la utilización del software educativo.
Nivel de conocimientos y habilidades. Nivel de Dirección del proceso de
enseñanza-aprendizaje con software educativo. Estrategias de aprendizaje. Nivel
de disposición para el cambio.
7.1.6. Niveles de evaluación. Se proponen además cinco niveles de evaluación,
la construcción de indicadores de impacto pedagógico del software educativo se
realizó a partir de métodos científicos como el enfoque sistémico, el análisis
documental y la sistematización, así como los procedimientos lógicos del
pensamiento que se reflejan en los métodos, en la figura n se encuentran los
niveles de evaluación.
Figura 32. Descripción de niveles de evaluación.
98
7.1.7. Instrumentos de evaluación: Se proponen doce instrumentos para la
evaluación del impacto pedagógico del software educativo, tales como:
Una guía de observación a actividades con Software educativos.
Tres cuestionarios de encuestas.
Tres de entrevistas.
Tres pruebas de Desempeño.
Una guía para la revisión de documentos.
Una guía para la evaluación del software educativo.
7.2. GRILLA DE EVALUACIÓN DE SOFTWARE EDUCATIVO (GRIESE)44
Es una grilla que permite realizar la evaluación de un software educativo mediante
variables que califican su calidad, en la figura n se puede ver cada uno de los
componentes de la grilla.
7.2.2. Características de la Grilla. Esta grilla se desarrolló con las siguientes
características:
Se contemplan los tres aspectos del software educacional como los son
funcional, pedagógico y técnico.
Cuenta con criterios, subcriterios e ítems que permiten realizar la evaluación
de cada de los aspectos que tiene el software educacional.
Permite seleccionar el nivel de evaluación los cual se tiene diferentes niveles
de abstracción respecto del concepto evaluado, así mismo facilita una
comprensión y una consulta de las diferentes evaluaciones realizadas el software
educativo.
Los niveles que se puede realizar la evaluación son a nivel de ítems, a nivel de
subcriterios.
Se aplica un peso de ponderación por aspecto, criterio, subciterios e ítems,
para llegar a realizar una valoración global del software educativo evaluado, a
continuación en la tabla 44 se relaciona el peso que tiene cada aspecto con
respecto al total.
Tabla 44. Relación de peso por aspecto.
44
Bosco. Facultad de Ingeniería, 2004. p, 98 – 113.
99
Busca tener un cambio en la forma de pensar en el uso y aplicación de un
software educativo en los docentes universitarios y lograr una intelectualización o
concientización de los métodos instruccionales que tena el software a utilizar.
7.2.3. Objetivos de la grilla GRIESE. Los objetivos y aportes de la grilla son:
Mejorar cada instrucción de los alumnos, mediante el uso del software
educativo se adapte a los objetivos pedagógicos buscados, donde adquirirán
distintas capacidades a través de la enseñanza utilizadas.
Promover la interiorización y conocimiento de las nuevas tecnologías por parte
de los profesores, dentro de las modalidades y calidades de la Educación
Superior.
Ofrecer una herramienta metodológica, que sea aplicable en el ámbito
universitario como en el educativo general, para que se realice un análisis crítico y
una evaluación sistemática de productos de software educativo, haciendo un
informe de los resultados evaluativos obtenidos, a los medios y procesos
empleados y a las dimensiones cualitativas del software educativo evaluado, así
mismo se facilita la toma de decisiones de los profesores y responsables
educativos ante la aparición de nuevos productos.
Permite realizar la evaluación y crear una base de datos de software
educativos evaluados y que podrán ser consultados por los demás docentes que
deseen saber si hay un software que puedan utilizar y cumplan con las
características determinadas.
7.2.4. Etapas de la grilla GRIESE. A continuación se explica las etapas que
conforman la grilla:
Figura 33. Diagrama de componentes de la grilla GRIESE.
100
Etapa 1 - Determinar los diferentes niveles de evaluación. Esta grilla
presenta diferente niveles de evaluación para buscar lo siguiente:
Permitir la realización de la tarea de evaluación en diferentes etapas, según el
evaluador lo desee, se puede calificar a nivel de ítems o subcriterios, esto
depende de un grado de detalle que el evaluador desee utilizar.
Presentar diferentes niveles de abstracción con respecto al concepto
evaluado, con esto facilita la comparación y consulta entre las evaluaciones
realizadas a distintos software educativo.
Niveles: Los niveles que conforman la estructura en tres aspectos, estos se
dividen en criterios y que estos a su vez se dividen en subcriterios, estos se
califican por medio de diferentes ítems, los cuales logran el objetivo de evaluar el
software educativo. A continuación en la figura n se presenta la estructura con los
respetivos niveles usados:
Figura 34. Estructura de los niveles usados en GRIESE.
Etapa 2 - Elección de aspecto. Determinan dos aspectos los cuales son los
más usados según la investigación realizada por la grilla, estos aspectos son:
funcional y pedagógico, en la tabla 45 se describe cada aspecto.
Tabla 45. Aspectos seleccionados y su descripción.
101
Etapa 3 - Elección de criterios, subcriterios e ítems. En esta etapa se
centra en la evaluación objetiva de los entornos educativos de multimedia,
seleccionando con cuidado los criterios que caracterizan este tipo de software. A
continuación se describen los criterios, subcriterios e ítems relacionados en el
aspecto funcional, pedagógico y técnico.
Criterios, subcriterios e ítems del aspecto funcional: en la tabla 46 se
observa cuáles son los criterios seleccionados a si mismo con sus respectivos
subcriterios e ítems.
Tabla 46. Criterios, subcriterios e ítem del aspecto funcionales.
Criterios, subcriterios e ítems del aspecto pedagógicos: en la tabla 47 se
observa cuáles son los criterios seleccionados a si mismo con sus respectivos
subcriterios e ítems.
102
Tabla 47. Criterios, subcriterios e ítem del aspecto pedagógico.
103
Tabla 48. Criterios, subcriterios e ítem del aspecto pedagógico (continuación).
104
Tabla 49. Criterios, subcriterios e ítem del aspecto pedagógico (continuación).
Etapa 4 - Evaluación del software educativo. En esta etapa se realiza la
evaluación del software educativo teniendo en cuenta lo siguiente:
Escala de valoración aplicada en la grilla GRIESE: para realizar la
evaluación del software educativo, escogieron una escala de valores que va del 1
al 5 y se califica cada ítem, a continuación se muestra en la tabla 50 que significa
cada valor:
Tabla 50. Escala de valoración.
105
Conformación de la grilla GRIESE: la grilla define unas fichas para realizar la
identificación del software, la evaluación del software y observaciones generales
del software, a continuación se presentan el diseño e información de cada ficha:
• Ficha de datos generales identificatorios del software: Engloba los datos
que permiten realizar una caracterización del software educativo, en la figura n se
encuentra la descripción y los datos solicitados a diligenciar.
Figura 35. Ficha de datos generales de identificación del software.
• Ficha de evaluación del software: es la parte principal de Grítese; contiene
los aspectos, criterios, subcriterios e ítems descriptos, que permiten evaluar el
SE, en la tabla 51 se encuentra un ejemplo de cómo es esta ficha.
106
Tabla 51. Ficha de evaluación del software.
• Ficha de observaciones generales del software: esta parte permite el
ingreso de cometarios que si bien no califican en sí mismo al SE, permiten dejar
documentados aspectos negativos y positivos relevantes del mismo, en la figura n
se ve la estructura de la ficha.
Figura 36. Ficha de observaciones generales del software.
7.3. FACTORES DE EVALUACIÓN DE SOFTWARE EDUCATIVO45
Dado que el software educativo es socialmente aceptable, debe ser examinado
por la evaluación de sectores: contenido, la presentación y la organización del
contenido, apoyo técnico y los procesos de actualización y, finalmente, la
Evaluación de aprendizaje. Todos los sectores tienen la misma importancia, como
software educativo tiene que ser al mismo tiempo pedagógico y técnico. Por otra
45
GEORGIADOU, Elissavet. Economides: Evaluation factors of educational software. 2010. p. 113-116.
107
parte, cada sector incluye una serie de criterios, con el fin de caracterizar un
software educativo de alta calidad.
Figura 37. . Diagrama de componentes de Factores de evaluación de software educativo.
7.3.2. Sectores. Para la evaluación del software educativo se realiza una división
por sectores, con el fin de abarcar los factores más importantes a tener en cuenta.
Para la evaluación del software educativo se realiza una división por sectores, con
el fin de abarcar los factores más importantes a tener en cuenta.
Contenido. La información contenida en un trozo de software educativo es el
primer parámetro que debe ser evaluado de acuerdo con los siguientes criterios:
Validez y Autoridad: contenido confiable, buena reputación autores, editores
y el origen de la información.
Precisión: la información actualizada y libre de errores, el uso correcto de la
gramática.
Adecuación: conceptos y vocabulario relevante a las capacidades de los
alumnos, la información relativa al grupo de edad, Interacción compatible con el
bienestar físico y madurez intelectual del público destinatario.
Ámbito de aplicación: información con suficiente envergadura y profundidad,
la progresión lógica de los temas, la variedad de actividades, con opciones para
aumentar la complejidad.
Presentación y Organización del contenido. Los factores asociados con
este sector son el pedagógico, que es lo concerniente con el aprendizaje y el
diseño instruccional de teorías y el factor de diseño de la interfaz
108
Factor Pedagógico: esto es un factor complicado, ya que existen diferentes
creencias sobre cómo aprenden los seres humanos.
• Motivación: informar que va a lograr en el final de la instrucción declarando
metas y objetivos.
• Estructura: como organizar la información (estructura de red, lo que implica
una organización explicita o arreglo de nodos y vínculos asociativos).
• Control del alumno: experiencia de aprendizaje en sus propias necesidades
individuales.
Factor Diseño de Interfaces.
Interactividad – Navegación: retroalimentación. actividad desarrollada por la
tecnología y el alumno, así como la capacidad de la tecnología para adaptarse.
Directrices para aumentar la interactividad: bridar oportunidades de
interacción por lo menos cada tres o cuatro pantallas, el contenido en pequeños
segmentos y construir en preguntas, comentarios y resúmenes de cada segmento,
pida a los estudiantes aplicar lo que han aprendido y no de memorización,
además, utilizar preguntas retóricas en instrucción para que los estudiantes
piensen en el contenido y consideren diseños en los que el alumno descubre la
información a través de la exploración activa.
Navegación: facilita que los usuarios puedan .Copia de seguridad de un nodo
a la vez, sobre sus trayectorias e inmediatamente volver a acceder a cualquier
nodo anterior, búsqueda de información con palabras clave o índices y utilizar los
mapas y tablas de contenido para ver el total de la estructura de la base de
conocimientos, Obtener vistas 'Fish Eye' indicando los nombres y contenidos de
nodos vecinos que muestra actualmente.
Un material didáctico. debe promover la interactividad, ayudando acceder a
algunas o todas de las siguientes opciones:
Tecla de ayuda para obtener información sobre el procedimiento, tecla para
responder a una pregunta de respuesta, glosario para ver la definición de
cualquier término, revisión de los objetivos del curso. mapa de contenido para ver
una lista de comandos u opciones disponibles y resumen de la introducción a la
unidad, tecla Menú para salir de la lección y regresar, tecla de salida para salir del
curso, registrar comentarios de un alumno, ejemplos de una idea. , teclas para
avanzar o retroceder en una lección y para acceder a la siguiente lección en una
secuencia.
Los factores básicos que pueden determinar la eficacia de información son el
tipo y la frecuencia de la retroalimentación dada y el retraso entre la
retroalimentación y la instrucción
109
Retroalimentación. Está estrechamente relacionado con el tema de
interacción, como la acción sin reacción es completamente improductiva para un
alumno, las directrices básicas sobre retroalimentación:
Proporcionar información inmediatamente después de una respuesta.
Variar la colocación de retroalimentación de acuerdo con el nivel de objetivos.
Proporcionar retroalimentación después de cada respuesta para el aprendizaje
de los objetivos de nivel inferior.
Proporcionar información que permita verificar la exactitud de la información.
Para respuestas incorrectas, informar a los estudiantes sobre cómo corregir
sus respuestas o consejos para volver a intentarlo.
Diseño de Pantalla. Factor de evaluación importante, ya que los diferentes
elementos de la pantalla deben ser utilizados para presentar información
estimulante y de ayuda a los alumnos en la retención y recuperación de la
información. Las limitaciones psicológicas a considerar a la hora de diseñar
sistemas de aprendizaje incluye:
Memoria: ¿La cantidad de iconos influye para que los estudiantes recuerden
en un momento dado?
Percepción: ¿qué colores y fuentes proporcionan la mejor legibilidad?
Atención: ¿cómo pueden los usuarios prestar atención a información que es
relevante, cuando hay una gran cantidad de información en la pantalla
Las directrices de diseño de la pantalla son las siguientes:
El uso del espacio: imagen más grande antes que una pequeña, un objeto en
movimiento antes que una estática, a un color antes que blanco y negro, las áreas
que demandan acciones están mejor situados cerca del centro de la atención del
usuario, una pantalla completa puede impedir la concentración del usuario.
Texto: el uso de tipo de letra debe ser coherente, legibilidad sugiere para la
lectura continua que el tamaño de la fuente debe ser alrededor de doce puntos
con la línea de separación de una línea y media, encabezados pueden ser el
tamaño inmediatamente superior del cuerpo de texto en un estilo o color diferente
desde el cuerpo principal del texto, grandes cantidades de texto son, difíciles de
leer y entender en una pantalla de ordenador, longitudes de línea de alrededor de
ocho a diez palabras parecen ser la óptima, cuando hay una gran cantidad de
texto que se va a mostrar es preferible dividirlo en varias pantallas, justificación
derecha del texto debe ser evitado, Intermitencia del texto es difícil de leer, pero es
apropiado para información vital, el texto encerrado dentro de una caja no es más
fácilmente leído o comprendido como texto sin formato con la misma facilidad.
Color: los colores de texto y fondo deben ser elegidos cuidadosamente con el
objetivo de maximizar el contraste, el color es un medio poderoso de destacar
información en comparación con el uso de formas pero el uso de cantidades
110
excesivas no sirven para dirigir la atención, la consistencia en el uso funcional de
color es importante.
Gráficos: un gran contraste entre los gráficos y el fondo debe mantenerse.
Las imágenes no cubiertos por la información contenida en el texto no va a
mejorar el aprendizaje. También, diagramas son útiles sólo si la información que
en ellos se utiliza con sentido, las imágenes pueden ayudar a los estudiantes a
entender y recordar y debe ser colocado cerca del texto que lo respalden.
Animación / Video: alertas de Movimiento, la animación será el centro de
atención, por lo que si otro evento de importancia se está produciendo en la
pantalla puede ser ignorada. El movimiento debe ser empleado para reforzar
conexiones y relaciones. Cuando la animación contiene información vital que es
importante para proporcionar una opción para repetir la secuencia. Más de una
animación a la vez en la misma pantalla daría lugar a confusión. El video debe
utilizarse para presentar 'la vida real' y no para impartir conceptos abstractos y
filosofías. Vídeo es menos efectivo cuando se usa simplemente para mostrar un
altavoz, y es menos eficaz que el uso de sonido solo. Los segmentos de vídeo es
mejor mantenerse cortos.
Audio: aunque el audio no es la información visual, se examina aquí, ya que
es una parte importante de la interfaz de la computadora. Cuando la
información es aural (es decir, el aprendizaje de idiomas) el uso del sonido es de
vital importancia. En otros casos debe ser una opción y no una necesidad. El
sonido puede ser utilizado para llamar la atención y reforzar información, que
también está siendo presentada gráficamente.
7.4. TÉCNICAS Y MÉTRICAS PARA LA EVALUACIÓN DE LA USABILIDAD46
En esta investigación se plantean pautas para la estimación del nivel de usabilidad
en sitios Web. Inicialmente se definirá un modelo de medición de la usabilidad
aplicable al contexto Web, un esquema jerárquico que recoja características
prioritarias y comunes, de la usabilidad vista desde la perspectiva Web. Junto con
éste modelo se analizarán técnicas y estrategias para la recolección y
consolidación de datos.
7.4.1. Etapas. A continuación se describen las etapas que conforman la
metodología.
46
PULIDO GRANADOS, Elkin René y MEDINA GARCÍA, Víctor Hugo. Modelo de medición de usabilidad.
2008. Vol. 12 no. 1, p. 15.
111
Figura 38. Diagrama de componentes para metodología de evaluación de usabilidad.
Etapa 1: Acercamiento al contexto. Para definir los objetivos deseables de
usabilidad del sitio, se deberá ponderar el Modelo de Medición de Usabilidad para
la Web definido. Para tal fin, se pueden utilizar los mismos principios aquí
expuesto de la técnica Delphi. El resultado de una concertación de los atributos
pertinentes al usuario y de costos permisibles.
Etapa 2: Definición de usuario y modelo mental. Para ellos se podrá utilizar
la observación y participación de expertos que capturen y completen dicha
información.
Etapa 3: Selección de Técnica de evaluación.
Se debe tener
caracterizaciones de los métodos expuestos, ya que son insumos útiles en la
definición del conjunto de técnicas que se van a emplear durante la evaluación. Es
importante conocer la opinión de los usuarios (grado de compromiso con el cual
afrontan la evaluación, disponibilidad, etc.) las directivas y del equipo de
desarrollo. Lograr una evaluación eficaz y rápida es más probable con la
integración y compromiso de todos los actores del desarrollo.
Etapa 4: Ejecución de la evaluación. Los conceptos teóricos de las técnicas,
solo pueden servir de guía inicial para un diseño y desarrollo de herramientas. Es
necesaria una apropiación al tipo de necesidad particular. Cabe recordar que el
propósito de realizar evaluación de Usabilidad no es tanto definir una referencia
numérica del sitio Web sino proveer realimentación al diseño e interacción del
sistema.
Etapa 5: Consolidación general de resultados. Se propone como estrategia
de consolidación, contrastar el árbol de ponderación (paso 1) con un árbol análogo
112
generado de los resultados de la evaluación. En la medida en la cual estos dos
árboles coincidan (o en el mejor de los casos que los resultados de la evaluación
sean mayores que la ponderación), con mayor precisión el sistema habrá
alcanzado sus objetivos de Usabilidad. Este paralelo entre lo que se desea y
encuentra, define la medida de Usabilidad del sitio. Lo mejor de este proceso es la
información resultante de cada técnica aplicada.
7.5. UNA METODOLOGÍA EXTENDIDA PARA EL DISEÑO DE SOFTWARE
EDUCATIVO: ALGUNOS PUNTOS CRÍTICOS47
Esta metodología esta propuesta para el diseño de software educativo. Las
etapas del ciclo son consideradas y se define una matriz de actividades.
Basados en esa matriz, las herramientas y técnicas en cada proceso son
descritas.
7.5.1. Objetivo de la metodología extendida. Tiene como objetivo incluir los
aspectos pedagógicos en el ciclo de vida, donde todo el software desarrollado
con metodología extendida en un contexto analizado de tal manera que los
resultados indican que el aprendizaje de los estudiantes es significativamente
mejor.
7.5.2. Etapas de la metodología extendida. A continuación se describen las
etapas que conforman la metodología.
Etapa 1: Análisis de las necesidades educativas. Es primordial empezar
con la detección de la necesidad educativa para el desarrollo del aplicativo;
esto puede ser conseguido a través de una entrevista y por una opinión entre
profesores que utilizan software educativo.
Etapa 2: Análisis de requisitos de Software. Esta etapa es una de las más
importantes del ciclo de vida de este producto, y especialistas en pedagogía
y contenidos dan sus opiniones de diseño del software desde un punto
computacional. Esta etapa puede ser dividida a dos grande subetapas:
El proceso de diseño de contenidos.
El proceso de diseño de software.
Etapa 3: Documentación. Uno aspecto clave para considerar, es el
desarrollo de documentación técnica durante el ciclo de vida del producto. El
anterior incluye cualquier comentario que será
útil cuándo se realicen
modificaciones en etapas más tardías.
47
LAGE Fernando J., ZUBENKO Yuriy, CATALDI Zulma. An extended methodology for educational software
design: some critical points. 2001. Vol. 1, p. 13-18.
113
Etapa 4: Evaluación. La evaluación de un programa diseñado según la
metodología propuesta puede ser evaluada por evaluadores internos, y externos,
los primeros son del equipo de desarrollo; mientras que los segundos pueden ser
profesores y estudiantes.
Figura 39. Diagrama de Componente para la metodología extendida.
114
8. REVISIÓN DE MODELOS DE USABILIDAD Y CORRESPONDENCIA
DIDÁCTICA
8.1. MODELO TUP (TECNOLOGÍA, CAPACIDAD DE USO, LA PEDAGOGÍA)48
Este modelo permite realizar una evaluación de software educativo desde
cuestiones de tecnología, capacidad de uso, la pedagogía. Este permite
garantizar la sensibilidad de la evaluación para el aprendizaje en ambientes,
mientras que la facilidad de uso y las cuestiones relacionadas con la tecnología
siguen siendo cubiertas.
8.1.1. Objetivos. Los objetivos de este modelos son los siguientes:
El método propuesto ofrece una forma de facilitar la evaluación de un
software educativo para un educador.
Busca facilitar a los evaluadores que en este caso educadores evaluar un
software educativo en una forma sencilla mediante listas de chequeo.
8.1.2. Etapas. A continuación se explica las etapas que conforman el modelo
TUP:
Figura 40. Diagrama de componentes del modelo TUP.
48
BEDNARIK, Roman: GERDT, Petri: MIRAFTABI, Ramin y TUKIAINEN, Markku, Development of the TUP
Model - Evaluating Educational Software. EN: Advanced Learning Technologies. 30 Aug – 1 Sept, 2004, p.
699 – 701.
115
Etapa 1 - Identificar grupo de aspectos. El grupo de aspectos se
identifican por medio de normas y metodologías existentes en la evaluación de
calidad de software en general, para esto se utilizaron la Metodología de Nielsen
y la Norma ISO.
Etapa 2 - Determiar subgrupos de aspectos. Los subgrupos de los
aspectos se identifican por medio de normas y metodologías existentes en la
evaluación de calidad de software en general, para esto se utilizaron la
Metodología de Nielsen y la Norma ISO.
Etapa 3 - Determinar tipo de preguntas. Se determina los tipos de
preguntas, teniendo en cuenta que estas deben ser comprensibles y fácil de
entender para el evaluador, en la tabla 52 se encuentran el tipo de preguntas.
Tabla 52. Tipo de preguntas.
Etapa 4 - Diseñar preguntas. Se definen las preguntas de la lista de
verificación, para el grupo o subgrupos de aspectos. en las tablas n, n se
encuentran los subcriterios para el aspecto usabilidad y pedagógico.
116
Tabla 53. Subcriterios y preguntas para el aspecto de usabilidad.
Tabla 54. Subcriterios y preguntas para el aspecto de pedagogía.
Etapa 5 - Evaluación del software. El evaluador tiene la lista de verificación
con las preguntas seleccionadas y procede a realizar la evaluación del software.
117
8.2. MODELO DE CALIDAD DE SOFTWARE EDUCATIVO49
Este modelo permite unificar criterios y estandarizar, así como es lo
suficientemente genérico como para hacerlo apto para cualquier tipo de software
educativo.
8.2.1. Etapas del modelo. El modelo se compone de cuatro etapas que se
relacionan por medio de sus resultados, estas son: fase estándar, fase tipo de
evaluación seguida de la fase de proceso de evaluación y finalmente la fase de
conclusiones.
Etapa 1: estándares. En esta etapa se determinan los atributos de
evaluación, para ello se deben seleccionar los estándares internacionales que
existan para realizar la determinación de las características, sub-características y
dimensiones
Etapa 2: tipos de evaluación. En esta etapa se deben definir la métricas he
indicadores, la medición que se realiza puede tener distintos objetivos que
dependerán de tipo de software, sin embargo deberá existir una medición
cualitativa y cuantitativa, dependiendo de lo que se desee o pretenda evaluar la
evaluación cualitativa se caracteriza porque sus fuentes de información no
incluyen datos numéricos, adicionalmente la relación de causalidad entre la acción
de formación se comprueba sin la conformación de un grupo de control; y la
evaluación cuantitativa unifica criterios y estandariza las metodologías.
Etapa 3: proceso de Evaluación del software. La evaluación del software es
más el resultado de las preguntas seleccionadas de las sub-características y
dimensiones.
Etapa 4: conclusiones. Después de realizar la respectiva evaluación del
software educativo es necesario realizar una explicación de los resultados
obtenidos
49
PLAZA, Inmaculada. Proposal of a Quality Model for Educational Software. EN: EAEEIE Annual
Conference. 22 June – 24 June, 2009: Valencia, p. 1 – 6.
118
Figura 41. Diagrama de componentes del modelo.
8.3. MODELO EMPI (EVALUACIÓN DE SOFTWARE INTERACTIVO,
PEDAGÓGICA Y MULTIMEDIA)50
Es un modelo interactivo para realizar la evaluación de software interactivo de
multimedia, mediante el uso de navegación dinámica en un conjunto de preguntas.
Este método se propone frente al problema de evaluar un software educativo por
medio de guías o cuestionarios porque el tiempo de evaluación llega a ser
demasiado esto sucede al que el número de preguntas aumentan.
Figura 42. Diagrama de componentes del modelo EMPI.
50
CROZAT, Stéphane; HÛ, Olivier y TRIGANO, Philippe. A Method for Evaluating Multimedia Learning
Software. EN: IEEE International Conference. 7 Jun – 11 Jun, 1999: Florence, vol. 1, p 714 -719.
119
8.3.1. Objetivos. Los objetivos de este modelo son los siguientes:
Este método se construye para realizar una evaluación dinámica, con
precisión y profundidad de análisis, selección y peso de preguntas, que se realizan
durante la evaluación, el evaluador está libre para explorar las preguntas y adaptar
la base para su caso.
Este método guía y ayuda a al evaluador utilizar a su propia subjetividad con el
fin de construir la evaluación más relevante.
8.3.2. Fases. Las fases de componente este método son las siguientes:
Fase 1: Estructura. en esta fase se encuentran las etapas para realizar una
estructura dinámica.
Figura 43. Etapas de la Fase de Estructura.
Etapa 1: seleccionar temas. Se selecciona los temas principales para iniciar
la estructura.
Etapa 2: determinar criterios. Se determinan los criterios ver, teniendo en
cuenta lo que se evaluara en la usabilidad y el material didáctico.
Etapa 3: determinar subcriterios. Se determinan los subcriterios, teniendo en
cuenta lo que se evaluara en la usabilidad y el material didáctico.
Etapa 4: diseñar preguntas. Se diseña la preguntas para realizar el
cuestionario y asi evaluar cada nodo de la estructura, en las tablas 53, 54, 55 se
encuentran las preguntas por tema, criterios y subcriterios.
Tabla 55. Temas seleccionados para el modelo EMPI.
120
Tabla 56. Criterios determinados para el modelo EMPI.
Tabla 57. Subcriterios determinados para el modelo EMPI.
Fase 2: Evaluar. en esta fase se encuentran las actividades para realizar la
evaluación del software teniendo una estructura definida, en la figura n se pueden
ver las actividades:
121
Figura 44. Etapas de la Fase de Estructura.
Iniciar navegación en cada nivel de la estructura: Se inicia la navegación
de la estructura comenzando por los nodos Subcriterios>Criterios>Temas.
Calificar nodos de cada nivel: Para realizar la calificación de preguntas,
subcriterios, criterios y temas se utiliza una marca exponencial.
Eliminar nodos de cada nivel: Se puede realizar la eliminación de
Subcriterios>Criterios>Temas.
Modificar nodos de cada nivel: Se puede realizar la modificar de
Subcriterios>Criterios>Temas>Pregunta.
8.3.3. Instrumento de evaluación. El instrumento de evaluación utilizado es un
cuestionario donde se asigna una calificación teniendo en cuenta cada nivel y su
respectiva pregunta.
8.4. EVALUACIÓN DE AMBIENTES DE SOFTWARE EDUCATIVOS51
Este modelo se basa en la experiencia en la evaluación de la usabilidad de los
autores y el trabajo con los maestros en evaluación de entornos educativos, se
presenta un esquema de listas de control y aspectos tecnológicos, facilidad de uso
y los aspectos pedagógicos del entorno educativo.
51
GERDT, Petri, et al. evaluating educational software environments. 2002. Vol. 1, p. 675 – 676.
122
Figura 45. Diagrama de componentes del Método de Evaluación de Ambientes de Software educativo.
8.4.1. Propósito. Con este modelo se propone crear una lista de verificación que
tenga en cuenta la instrucción, técnicas, y aspecto de la capacidad de los entornos
educativos. La lista de verificación propuesta se centra por igual en tres aspectos,
así como el modelo TUP, la usabilidad, la pedagogía y los aspectos tecnológicos.
Los tres aspectos están estrechamente relacionados entre sí y tienen la
funcionalidad del entorno en su núcleo.
8.4.1. Listas de Verificación
Listas de verificación constructivistas: la lista de verificación se centra casi
exclusivamente en lo pedagógico siendo evaluados aspectos pedagógicas del
sistema.
Listas de verificación delta: la lista de verificación tiene una perspectiva un
poco más amplia, con un fuerte énfasis en la evaluación de la apariencia visual y
multimedia.
8.4.2. Criterios de acuerdo al aspecto. A continuación se enlistan los criterios
dependiendo del aspecto:
Criterios del Aspecto Técnico: la disponibilidad, facilidad de mantenimiento.
facilidad de configuración inicial, la administración del entorno.
123
Criterios del Aspecto de Usabilidad: evaluación de la capacidad de
aprendizaje, eficiencia, recordación de la interfaz de usuario, satisfacción, tasa de
error.
Criterios del Aspecto Pedagógico: enfoque educativo, solidez pedagógica
de los contenidos, tipos compatibles de Interacción.
8.5. FACILIDAD DE USO Y APRENDIZAJE: EVALUACIÓN DEL POTENCIAL
DE SOFTWARE EDUCATIVO52
La evaluación de la utilización de software educativo debe tener en cuenta la
facilidad de uso, así como el aprendizaje y, sobre todo, la integración de estos.
Las Listas de control, son un enfoque muy común en la evaluación predictiva de
software educativo, sin embargo no tienen en cuenta esta integración. Por lo que
el modelo de evaluación estructurado conocido como el Modelo de Jigsaw intenta
integrar estas dos características para ayudar a los docentes a concentrarse en el
aprendizaje, problemas de usabilidad y la interacción de los dos.
8.5.1. Etapas. Las etapas que conforman el modelo Jigsaw son las siguientes:
Etapa 1 - Formación de Grupos. En esta etapa se forman equipos entre 3 y
6 estudiantes, se proporciona a cada grupo la tarea general, cada miembro se
encarga de una tarea específica.
Etapa 2 - Formación de Grupos Expertos. Basados en los grupos anteriores
se forman grupos con los estudiantes que tenían la tarea específica, así pueden
profundizar en un tema específico y ser experto en él.
Etapa 3 - Evaluación. Se realiza un test a cada estudiante sobre el tema
experto y un test sobre los otros temas.
Etapa 4 - Análisis y tabulación de los Datos. Se inicia comparando los test
de cada uno de los temas, de igual manera es necesario realizar un cuestionario
donde se describa la percepción que tuvo del modelo de evaluación.
52
SQUIRES, David y PREECE, Jenny. Usability and learning: Evaluating the potential of educational software.
1996. Vol. 27. no. 1, p. 15 – 22.
124
Figura 46. Diagrama de componentes para el modelo Jigsaw.
El aprendizaje apoyado por el uso del software debe ser interpretado desde un
punto de vista constructivista, y la investigación sobre cómo los estudiantes
construyen conceptos en ámbitos temáticos relevantes deben ser referidos
también. Otro factor a tener en cuenta es que el uso de software educativo
depende del contexto. No es posible evaluar una aplicación de software educativo
predictivamente sin referencia a un entorno percibido educativo.
Cuando el software se utiliza para apoyar una tarea de aprendizaje, además de
desarrollar conceptos y habilidades en el ámbito de estudio, los estudiantes
también tienen que aprender a utilizar el software de forma eficaz, es decir, para
hacer la tarea operativa.
8.5.2. Tareas. A continuación se describen las tareas que conforman el modelo
Jigsaw:
Tarea 1- Aprendizaje. Se compone de dos tipos de actividades principales:
El desarrollo de conceptos y habilidades relacionados con el tema específico
de estudio.
La comprensión de los conceptos y requisitos previos relacionados con el
ámbito general del estudio.
Tarea 2 - Operativa. También comprende dos tipos de actividades:
Interactuar con la interfaz de la aplicación.
La interacción con, el software del sistema operativo hardware y dispositivos
periféricos asociados.
125
Tarea 3 - Integrada. Resulta de la integración del aprendizaje y las tareas
operativas. La capacidad para realizar tareas integradas determina la eficacia con
que el software puede apoyar el aprendizaje.
126
9. MODELO PROPUESTO DE EVALUACIÓN DE SOFTWARE LÚDICO USCODI
(USABILIDAD Y CORRESPONDENCIA DIDÁCTICA)
9.1. ANÁLISIS DE REVISIÓN DE MODELOS
9.1.1. Análisis de modelos preexistentes. Se realiza la revisión de los artículos
seleccionados en cuanto a métricas y criterios, con respecto a los atributos de
calidad usabilidad y correspondencia didáctica, donde se estructura en un modelo
entidad relación con sus respectivos campos y datos, a continuación se presenta
el modelo con los respectivos campos y las tablas con los datos correspondientes.
Figura 47. Modelo entidad relación de información artículos.
Descripción de tablas y campos. A continuación se encuentra la descripción
de las tablas y los campos de cada una:
Tabla Artículos: esta tabla contiene la información relacionada con los
artículos científicos seleccionados con las ecuaciones de búsqueda.
• Campo Id_clave: es la identificación del artículo donde se encuentra las siglas
de los autores del artículo.
• Campo Nombre: indica el nombre del artículo.
• Campo Autor: indica los autores del artículo.
• Campo Año: indica el año de publicación del artículo.
• Campo ISSN: indica el identificador de la revista aplica el ISBN.
• Campo Número: indica el número del artículo.
• Campo Volumen: indica el volumen del artículo.
127
• Campo Páginas: indica cuales son las páginas.
Tabla Otros_Artículos: esta tabla contiene la información relacionada con los
artículos que no hacen parte las ecuaciones de búsqueda.
• Campo Id_clave: es la identificación del artículo donde se encuentra las siglas
de los autores del artículo.
• Campo Nombre: indica el nombre del artículo.
• Campo Autor: indica los autores del artículo.
• Campo Año: indica el año de publicación del artículo.
• Campo Institución: indica cual es la institución del artículo, ejemplo
universidad, conferencias, colegios.
• Campo Páginas: indica cuales son las páginas.
Tabla Revista: esta tabla contiene la información relacionada con la revista
de los artículos.
• Campo ISSN: indica el número de la revista y permite la relación con la tabla
Artículos.
• Campo Nombre: indica el nombre de la revista.
• Campo Factor_Impacto: indica la medición importancia de la revista.
• Campo Publicación: indica la base de búsqueda donde se encuentra
publicado el artículo.
Tabla Atributos: esta tabla contiene la información relacionada con los
atributos de calidad usabilidad y correspondencia didáctica encontrada en los
artículos.
• Campo id_clave: permite la relación con la tabla Artículos y Otros_Articulos.
• Campo id_atributo: se encuentra las siglas de los autores del artículo más la
identificación de ‘An’, donde n es el número de atributo.
• Campo Nombre_ atributo: indica el nombre del atributo.
• Campo Definición: indica cual es la descripción que presenta el artículo sobre
el atributo.
• Campo Caracteristica de evaluación: indica que se debe evaluar en el
atributo.
Tabla Métricas: esta tabla contiene la información de las métricas que se
relacionan con los atributos de calidad usabilidad y correspondencia didáctica
encontrada en los artículos.
• Campo Id_atributo: permite la relación de la tabla métricas con la tabla
atributos.
• Campo Id_métrica: se encuentra las siglas de los autores del artículo más la
identificación de ‘Mn’, donde n es el número de la métrica.
128
• Campo Nombre_métrica: indica el nombre de la métrica.
la métrica.
Tabla Criterios: esta tabla contiene la información de los criterios que se
relacionan con las métricas encontradas en los artículos.
• Campo Id_métrica: permite la relación de la tabla métricas con la tabla
criterios.
• Campo Id_criterio: se encuentra las siglas de los autores del artículo más la
identificación de ‘Cn’, donde n es el número del criterio.
• Campo Nombre_criterio: indica el nombre de los criterios.
los criterios.
9.1.2. Correlación de modelos preexistentes: Se realiza un análisis de la
información identificada de métricas que son comunes dentro de los modelos
revisados para los atributos de usabilidad y correspondencia didáctica.
Cruce de información usabilidad vs métricas de modelos revisados. Se
realiza una tabla donde se encuentran los modelos revisados con las métricas
asociadas a la usabilidad identificadas y se analiza cuáles son las métricas
comunes.
Tabla 58. Relación de atributo usabilidad vs métricas de modelos.
129
Tabla 59. Relación de atributo usabilidad vs métricas de modelos (continuación).
Cruce de información correspondencia didáctica vs métricas de modelos
revisados. Se realiza una tabla donde se encuentran los modelos revisados con
las métricas asociadas a la correspondencia didáctica identificadas y se analiza
cuáles son las métricas comunes.
Tabla 60. Relación de atributo correspondencia didáctica vs métricas de modelos.
Determinación de métricas y criterios de usabilidad generales. Después
de haber realizado el cruce de información de las métricas comunes de la
usabilidad, se procede a determinar cuáles son las métricas generales que
130
permitan agrupar las comunes. Con las métricas generales se procede a
determinar los criterios generales de permiten realizar la medición de la usabilidad
en el software lúdico, en la tabla 61 se observas el conjunto de métricas generales
y con sus respectivos criterios generales.
Tabla 61. Meticas y Criterios generales de usabilidad.
Determinación de métricas y criterios de correspondencia didáctica
generales. Después de haber realizado el cruce de información de las métricas
comunes de la correspondencia didáctica, se procede a determinar cuáles son las
métricas generales que permitan agrupar las comunes. Con las métricas
generales se procede a determinar los criterios generales de permiten realizar la
medición de la correspondencia didáctica en el software lúdico, en la tabla 62 se
observas el conjunto de métricas generales y con sus respectivos criterios
generales.
Tabla 62. Meticas y Criterios generales de correspondencia didáctica.
131
9.2. DESCRIPCIÓN DE MODELO PROPUESTO USCODI (USABILIDAD Y
CORRESPONDENCIA DIDÁCTICA)
El modelo que se propone se basa en la revisión bibliográfica de modelos que
evalúan aplicaciones de enseñanza-aprendizaje en diferentes entornos como
sitios web de aprendizaje5354, entornos virtuales de aprendizaje y enseñanza55,
objetos de aprendizaje 56 y software educativos57,58,59,60,61,62,63,64 estos modelos
determinan diferentes atributos de calidad para su respectiva evaluación, alguno
de estos atributos son usabilidad65, técnicos, funcionales, entre otros basados en
los estándares de calidad de software general, en alguno de estos modelos se
tiene en cuenta los atributos didácticos y pedagógicos, aunque no se les dan una
importancia relevante a la hora de la evaluación de los entornos de aprendizaje66.
El modelo propuesto se enfoca en dar una guía de cómo se debe iniciar la
evaluación de un software lúdico teniendo como atributos claves la usabilidad67 y
la correspondencia didáctica68, teniendo en cuenta los tipos de evaluadores69 que
53
CLAROS, Iván D y COLLAZOS, Cesar A. Propuesta Metodológica para la Evaluación de la Usabilidad en
Sitios Web: Experiencia Colombiana. EN: Interacción (noviembre): Colciencias (Colombia) Proyecto No. 412814-18008 y Proyecto No. 030-2005, 2004, p. 1 – 10.
54
BAHARUDIN, Ismail. et al, Evaluating the usability and acceptance of multimedia web-based education
among children. 2011, p. 46 -49.
55
FERREIRA SZPINIAK, Ariel y SANZ, Cecilia V. MUsa un modelo de evaluación de Entornos virtuales de
enseñanza y aprendizaje. Aplicación a un caso de estudio. Diciembre, 2012: Argentina, no. 8, p 94 – 103.
56
MASSA, Stella Maris y PESADO, Patricia. Evaluación de la usabilidad de un Objeto de Aprendizaje por
estudiantes. Diciembre, 2012: Argentina, no. 8, p 65 – 76.
57
CROZAT, Stéphane: HÛ, Olivier y TRIGANO, Philippe. A Method for Evaluating Multimedia Learning
Software. EN: IEEE International Conference. 7 Jun – 11 Jun, 1999: Florence, vol. 1, p 714 -719.
58
PLAZA, Inmaculada. Proposal of a Quality Model for Educational Software. EN: EAEEIE Annual
Conference. 22 June – 24 June, 2009: Valencia, p. 1 – 6.
59
BEDNARIK, Roman: GERDT, Petri: MIRAFTABI, Ramin y TUKIAINEN, Markku, Development of the TUP
Model - Evaluating Educational Software. EN: Advanced Learning Technologies. 30 Aug – 1 Sept, 2004, p.
699 – 701.
60
Bosco. Facultad de Ingeniería, 2004. 163 p.
61
DÍAZ, Antón, G: PÉREZ, Grimán y MENDOZA, L. Instrumento de evaluación de software educativo bajo un
enfoque sistémico.
62
RODRÍGUEZ GONZÁLEZ, Mayda Agustina: ASTORGA GALARDY, Pedro y CHE SOLER, Justo. Modelo
Para La Evaluación Del Impacto Del Software Educativo. EN: XIV Congreso Internacional de Informática en la
Educación. Cuba, 2010, p 1 – 9.
63
NARANJO SÁNCHEZ, Bertha Alice. Calidad del software educativo: Metodología de Evaluación de software
educativo para determinar el que cumple con las especificaciones basadas en estándares internacionales.
Virtual educa foro de encuentro.
64
GEORGIADOU ELISSAVET, Anastasios A. Economides: Evaluation factors of educational software. 2010.
p. 113-116.
65
SQUIRES, David and PREECE, Jenny. Usability Learning: Evaluating the potential of educational software.
1996. vol. 27. no. 1, p 15 – 22.
66
GERDT, Petri; MIRAFTABI, Ramin and TUKIAINEN, Markku. Evaluating educational software environments.
2002. vol. 1, p. 675-676.
67
GEORGIADOU ELISSAVET, ANASTASIOS A. ECONOMIDES. Evaluation factors of educational software.
2010, p. 113-116.
68
ZULMA, Cataldi. An extended methodology for educational software design: some critical points. 2001. vol.
1, p. 13-18.
69
C. Ardito, et al. An approach to usability evaluation of e-learning applications. 2006. vol. 4, p. 270 -283.
132
se involucran en este proceso y los contextos que son manejados por cada uno.
Por esta razón el modelo está compuesto por tres etapas, que se inicia desde la
identificación del entorno y los involucrados, hasta llegar en la respectiva
organización del proceso de evaluación. La primera etapa se encarga de obtener
la información inicial del software lúdico y los evaluadores, la segunda etapa se
encarga de recolectar las métricas y criterios asociados a los atributos claves y la
tercera capa se encarga de realizar una organización estructurada para el proceso
de evaluación, cada etapa tiene actividades secuenciales permitiendo la facilidad
de implementación del modelo propuesto.
9.2.1. Objetivos perseguidos por el modelo USCODI. Los objetivos principales
que se persiguen con este modelo propuesto son los siguientes:
Evaluación múltiple: se centra en la evaluación del juicio de un experto y de
un usuario final.
Estrategia top-down: esta estrategia se basa en determinar capas de
evaluación, que permite evaluar desde lo general para llegar a evaluar lo
particular.
Combinación de métodos: al utilizar una estrategia con capas de evaluación,
esto permite que se utilicen varios métodos como de inspección e indagación.
Importancia de información inicial: es importante saber la información del
software, así mismo como la de los evaluadores por que se define el dominio de la
evaluación y su proceso.
Configuración de contextos: debido a que se realiza una evaluación múltiple
es necesario establecer escenarios desde los diferentes puntos de vista de los
evaluadores y así poder tener una evaluación confiable.
Figura 48. Diagrama de componentes para el modelo propuesto USCODI.
133
9.2.2. Etapas del modelo. A continuación se realiza una explicación de cada una
de las etapas del modelo USCODI.
Etapa 1 - Recolección de información. La recolección es importante, permite
conocer los aspectos, recursos involucrados y su estructura inicial. En esta etapa
se realizan las siguientes actividades:
Actividad 1 - Identificación del entorno del software lúdico. Esta actividad
se encuentran los datos que permiten la caracterización del software lúdico.
incluye información descriptiva, nombre, área en la que será usado, requisitos de
hardware y software, conocimientos previos requeridos para su uso, tipo de
software y algunos criterios iniciales
• Instrumento de recolección de información: se usa una platilla donde se
encuentra una seria de datos, donde el evaluador experto y usuario real deben
diligenciar esta información para estructurar un buen proceso de evaluación del
software lúdico, ver anexo A.
Etapa 2 - Recolección de factores de evaluación. Esta etapa se centra en la
evaluación objetiva del software lúdico, seleccionando con cuidado métricas y
criterios que caracterizan la usabilidad y la correspondencia didáctica de software.
En esta etapa se realizan las siguientes actividades:
Definición de métricas. A partir de la información analizada de cada uno de
los modelos, técnicas e instrumentos se determinan las métricas con sus
correspondientes criterios. Los ítems seleccionados se definen según el criterios
asociado, estos ítem permiten identificar el criterio a medir utilizando un leguaje
formal
Tabla 63. Selección de métricas, criterios e ítems de usabilidad.
134
Tabla 64. Selección de métricas, criterios e ítems de usabilidad (continuación).
Tabla 65. Selección de métricas, criterios e ítems de correspondencia didáctica.
Métricas
Criterio
Ítem
Contenidos
generales
Contenido científico
Contenido socio cultural
e ideológico
Contenido pedagógico
Cuida que la información que presenta sea confiable
(datos exactos. referencias bibliográficas.
Proporciona información complementaria para ayudar a
los
alumnos
que
deseen
profundizar sus conocimientos
El contenido es adecuado para el grupo de usuarios y la
situación pedagógica planteada
Los elementos que se utilizan en el programa son
familiares desde su aspecto cultural con los usuarios
Los marcos socio culturales son comprensibles para el
usuario
Presenta alguna ideología explícita o implícita
Presenta situaciones reales y significativas para el grupo
de alumnos
Es adecuada la utilización del software para la
enseñanza del tema
Los objetivos planteados por el software son adecuados
con respecto a la intención formativa planteada por el
docente
Los objetivos están correctamente formulados
El software permite el aprendizaje de nuevos conceptos
El software permite el aprendizaje de nuevas habilidades
cognitivas
El software permite el aprendizaje de nuevas actitudes o
valores
Los ejercicios propuestos son auto corregibles
Contiene evaluaciones
Posee un sistema de seguimiento
Se utilizan múltiples estrategias de enseñanza:
resúmenes, ilustraciones, señalizaciones, gráficos,
mapas conceptuales. Organizadores textuales
135
Tabla 66. Selección de métricas, criterios e ítems de correspondencia didáctica (continuación).
Métricas
Criterio
Ítem
Organización
Herramientas cognitivas
Tutorización y
evaluación
Actividades
Posee guías para el docente
Posee guías para el alumno
Facilita el aprendizaje del tema
Se presentan variadas actividades: resolución de
problemas, estudio de caso, glosario, mapa conceptual,
etc.
La mayor parte de las actividades se corrigen
adecuadamente de manera automática.
En las actividades no existe posibilidad de que el
estudiante reciba feedback personalizado relativo a la
calidad o corrección de sus respuestas.
Etapa 3: Organización del proceso de evaluación. Esta etapa se encarga
de diseñar la estructura de la evaluación del software lúdico, está compuesta por
capas de evaluación, que inician con el juicio de un experto y termina con la
perspectiva de un usuario final. Cada capa tiene unas actividades asociadas,
estas actividades son comunes para las tres capas, pero su propósito y desarrollo
es diferente. A continuación se describe cada una de las capas:
Capa 1: se enfoca en el juicio de un experto para realizar la evaluación de
aspectos de usabilidad como la interacción del sistema con el usuario, la interfaz
que presenta y la facilidad de uso para realizar las acciones básicas así como
también los aspectos de correspondencia didáctica como contenidos generales y
estructura pedagógica en escenarios planteados en cada aspecto, las actividades
de esta capa son:
• Actividad 1 - Determinar el tipo de evaluador: para realizar la evaluación
general del software lúdico, se necesita la participación de experto.
• Actividad 2 – Definición de método e instrumentos: para realizar la
evaluación del software lúdico se debe definir cuáles son los métodos a utilizar y
sus respectivos instrumentos, teniendo en cuenta que el evaluador es un usuario
final.
- Método evaluación de heurística: permite la guía de los expertos por medio de
los ítems seleccionados, para aportar información sobre los objetivos y diseños
que tiene el software lúdico.
- Método recorrido cognitivo: este método sirve para seleccionar escenarios
importantes a evaluar desde el punto de vista de un evaluador experto.
- Instrumento para la evaluación heurística: Se define como instrumento una
lista de chequeo donde se encuentran los ítems que se van a evaluar, en esta lista
debe ir el tipo de calificación y está enfocada a la ejecución de un experto.
- Instrumento para el recorrido cognitivo: Se define como instrumento casos
de prueba, donde se evalúan recursos claves de la interfaz del software lúdico,
estos escenarios son creados por un usuario experto para ser ejecutados por un
usuario experto.
136
• Actividad 3 - Diseño de instrumentos: en esta actividad se diseña los
instrumentos que se definieron en la actividad anterior.
- Lista de chequeo: Contiene los ítems definidos y sus respectivos valores de
calificación, ver anexo B y C.
- Caso de prueba: Permite guardar los escenarios creados para realizar la
evaluación de recursos importante que se encuentran dentro del software, así se
podrá tener trazabilidad de los errores encontrados, ver anexo D.
• Actividad 4 - Descripción metodología de evaluación: en esta actividad se
debe identificar los evaluadores expertos que van a realizar la prueba, así mismo
el hardware donde se alojara el software lúdico. Si es un evaluador experto pero
no participo en el diseño de los instrumentos se debe realizar una explicación de
estos.
Capa 2. Se enfoca en la perspectiva de un usuario final con contextos
manipulados para realizar la evaluación de aspectos de usabilidad como la
interacción del sistema con el usuario, la interfaz que presenta y la facilidad de uso
para realizar las acciones básicas así como también los aspectos de
correspondencia didáctica como contenidos generales y estructura pedagógica en
entornos controlados y simulados, las actividades de esta capa son:
• Actividad 1 - Determinar el tipo de evaluador: para realizar una evaluación
específica del software lúdico, se necesita la participación de usuarios finales.
final.
- Método recorrido cognitivo: este método sirve para seleccionar escenarios
importantes a evaluar desde el punto de vista de un evaluador experto y
ejecutados por un usuario final, estos usuarios son los alumnos.
- Instrumento para la evaluación heurística: Se define como instrumento una
lista de chequeo donde se encuentran los ítems que se van a evaluar, en esta lista
debe ir el tipo de calificación y está enfocada a la ejecución de un usuario final.
- Instrumento para el recorrido cognitivo: Se define como instrumento casos de
prueba, donde se evalúan recursos claves de la interfaz del software lúdico, estos
escenarios son creados por un usuario experto teniendo en cuenta que son
ejecutados por un usuario final.
- Caso de prueba: Permite guardar los escenarios creados para realizar la
evaluación de recursos importante que se encuentran dentro del software desde la
137
perspectiva del usuario final, así se podrá tener trazabilidad de los errores
encontrados, ver anexo C.
debe identificar los evaluadores que son usuarios finales que van a realizar la
prueba, así mismo el hardware donde se alojara el software lúdico, por ser el
evaluador un usuario final se les debe explicar el instrumento y como deben
realizar la evaluación del software lúdico.
Capa 3. Se enfoca en la perspectiva de un usuario final con contextos reales
para realizar la evaluación de aspectos de usabilidad como la interacción del
sistema con el usuario, la interfaz que presenta y la facilidad de uso para realizar
las acciones básicas así como también los aspectos de correspondencia didáctica
como contenidos generales y estructura pedagógica en contextos reales, las
actividades de esta capa son:
• Actividad 1 - Determinar el tipo de evaluador: para realizar una evaluación
específica del software lúdico, se necesita la participación de usuarios finales.
final.
- Método cuestionario: Se recolecta la información relativa de la iteración de los
usuarios con el software lúdico por medio de preguntas.
- Instrumento para el cuestionario: se define como instrumento una paletilla
donde se encuentran
preguntas asociadas a las métricas y criterios
seleccionados.
- Caso de prueba: permite la recolección de la información, contiene una serie de
preguntas donde se encuentra los valores de calificación, ver anexo F.
debe identificar los evaluadores que son usuarios finales que van a realizar la
prueba, así mismo el hardware donde se alojara el software lúdico, los usuarios
finales realizan sus propios escenarios y deben contestar el cuestionar
suministrado.
• Descripción de roles. Los roles que participan en la evaluación del software
lúdico son los siguientes:
138
- Usuario experto: estos usuarios son los encargados realizar todo el proceso
de evaluación del software, estos son expertos en usabilidad y correspondencia
didáctica.
- Usuario final: estos usuarios son lo que tiene una relación específica con el
software lúdico dentro de su educación, estos usuarios son los alumnos.
Figura 49. Diagrama de las actividades realizadas en el modelo USCODI
139
CONCLUSIONES
Se elaboró una propuesta de un modelo de evaluación de software lúdico
USCODI, que aporta una serie de particularidades para este tipo de software
lúdico. En el modelo se integran actividades para recopilar información del
software, para poder definir el dominio y el proceso de evaluación, se utiliza la
estrategia top-down, la cual permite realizar una evaluación desde lo general hasta
lo particular, se realizan evaluaciones desde la visión del juicio de un experto y de
un usuario final.
Dentro de la perspectiva de calidad del Software Lúdico se analizaron atributos de
usabilidad y criterios pedagógicos, con un tratamiento específico. A través de
estos atributos es posible conocer la valoración de expertos, docentes, estudiantes
o usuarios finales, mediante los distintos criterios propuestos en el desarrollo del
modelo USCODI.
Los instrumentos de evaluación de las propuestas existentes consideran ciertos
criterios generales desde el punto de vista técnico y pedagógico. En esta
investigación se identifican las métricas mínimas a evaluar. En este sentido, se
plantean los aspectos concretos a tener en cuenta a partir de los criterios
definidos.
Para finalizar se deja abierta la posibilidad de mejorar el modelo presentado, ya
que la información plasmada en él, tiene un campo amplio de investigación, donde
es posible ajustar métricas y criterios que sirvan de base para cualquier tipo de
software lúdico. Estos criterios han resultado ser apropiados, permitiendo tanto a
expertos como a estudiantes identificar la calidad del software lúdico evaluado, no
solo de usabilidad sino también vinculados al aspecto pedagógico.
140
BIBLIOGRAFÍA
ABUD FIGUEROA, María Antonieta. MECSE: Conjunto de Métricas para Evaluar
Software Educativo. EN: Repositorio Digital, Instituto Politécnico Nacional [en
línea].
Vol.
39
(2005)
<
http://www.repositoriodigital.ipn.mx/bitstream/handle/123456789/5329/392.pdf?sequence=2> [citado el 2 de febrero del 2013].
ALBA OBESO, María Helena. Metodología de Medición y Evaluación de la
Usabilidad en Sitios Web Educativos. Oviedo, 2005.
ALVA OBESO, María Elena. Metodología de Medición y Evaluación de la
Usabilidad en Sitios Web Educativos. Doctora en Informática. Universidad de
Oviedo. Departamento de Informática, 2005.
APARICIO, Alexandra. Ingeniería de Software. EN: Datateca, Universidad
Nacional
Abierta
y
a
Distancia
[en
línea].
(2012)
<http://datateca.unad.edu.co/contenidos/301404/301404.pdf> [citado el 15 de
marzo del 2013].
BAHARUDIN, Suzana, et al.
Evaluating the usability and acceptance of
multimedia web-based education among children. 2011, p. 46 – 49.
BEDNARIK, Roman: GERDT, Petri: MIRAFTABI, Ramin y TUKIAINEN, Markku,
Development of the TUP Model - Evaluating Educational Software. EN: Advanced
Learning Technologies. 30 Aug – 1 Sept, 2004, p. 699 – 701.
CHOCÓ DÍAZ, Arbey. El uso del software y sus efectos en las prácticas Escolares.
Cauca, 2011.
CLAROS, Iván D y COLLAZOS, Cesar A. Propuesta Metodológica para la
Evaluación de la Usabilidad en Sitios Web: Experiencia Colombiana. EN:
Interacción (noviembre): Colciencias (Colombia) Proyecto No. 4128-14-18008 y
Proyecto No. 030-2005, 2004, p. 1 – 10.
CROZAT, Stéphane; HÛ, Olivier y TRIGANO, Philippe. A Method for Evaluating
Multimedia Learning Software. EN: IEEE International Conference. 7 Jun – 11 Jun,
1999: Florence, vol. 1, p. 714 -719.
CUEVA L, Juan M. Calidad del Software: conferencia, Grupo GIDIS, 21 de
Octubre de 1999. Universidad Nacional de la Pampa.
DÍAZ, Antón; PÉREZ, Grimán y MENDOZA, L. Instrumento de evaluación de
software educativo bajo un enfoque sistémico.
141
FERREIRA SZPINIAK, Ariel y SANZ, Cecilia V. MUsa un modelo de evaluación de
Entornos virtuales de enseñanza y aprendizaje. Aplicación a un caso de estudio.
Diciembre, 2012: Argentina, no. 8, p 94 – 103.
FONT, Graciela. Heurísticas de usabilidad para e-learning. Vol. 03 No. 09 Julio
2010, p. 15.
FUNDACIÓN UNIVERSITARIA DEL ÁREA ANDINA. Clases De Modelos
Pedagógicos
[en
línea].
<
http://www.joaquinparis.edu.co/DATA/MODELOS/PAGINAS/RAFAEL.htm#socialist
a> [citado el 23 de marzo 2013].
GEORGIADOU, Elissavet. Economides: Evaluation factors of educational
software. 2010, p. 113-116.
GERDT, Petri, et al. evaluating educational software environments. 2002. Vol. 1, p.
675 – 676.
GRIMÁN, Anna C. Revisiones Sistemáticas: Recomendaciones para un Proceso
Adecuado a la Ingeniería del Software. Madrid: España, 2008.
GUTIÉRREZ CARO, María Angélica., et al. Análisis y revisión de la literatura en el
contexto de proyectos de fin de carrera: Una propuesta.
HERNÁNDEZ B, Víctor E. Un modelo de evaluación de software educativo para la
enseñanza de la Matemática. 2007.
INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. Ergonomic
requirements for office work with visual display terminals (VDTs) - Part 11:
Guidance on usability: ISO, 1998 (ISO/DIS 4241-11).
JUNTA DE ANDALUCÍA. Guía de métodos y técnicas didácticas [en línea]. <
http://www.juntadeandalucia.es/agenciadecalidadsanitaria/acsa_formacion/html/Fic
heros/Guia_de_Metodos_y_Tecnicas_Didacticas.pdf> [citado el 23 de marzo
2013].
LAGE Fernando J., ZUBENKO Yuriy, CATALDI Zulma. An extended methodology
for educational software design: some critical points. 2001. Vol. 1, p. 13-18.
LANZILOTTI, Rosa, et al. ROSSANO. An approach to usability evaluation of elearning applications. 2006 Vol. 4 P. 270 – 283.
MALACRIDA, Juan Ignacio. REVISIÓN Y AGREGACIÓN DE ESTUDIOS
EXPERIMENTALES VINCULADOS A TÉCNICAS DE INSPECCIÓN. Buenos
Aires, 2008, 183 h. Tesis de magister en ingeniera de software (Ingeniero).
Instituto Tecnológico de Buenos Aires. Departamento de ingeniería.
142
MARQUES, Pere. El software educativo, Universidad Autónoma de Barcelona 19
de febrero del 2001.
MARTIN, Roció. Las nuevas tecnologías en la educación. En: Sociedad de la
información MADRID: Fundación AUNA, 2005.
MASSA, Stella Maris y PESADO, Patricia. Evaluación de la usabilidad de un
Objeto de Aprendizaje por estudiantes. Diciembre, 2012: Argentina, no. 8, p. 65 –
76.
MASSA, Stella Maris, et al. Métricas de calidad de Objetos de Aprendizaje: una
mirada pedagógica entrelazada con la tecnología. EN: VI Congreso de Tecnología
en Educación y Educación en Tecnología. 2011, p. 1 – 9.
MORGUES F, José A. Obtención de conocimiento empírico sobre la calidad de
Casos de Uso. Valencia, septiembre del 2010, 121 h. Tesis de master.
Universidad Politécnica de Valencia.
NOROL, Hamiza, et al. On line distance learning: Quality characteristics and
usability evaluation. 2010, p. 575 - 579.
NUÑEZ MATUREl, Lissette y RUIZ PEREIRA, Dayamis. Software educativo sobre
temas generales de la
PAIDEIA SUR COLOMBIANA. EDUCACIÓN. Pedagogía y Modelos Pedagógicos
[en
línea].
<
http://www.paideiasurcolombiana.com/articulos/5.-educacion,pedagogia-y.pdf> [citado el 22 de marzo 2013].
PAUR, Alicia Beatriz y SAENZ, Marta Susana. Evaluación de software educativo
mediante variables que califiquen su calidad. Tesina Licenciado en Informática.
Universidad Nacional de la Patagonia San Juan Bosco. Facultad de Ingeniería,
2004.
PLAZA, Inmaculada. Proposal of a Quality Model for Educational Software. EN:
EAEEIE Annual Conference. 22 June – 24 June, 2009: Valencia, p. 1 – 6.
Podología. EN: Revista Cubana de Informática Médica [en línea]. No. 24 (2011) <
http://www.rcim.sld.cu/revista_24/articulo_pdf/podologia.pdf> [citado el 7 de
febrero del 2013].
PULIDO GRANADOS, Elkin René y MEDINA GARCÍA, Víctor Hugo. Modelo de
medición de usabilidad. 2008. Vol. 12 no. 1, p. 15.
RODRÍGUEZ GONZÁLEZ, Mayda Agustina: ASTORGA GALARDY, Pedro y CHE
SOLER, Justo. Modelo Para La Evaluación Del Impacto Del Software Educativo.
EN: XIV Congreso Internacional de Informática en la Educación. Cuba. 2010, p. 1
– 9.
143
SÁNCHEZ J, Construyendo y Aprendiendo con el Computador. 1995.
SQUIRES, David y PREECE, Jenny. Usability and learning: Evaluating the
potential of educational software. 1996. Vol. 27. no. 1, p. 15 – 22.
UCSS.
Técnicas
e
instrumentos
de
evaluación
[en
línea].<http://190.254.1.202/ingenieria/DIPLOMADO%20DOCENCIA%20UNIVERS
ITARIA/Educacion%20Superior/Eval_Competencia2.pdf> [citado el 20 de marzo
del 2013].
UNIVERSIDAD DE VALLADOLID, Departamento de informática. El Proceso
Enseñanza-Aprendizaje
[en
línea].
<
http://www.infor.uva.es/~descuder/docencia/pd/node24.html> [citado el 20 de
marzo del 2013].
UNIVERSITAT DE LLEIDA. Estudio sobre Evaluación de la Usabilidad Móvil y
Propuesta de un Método para Test de Usabilidad Cuantitativos basado en
Técnicas
de
Eyetracking
[en
línea].
<
http://www.recercat.net/bitstream/handle/2072/209215/ccuadrats_Parte1.pdf?sequ
ence=7> [citado el 15 de abril de 2013].
YTURRALDE, Ernesto Worldwide Inc. Training & Consulting. Metodologías
aplicadas [en línea]. <http://www.yturralde.com/metodologias.htm> [citado el 20
marzo del 2013].
ZHENGYI, Chai; YUJUAN, Zhao y SIFENG, Zhu. The research on usability
evaluation of e-learning systems. 2008, p. 424 – 427.
144
ANEXO A. PLANTILLA DE RECOLECCIÓN DE INFORMACIÓN.
Identificación del software lúdico
(completar datos)
Nombre del software
Descripción del software lúdico
Materia donde se usara el software
lúdico
Área
Conocimientos
previos
que
se
necesitan para manipular el software
lúdico
Criterios del software lúdico
(completar datos y subrayar lo
ítems)
1. Tipo de programa
Tutoriales - base de datos – simuladores –
constructores- programa de dibujos – juego didáctico.
2. Estrategia didáctica
Autoaprendizaje
–
Aprendizaje
Aprendizaje colaborativo
3. Contenidos
Actitudes – conceptos – hechos – principios –
procedimientos.
4. Habilidades cognitivas
Descriptivas – analíticas – criticas – creativas –
observación.
5. Procedimientos estratégicos
Organizativos – regulativos – repetitivos.
6. Recursos didácticos utilizados Materiales didácticos
Manuales
didácticas
mapas
cuadros
películas
preguntas
Técnicas de grupo
Modalidades
información
7. Forma de interactuar con el
programa
interactivo
–
guías
– gráficos –
conceptuales,
sinópticos,
y
video.
Presentaciones
Comunicación
de
–
–
Seminarios – talleres –
conferencias - actividades
de autoevaluación
A distancia – individual – grupal.
Información técnica
(subrayar lo
ítems)
Sistema operativo
Linux – Windows - Mac
Requisitos de hardware
Cd – DVD – impresora – internet – sonido.
145
ANEXO B. CHECKLIST DE EVALUACIÓN DE USABILIDAD.
CÓDIGO
ÍTEM
VALOR
FI.01
La instalación del programa es
sencilla,
transparente,
con
instrucciones fáciles de seguir.
FAFO.01
Se informa el resultado de la
acciones.
FAFO.02
Se presenta los mensajes de
éxito de forma clara.
FAFO.03
Se presenta los mensajes de
error de forma clara.
FAFO.04
Se diferencian mensajes de error
y exitosos fácilmente.
FAFO.05
Cuando se produce un error, se
informa de forma clara y no
alarmista al usuario de lo
ocurrido y de cómo solucionar el
problema.
FAFO.06
Si existen tareas de varios pasos,
se indica al usuario en cual esta
y
cuanto falta para completar la
tarea.
SA.01
El enlace a la sección de Ayuda
está colocado en una zona
visible y estándar.
SA.02
Fácil acceso y retorno al o del
sistema de ayuda.
SA.03
Se ofrece ayuda contextual en
tareas complejas.
SA.04
La búsqueda si es necesaria se
encuentra dentro de la sección
ayuda y está en una zona visible.
SA.05
La documentación que se
encuentra
es
suficiente
y
consistente para realizar las
acciones dentro del aplicativo.
DI.01
Los iconos son entendibles.
DI.02
Las acciones constantes
acciones
se
repiten
situaciones similares.
DI.03
Se usa una misma terminología
en avisos, menús, y pantallas de
ayuda.
DI.04
Las acciones que son constantes
que se emplean en todas las
partes del software actúan de la
de
en
146
OBSERVACIONES
misma forma.
DI.05
El diseño cumple con normas y
convenciones
usuales
de
software en cuanto a íconos,
botones, imágenes, ventanas y
diálogos
DI.06
La presentación del texto en
pantalla es adecuada para la
información transmitida.
DI.07
El tamaño y color de la letra
permite leer con facilidad.
DI.08
Las palabras importantes dentro
de un párrafo están resaltadas
(por ejemplo, con el uso de
letras
mayúsculas,
el uso de hipertextos, el uso de
negritas, etc.).
DI.09
La combinación de colores es
variada, agradable y adecuada
para la población estudiantil
prevista.
DI.10
La cantidad de colores en la
pantalla es adecuada para el tipo
de información que contiene
DI.11
Hay suficiente contraste entre
los
colores
del
texto
o
ilustraciones y el color del fondo.
DI.12
Los videos proporcionan algún
tipo de valor añadido.
DI.13
Se le dan a los colores las
connotaciones
estándares
(ejemplo: rojo para parar o
peligro).
DI.14
Los
gráficos
están
apropiadamente posicionados en
la pantalla.
DI.15
Los gráficos y efectos visuales
ayudan
a
entender
los
contenidos
DI.16
El usuario tiene todo el control
sobre la interfaz.
DI.17
Existe un vínculo que permite
volver al inicio o retroceder en
una acción del aplicativo.
EN.01
Se presenta un mapa de
navegación con una organización
jerárquica de las partes que lo
componen,
relacionadas a través de vínculos
asociativos que las enlazan,
permitiendo acceder bien a los
147
contenidos, actividades, niveles y
prestaciones en general.
FU.01
El usuario adquiere las destrezas
necesarias para usar el software
educativo en el transcurso de un
lapso de tiempo.
FU.02
El software es fácil de usar para
la población prevista.
FU.03
Las funcionalidades del sistema
son fáciles de ubicar.
FU.04
El programa permite que el
usuario corrija la respuesta antes
de que ésta sea aceptada por el
programa.
FU.05
El
usuario
adquiere
los
conocimientos necesarios para
realizar futuras acciones en el
software.
Leyenda del valor
Instrucciones
Si
Se cumple totalmente
No
No se cumple en lo absoluto
NA
Ítem no aplicable en el software
•
Evalué cada ítem y coloque el valor en la
columna ‘Valor’ según la leyenda
•
Se pude colocar observación si lo desea
148
ANEXO C. CHECKLIST DE EVALUACIÓN DE CORRESPONDENCIA
DIDÁCTICA.
CÓDIGO
ÍTEM
CC.01
Cuida que la información
que presenta sea confiable
(datos exactos. referencias
bibliográficas.
CC.02
Proporciona información
complementaria para
ayudar a los alumnos que
deseen
profundizar sus
conocimientos
CC.03
El contenido es adecuado
para el grupo de usuarios y
la situación pedagógica
planteada
CS.01
Los elementos que se
utilizan en el programa son
familiares desde su
aspecto cultural con los
usuarios
CS.02
Los marcos socio
culturales son
comprensibles para el
usuario
CS.03
Presenta alguna ideología
explícita o implícita
CS.04
Presenta situaciones
reales y significativas para
el grupo de alumnos
CP.01
Es adecuada la utilización
del software para la
enseñanza del tema
CP.02
Los objetivos planteados
por el software son
adecuados con respecto a
la intención formativa
planteada por el docente
CP.03
Los objetivos están
correctamente formulados
CP.04
El software permite el
aprendizaje de nuevos
conceptos
CP.05
aprendizaje de nuevas
habilidades cognitivas
VALOR
149
OBSERVACIONES
CP.06
aprendizaje de nuevas
actitudes o valores
CP.07
Los ejercicios propuestos
son auto corregibles
CP.08
Contiene evaluaciones
CP.09
Posee un sistema de
seguimiento
CP.10
Se utilizan múltiples
estrategias de enseñanza:
resúmenes, ilustraciones,
señalizaciones,
gráficos, mapas
conceptuales.
Organizadores textuales
CPS.01
El contenido es relevante
para los objetivos
profesionales o personales
e intereses del estudiante
CPS.02
Hay elementos en el
software que suponen
captar el interés del
alumno pero resultan ser
una distracción que
interfiere con el
aprendizaje
CPS.03
El software está orientado
al desarrollo de
competencias genéricas (
transversales) y/o
especificas
CPS.04
El software propone
diferentes
contenidos/actividades
para cada tipo/nivel de
competencia de alumno
CPS.05
Se propicia el intercambio
con el tutor y/o en forma
grupal.
CPS.06
Se induce a la
participación directa por
parte de los estudiantes en
diversas actividades.
CPS.07
Se fomenta la capacidad
de relacionar conceptos ya
aprendidos con los nuevos
conceptos.
150
CPS.08
Se promueve la creación
de nuevas ideas y la
búsqueda de nuevos
procedimientos
/técnicas/métodos para la
resolución de problemas o
tareas.
HC.01
Posee guías para el
docente
AC.01
Posee guías para el
alumno
AC.02
Facilita el aprendizaje del
tema
AC.03
Se presentan variadas
actividades: resolución de
problemas, estudio de
caso, glosario, mapa
conceptual, etc.
AC.04
La mayor parte de las
actividades se corrigen
adecuadamente de
manera automática.
AC.05
En las actividades no
existe posibilidad de que el
estudiante reciba feedback
personalizado relativo a la
calidad o corrección de sus
respuestas.
Leyenda del valor
Instrucciones
Si
Se cumple totalmente
No
No se cumple en lo absoluto
NA
Ítem no aplicable en el software
•
Evalué cada ítem y coloque el valor en la columna
‘Valor’ según la leyenda
•
Se pude colocar observación si lo desea
151
ANEXO D. CASOS DE PRUEBA DE ESCENARIOS.
Nombre
Descripción
Precondiciones
Numero de paso
Resultado
Descripción de pasos
Resultado esperado
Pasado
Fallado
Observaciones
Tipo de resultado
Descripción de resultado
Pasado
Cumple con todos los resultado esperado
Fallado
No cumple con todos los resultado esperado
No ejecutado
No aplica
152
No ejecutado
ANEXO E. CUESTIONARIO DE USUARIO REAL.
Preguntas
Acuerdo
Desacuerdo
Indiferente
El nivel de dificultad de los contenidos fue elevado
para mis conocimientos previos.
El material teórico me ayudó a comprender los
conceptos explicados.
Las actividades han sido claras y significativas para
mi aprendizaje.
El sistema informa sobre mi progreso.
El sistema informa sobre mis equivocaciones
Las pistas sobre los errores cometidos son inútiles.
El texto es conciso y preciso.
Los títulos son inadecuados
Las imágenes empleadas me ayudaron a aclarar los
contenidos.
Me encontré perdido cuando recorría el software, no
sabía dónde me encontraba.
Los videos y las animaciones me ayudaron a aclarar
los contenidos.
La información está mal organizada.
En general, los colores y el diseño de todo el recurso
son adecuados.
Puedo modificar la interfaz a mi gusto
Puedes realizar actividades grupales
Tengo variedades de actividades
Instrucciones
Marcar con una X una opción de cada ítem, si estás de acuerdo,
en desacuerdo o es indiferente
153
ANEXO F. CASOS DE PRUEBA DE ESCENARIOS SIMULADOS.
154

MODELO DE EVALUACIÓ N DE USABILIDAD Y

Transcripción

Documentos relacionados

Mario A Moreno Rocha, (MSc in Information Technology, University

“La usabilidad es el diseño de todos los conteni

Producto Digital

Criterios generales de evaluación de la Fase 1: Requisitos Cumple