Diapositiva 1 - jiisic

Transcripción

JIISIC-CEIS'2015
XI Jornadas Iberoamericanas de Ingeniería de Software e
Ingeniería del Conocimiento y Congreso Ecuatoriano en
Ingeniería de Software
Detección de defectos con y sin apoyo de
un entorno virtual colaborativo inteligente
en cursos introductorios de programación
Dr. Juan Pablo Ucán Pech
Dr. Omar Salvador Gómez Gómez
Dr. Alejandro Arturo Castillo Atoche
Dr. Raúl Antonio Aguilar Vera
4 y 5 de junio, Riobamba, Ecuador
1
Contenido
JIISIC-CEIS'2015
•
•
•
•
•
•
•
Introducción
Trabajos relacionados
Características del EVCI desarrollado
Contexto del experimento
Análisis
Discusión y conclusiones
Referencias
2
Contenido
JIISIC-CEIS'2015
•
•
•
•
•
•
•
Introducción
Análisis
Referencias
3
Introducción
JIISIC-CEIS'2015
Inicio>>Introducción
Perspectiva de las
Tecnologías de la
Información y la
Comunicación (TIC)
línea de
desarrollo
de software
educativo
provocar:
comunicación,
coordinación y
cooperación
área creciente interés en
aprendizaje a través
de Entornos Virtuales
Colaborativos (EVC)
basado en el paradigma de
interacción se deriva
Aprendizaje
Colaborativo
Apoyado por
Computadora (CSCL)
Trabajo Cooperativo
Apoyado por
Computadora (CSCW)
4
Introducción
JIISIC-CEIS'2015
• Tradicionalmente el aprendizaje de la programación en Estudiantes
Universitarios durante los primeros cursos de TI, ha sido un tema complejo
(Moroni & Señas, 2005).
• Dada esta situación, surge el interés principal por observar el proceso de
aprendizaje de la programación a través de un EVC y con ello proponer una
mejora al mismo.
5
Introducción
JIISIC-CEIS'2015
• En este trabajo, se propone un modelo que permita mejorar el proceso de
enseñanza aprendizaje de la programación en estudiantes universitarios
que estén cursando su primer año de estudios en carreras afines a las
Tecnologías de Información y Comunicaciones.
• Aplicación Web llamada: Entorno Virtual Colaborativo Inteligente (EVCI).
6
Introducción
JIISIC-CEIS'2015
• Con respecto a trabajos donde se menciona el uso de técnicas de
inteligencia artificial en entornos colaborativos, en (Magnisalis,
Demetriadis & Karakostas, 2011) se reporta que el desarrollo de estos tipos
de sistemas se han incrementado con la introducción de técnicas de
Inteligencia Artificial y Web 2.0.
7
Introducción
JIISIC-CEIS'2015
• En este proyecto se indaga sobre algunas propuestas en la temática de los
EVC.
• A diferencia de indagaciones previas y relacionadas, en esta investigación
se busca analizar a través de un experimento controlado la efectividad del
aprendizaje en atención a la detección de defectos en programas
instrumentados mediante el uso de un EVCI.
8
Contenido
JIISIC-CEIS'2015
•
•
•
•
•
•
•
Introducción
Análisis
Referencias
9
JIISIC-CEIS'2015
Trabajos
relacionados
Inicio>>Trabajos relacionados
• Diversas investigaciones, han reportado aportaciones interesantes a la
problemática de aprendizaje de la programación.
EclipseGavab (Gallego &
Cortazar, 2009)
HabiPro (Vizcaino,
2002)
JAZZ (Hupfer, Cheng,
Ross & Patterson, 2004)
SABATO(Jiménez, Pavony
& Álvarez, 2008)
VPL (Rodriguez, Rubio &
Hernández, 2010)
• La investigación sobre aprendizaje de la programación en EVC en atención
a defectos comunes de programación es muy limitada.
10
Contenido
JIISIC-CEIS'2015
•
•
•
•
•
•
•
Introducción
Análisis
Referencias
11
JIISIC-CEIS'2015
Entorno Virtual
Colaborativo Inteligente
Inicio>>Características del EVCI desarrollado
• Se tiene que un Entorno Virtual Colaborativo Inteligente (EVCI), consiste
en la combinación de dos áreas de investigación como son los Entornos
Virtuales Colaborativos y la Inteligencia Artificial.
• Definición:
•
Sistema computacional diseñado exprofeso como un espacio conceptual para que
el usuario, en condiciones espacio-temporales distintas, interaccione con otros
usuarios o con elementos del entorno para construir su aprendizaje; el componente
inteligente es un elemento del entorno provisto de una base de conocimientos y de
una estrategia pedagógica basada en la formulación de consultas por parte del
aprendiz (Ucán, 2015).
12
JIISIC-CEIS'2015
Entorno Virtual
• Diagrama con la arquitectura que ha sido diseñada y utilizada para la
implementación del EVCI.
Figura 1. Arquitectura del EVCI.
13
JIISIC-CEIS'2015
Entorno Virtual
• El resto del diseño del EVCI, por su naturaleza y plataforma se realizó
con Ingeniería Web.
• Para el modelado del EVCI, se implementó el método UWE (Koch, Knapp
Zhang & Baumeister, 2008), por sus siglas en inglés: UML Web
Engineering, dicho modelado contempló el análisis de requisitos,
modelo de contenido, de navegación, de representación y de proceso.
14
JIISIC-CEIS'2015
Entorno Virtual
• Prestaciones más significativas del Sistema EVCI correspondientes al EVC
y SE.
Figura 2. Página de inicio del EVCI.
15
JIISIC-CEIS'2015
Prestaciones
del EVCI
Figura 3. Página del EVC.
16
JIISIC-CEIS'2015
Entorno Virtual
Figura 4. Página para la obtención de
la base de conocimiento.
17
JIISIC-CEIS'2015
Entorno Virtual
Figura 5. Resultado con lista de los tipos de errores diferenciales.
18
Contenido
JIISIC-CEIS'2015
•
•
•
•
Introducción
•
•
•
Definición
Diseño
Ejecución
• Análisis
• Discusión y conclusiones
• Referencias
19
Validación empírica
JIISIC-CEIS'2015
Inicio>>Contexto del experimento
• Debido a la disciplina relacionada con esta investigación, se implementó
como referencia el proceso general de experimentación en ingeniería de
software (Gómez, Ucán & Gómez, 2013).
Figura 6. Actividades del proceso de experimentación en IS.
20
Definición
JIISIC-CEIS'2015
Inicio>>Contexto del experimento >>Definición
• Las hipótesis se define de la siguiente manera:
•
•
H0. La efectividad medida como el porcentaje de defectos observados por los
estudiantes (actuando como sujetos experimentales) es igual tanto para los grupos
de sujetos que emplearon el EVCI como para los grupos de sujetos que trabajaron Sin
el EVCI.
H1. La efectividad medida como el porcentaje de defectos observados por los sujetos
es diferente tanto para los grupos de sujetos que trabajaron con el EVCI como para
los grupos de sujetos que trabajaron Sin EVCI.
21
Diseño
JIISIC-CEIS'2015
Inicio>>Contexto del experimento >> Diseño
• En este experimento se empleó un diseño cruzado 2 x 2, dos
tratamientos (sujetos con EVCI [C], y sujetos sin EVCI [S]) en dos
periodos distintos.
• Estructura del diseño experimental:
22
Ejecución
JIISIC-CEIS'2015
Inicio>>Contexto del experimento>>Ejecución
• El estudio se realizó del 18 de noviembre al 9 de diciembre de 2014 en la
Facultad de Matemáticas de la UADY, ubicada en el Anillo Periférico
Norte, Tablaje Cat. 13615, Colonia Chuburná Hidalgo Inn, Mérida
Yucatán, México.
• Los participantes fueron alumnos de tres salones de las carreras de
Ingeniería de Software y Ciencias de la computación inscritos en el
primer semestre correspondiente al semestre agosto- diciembre de
2014.
23
Ejecución
JIISIC-CEIS'2015
Sujetos, tareas y
objetos
Inicio>>Contexto del experimento>>Ejecución
• Sujetos, Tareas y
objetos
el experimento se realizó en
Facultad de
Matemáticas
(UADY)
participaron
se capacitó en
una sesión de 2
horas a cada
salón
46 alumnos de
tres salones
se experimentó con
se formaron
equipos con
máximo 3
alumnos
se concentraron en
dos secuencias:
(C-S, S-C).
se
consideró
18 equipos
sesión 1, secuencia 1
Equipos: 1, 2, 3, 8, 9, 13, 16
y 19, con (C) y 4, 5, 6, 7, 10,
12, 15 y 17 con (S)
sesión 2, secuencia 2
Equipos: 1, 2, 3, 8, 9, 13, 16 y
19 con (S) y 4, 5, 6, 7, 10, 12,
15 y 17 con (C)
dos programas
en C
estos son
Matriz.C, en la
1ª. secuencia
Alumnos.c, en la
2ª. secuencia
24
Contenido
JIISIC-CEIS'2015
•
•
•
•
•
Introducción
Análisis
•
•
Análisis descriptivo
Análisis inferencial
• Discusión y conclusiones
• Referencias
25
Análisis
JIISIC-CEIS'2015
Inicio>>Análisis >>Análisis descriptivo
• Descriptivo:
•
•
Se realizó un análisis exploratorio de las mediciones recolectadas.
En la siguiente tabla se muestra los promedios de la efectividad con respecto a los
tratamientos estudiados.
26
Análisis
JIISIC-CEIS'2015
60
40
20
efectividad
80
• Descriptivo:
100
c
s
Figura 7. Diagrama de cajas con respecto a la efectividad por tratamiento.
27
Análisis
JIISIC-CEIS'2015
• Descriptivo:
•
En la siguiente tabla se muestran los promedios de efectividad con respecto a los dos
programas empleados en las dos sesiones.
28
Análisis
JIISIC-CEIS'2015
60
40
20
efectividad
80
• Descriptivo:
100
1
2
Figura 8. Diagrama de cajas con respecto a la efectividad por periodo.
29
Análisis
JIISIC-CEIS'2015
• Descriptivo:
•
En la siguiente tabla se presentan los promedios de efectividad con respecto a las dos
secuencias empleadas, 1:C-S, 2:S-C.
•
Los promedios en ambas secuencias parecen no tener diferencias sustanciales por lo
que pudiera intuirse la ausencia de efectos remanentes en los tratamientos.
30
Análisis
JIISIC-CEIS'2015
60
40
20
efectividad
80
100
• Descriptivo:
1
2
Figura 9. Diagrama de cajas con respecto a la efectividad por secuencia.
31
Análisis
JIISIC-CEIS'2015
Inicio>>Análisis >>Análisis inferencial
• Infererencial:
•
El modelo estadístico asociado al diseño cruzado utilizado se describe en la ecuación (1).
•
•
•
μ es el promedio general,
αi es el efecto de la secuencia,
bij es el efecto aleatorio para cada sujeto con promedio 0 y varianza σ2b ,
•
•
•
•
γk es el efecto del periodo,
τd es el efecto directo del tratamiento,
λc es el efecto remanente,
eijk es error aleatorio independiente con promedio 0 y varianza σ2 .
32
Análisis
JIISIC-CEIS'2015
• Infererencial:
•
Análisis de Varianza con respecto a Efectividad.
Separación entre el tratamiento y el efecto remanente: 29.2893%.
33
Análisis
JIISIC-CEIS'2015
• Infererencial:
•
Evaluación de la normalidad. Para validar el cumplimiento del supuesto de normalidad en
la realización de inferencias confiables, en el análisis de varianza empleado en la métrica
efectividad, se empleo la prueba estadística de Shapiro-Wilk (Shapiro & Wilk 1965).
34
Contenido
JIISIC-CEIS'2015
•
•
•
•
•
•
•
Introducción
Análisis
Referencias
35
Conclusiones
JIISIC-CEIS'2015
Inicio>>> Discusiones y conclusiones
• Los resultados sugieren una equivalencia en la efectividad en la detección
de defectos tanto para los grupos de estudiantes que trabajaron de forma
colaborativa virtual (con el EVCI) como para aquellos que trabajaron de
manera tradicional (sin el EVCI).
• En cuanto a las limitaciones del estudio con respecto a las amenazas de
validez:
• Interna
• Externa
36
Conclusiones
JIISIC-CEIS'2015
Inicio>>> Discusiones y conclusiones
• Ventajas para observadas tras utilizar el EVCI:
•
•
•
No se requiere que los estudiantes estén en el mismo sitio.
La prestación integrada al EVCI.
El componente inteligente en esta propuesta.
• Como trabajo futuro, se pretende llevar a cabo réplicas de este
experimento con estudiantes universitarios cursando niveles superiores de
la carrera, así como estudiar otras métricas como eficiencia y costo en la
detección de defectos.
37
Contenido
JIISIC-CEIS'2015
•
•
•
•
•
•
•
Introducción
Análisis
Referencias
38
Referencias
JIISIC-CEIS'2015
Inicio>>Referencias
1. Koschmann, T.: Dewey's contribution to the foundations of CSCL research. Computer Supported Collaborative Learning (CSCL),
(2002) 17-22
2. Wilson, P.: Computer supported cooperative work: An introduction. Springer (1991)
3. Moroni, N., Señas, P.: Estrategias para la enseñanza de la programación. En Primeras Jornadas de Educación en Informática y
TICs en Argentina - JITICS 2005 (2005)
4. Magnisalis, I., Demetriadis, S., Karakostas, A.: Adaptive and intelligent systems for collaborative learning support: a review of
the field. Learning Technologies, IEEE Transactions on, 4(1), (2011) 5-20
5. Aguilar-Vera, R., Ucán-Pech J., Gómez O.: Entornos virtuales colaborativos: comparando tecnologías software para el
entrenamiento. Ingeniería de Software e Ingeniería del Conocimiento; Dos Disciplinas Interrelacionadas. Sello Editorial
Universidad de Medellín, 1, (2014) 97-110
6. Vizcaino, A.: Enhancing Collaborative Learning Using a Simulated Student Agent. Tesis Doctoral, Universidad de Castilla-La
Mancha, España (2002)
7. Hupfer, S., Cheng, L.T., Ross, S., Patterson, J.: Introducing Collaboration into an Application Development Environment. In
Proceedings of the 2004 ACM conference on Computer supported cooperative work (2004) 21-24
8. Jiménez, J., Pavony, M., Álvares, A.: Entorno de integración de PBL y CSCL para la enseñanza de algoritmos y programación en
ingeniería. Revista Avances en Sistemas e Informática de la Universidad Nacional de Colombia. Vol. 5 – No. 3. (2008) 189-194
9. Gallego, M., Gortázar, F. EclipseGavab.: Un entorno de desarrollo para la docencia online de la programación. XV Jornadas de
Enseñanza Universitaria de la Informática (XV JENUI), (2009) 501-508. Barcelona
10. Rodríguez, J., Rubio, E., Hernández, Z.: VPL: Laboratorio Virtual de Programación para Moodle. XVI Jornadas de Enseñanza
Universitaria de la Informática (XVI JENUI), (2010) 429-435. Santiago de Compostela
39
Referencias
JIISIC-CEIS'2015
Inicio>>Referencias
11. Ucán-Pech, J.: Aprendizaje de la Programación Asistido con Entornos Virtuales Colaborativos Inteligentes. Tesis Doctoral.
Dirección de Posgrado e Investigación de la Universidad del Sur, Campus Mérida, México (2015)
12. Hernández, G.: Análisis del uso de la inteligencia colaborativa como herramienta para la construcción de bases de
conocimiento consensuadas en procesos de diagnóstico médico. Tesis Doctoral. Universidad Carlos III de Madrid, España (2013)
13. Koch, N, Knapp A., Zhang, G., and Baumeister, H.: UML-based web engineering. En Web Engineering: Modelling and
Implementing Web Applications. Springer London, (2008) 157-191
14. Nieves-Guerreo, C.G., Ucán-Pech, J.P., Menéndez-Domínguez.: V.H. UWE en Sistema de Recomendación de Objetos de
Aprendizaje. Aplicando Ingeniería Web: un método en caso de estudio. Revista Latinoamericana de Ingeniería de Software, 2(3),
pp. 137-143 (2014)
15. Gómez, O.S., Ucán-Pech, J.P., Gómez, G.E.: Aplicación del proceso de experimentación a la ingeniería de software. Abstraction
& Application, vol. 8, (2013). 26–37
16. Kuehl, R.: Design of experiments: statistical principles of research design and analysis. Duxbury/Thomson Learning (2000)
17. Dreyfus, H.L., Dreyfus S.: Mind over Machine. The Power of Human Intuition and Expertise in the Era of the Computer. New
York: Basil Blackwell (1986)
18. Ko, A.: Asking and Answering Questions about the Causes of Software Behavior. Tesis Doctoral. Escuela de Ciencias de la
Computación de la Univ. Carnegie Mellon (2008)
19. Basili, V., Selby, R.: Comparing the effectiveness of software testing strategies. IEEE Transactions on Software Engineering, (12),
(1987) 1278-1296
20. Tukey, J. W. Box-and-Whisker Plots.: Exploratory Data Analysis. Reading, MA: Addison-Wesley, (1977)
40
Referencias
JIISIC-CEIS'2015
Inicio>>Referencias
21. Shapiro, S., Wilk, M.: An analysis of Variance Test for Normality (Complete Samples). Biometrika, Vol. 52, No. 39/4, (1965) 591611
22. Juristo, N., Gómez, O.S.: Replication of software engineering experiments. In Bertrand Meyer and Martin Nordio, editors,
Empirical Software Engineering and Verification. vol. 7007 of Lecture Notes in Computer Science, Springer-Verlag, Berlin (2011).
60-88
41
JIISIC-CEIS'2015
XI Jornadas Iberoamericanas de Ingeniería de Software e
Ingeniería del Conocimiento y Congreso Ecuatoriano en
Ingeniería de Software
Detección de defectos con y sin apoyo de
un entorno virtual colaborativo inteligente
en cursos introductorios de programación
Dr. Juan Pablo Ucán Pech
Dr. Omar Salvador Gómez Gómez
Dr. Alejandro Arturo Castillo Atoche
Dr. Raúl Antonio Aguilar Vera
?
[email protected]
42

Diapositiva 1 - jiisic

Transcripción

Documentos relacionados

dinardap abre nuevo registro mercantil público en riobamba

Les invitamos a visitarnos y formar parte de esta gran oportunidad