Resultats dels Test d`usuaris Abril 2003 - UOC

Transcripción

PROJECTE MUPA – UOC
RESULTATS DEL TEST D’USUARIS
Març – Abril 2003
2
Índex:
1- Metodologia utilitzada en aquesta 4a fase: Test amb usuaris
a) Definició dels perfils d’usuari
b) Disseny de les tasques proposades
c) Dissenys dels formularis PRE i POST test
d) Laboratori d’usabilitat
e) Realització del les tasques
f) Realització dels formularis PRE i POST test
g) Exploració de les dades obtingudes del test
2- Descripció dels resultats per tasques
Anàlisi del Escenari 1: Plana d’inici del Campus Virtual UOC.
Tasca 1: Anar a buscar un missatge nou que ha enviat el professor
dels teus estudis al tauler.
Tasca 2: Has rebut un missatge a la teva bústia de SD amb unes
indicacions concretes. Llegeix-lo i segueix les indicacions.
Anàlisi del Escena ri 2: Les Aules.
Tasca 3: Tenim un dubte o consulta a realitzar a “Suport docència”, on
aniries a fer la consulta?
Tasca 4: Detectes que un alumne ha lliurat totes les PAC’s menys la
darrera, llavors et vols posar en contacte amb el “Tutor” de
l’alumne, com ho faries?
Tasca 5: On buscaries un avís d’alguna
específicament a un consultor
3- Resultats dels formularis PRE i POST test
4- Anàlisi numè ric dels test d’usuaris
novetat
que
afecta
3
1- Metodologia utilitzada en aquesta 4a fase del projecte
a) Definició dels perfils d’usuari
En aquesta fase del projecte, el primer pas va ser la definició dels perfils dels usuaris
que interactuarien amb les maquetes proposades.
Van sorgir dos perfils, els quals especifiquem a continuació:
PERFIL 1: (Novell)
-
Que sigui CONSULTOR.
Cap experiència amb el nou Campus de la UOC (Primer semestre).
Població: Barcelona o rodalies.
PERFIL 2: (Expert)
-
Que sigui CONSULTOR.
Tingui experiència amb el nou Campus de la UOC, i també amb el campus vell.
Població: Barcelona o rodalies.
Com es pot observar, només es van tenir en compte tres variables, com són:
-
El perfils dins la UOC.
L’experiència amb la interfície avaluada.
La variable geogràfica de Població.
El segon pas, va ser convidar als usuaris a la realització dels test. El procés escollit va
ser mitjançant l’email, comunicant als usuaris que el test era voluntari i que no rebrien
cap recompensa econòmica al respecte.
Cal destacar que aquest procés de reclutació d’usuaris no és un bon procés, ja que ha
provocat que la 4a fase del projecte s’hagi retardat més de tres setmanes, i que el
nombre d’usuaris avaluats no sigui el percentatge requerit en un inici que era quatre
usuaris del perfil 2 i tres del perfil 1, ja que al final s’han avaluat sis usuaris del
perfil 2 i una del perfil 1.
Es recomana canviar aquest procés per la següent fase de test d’usuaris.
4
b) Disseny de les tasques proposades
El disseny de les tasques proposades es va realitzar desprès d’analitzar els resultats dels
test Heurístic i en paral·lel amb la implementació de les maquetes utilitzades en el test
d’usuaris.
Els criteris que es van tenir en compte per redactar les tasques proposades van ser els
següents:
-
Tasques que realitzen habitualment els CONSULTORS.
Analitzar les millores (canvis) proposades en les noves maquetes.
Possibles millores proposades pels usuaris, un cop ja han interactuat amb la
maqueta.
El temps possible de cada tasca.
D’aquí van sorgir cinc tasques proposades per a la realització dels test d’usua ris, que
són les següents:
Tasca 1: Anar a buscar un missatge nou, que ha enviat el professor
Tasca 3: Tenim un dubte o consulta a realitzar a “Suport docència”, on
aniries a fer la consulta?
darrera, llavors et vols posar en contacte amb el “Tutor” de
l’alumne, com ho faries?
Tasca 5: On buscaries un avís d’alguna
específicament a un consultor?
novetat
que
afecta
El temps estimat per a la realització de les tasques era:
TASCA/TEMPS TASCA 1
1 minuts
TASCA 2
3 minuts
TASCA 3
1 minuts
TASCA 4
1:30 minuts
TASCA 5
1:30 minuts
5
c) Disseny dels formularis PRE i POST test
c.1) Formulari PRE test d’usuaris
El disseny d’aquest formulari va en relació amb les dades que es volien obtenir,
que en aquest cas només eren dades personals i dades tècniques de l’usuari.
També es va fer firmar un paper a l’usuari on se li comunicava :
LA POLÍTICA DE CONFIDENCIALITAT I PROTECCIÓ DE DADES DE
CARÀCTER PERSONAL FACILITADES PELS USUARIS A LA
UNIVERSITAT OBERTA DE CATALUNYA (UOC).
Degut a que en el test d’usuaris capturem tant vídeo con àudio del usuari.
c.2) Formulari POST test d’usuaris
El disseny d’aquest formulari va en relació amb les dades que es volien obtenir,
que en aquest cas era el grau de satisfacció desprès de la realització del test
d’usuaris.
Aprofitant que teniem a l’usuari, també se li van fer cinc preguntes al respecte de
com li havia semblat el test, i el tracte amb el monitor de test, el resultats
d’aquestes preguntes no sortiran reflectits en aquest document, però serveixen
per anar millorant l’experiència d’usuari.
6
d) Laboratori d’usabilitat
En un inici es va realitzar un document amb les especificacions logístiques i
d’infrastructures necessàries per al muntatge d’un laboratori d’usabilitat. Un cop muntat
el laboratori d’usabilitat adaptat a les limitacions tècniques de la UOC, es va haver de
desmuntar degut a problemes interns de la UOC.
Resumint, els test d’usuaris s’han avaluat amb un sol PC on es recullen les dades en
local. Concretament es capturen:
- La navegació del
(www.techsmith.com ).
-
“Escriptori”
amb
el
programa
Camtasia
Studio
Les representacions facials i la veu de l’usuari amb una WebCam.
Les característiques tècniques del PC són les següents:
HARDWARE:
-
Pentium III (450MHZ).
HD 6 GB.
256 MB RAM.
1 Monitor de 17’’.
1 targeta gràfica.
2 targeta de so.
Altaveus.
Mouse + Teclat.
Disquetera.
Lector de CD.
Micròfon de casc.
Webcam amb micròfon intern.
SOFTWARE:
-
Windows 98, Windows XP.
Connexió Intranet UOC.
Drivers Webcam.
Camtasia Studio.
El navegador utilitzat per a la realització del test d’usuaris ha sigut l’Internet Explorer
6.0.
La velocitat de transmissió utilitzada era la xarxa interna UOC.
Tots els test es van realitzar en Català.
Cal remarcar, que van sorgir problemes amb el PC durant la realització del test, ja que al
capturar vídeo i àudio per dos programes diferents consumia masses recursos per un PC
tant limitat.
Es recomana canviar- lo per a la següent fase de test d’usuaris.
7
e) Realització de les tasques
La direcció i monitorització del test la va executar la mateixa persona, el monitor de
test. Això va ser degut com ja s’ha comentat en l’apartat anterior a limitacions
logístiques i d’infrastructures que van reduir el laboratori d’usabilitat a un sol PC.
El monitor de test
És l’encarregat de donar la benvinguda a l’usuari, explicar- li una mica com va el
laboratori i el perquè de la webcam, comentar a l’usuari els objectius del test.
Un cop començat el test, el monitor és l’encarregat d’anar llegint a l’usuari les tasques a
realitzar amb les maquetes i recordar a l’usuari que ha d’anar exp licant tots els passos
que va fent veu alta.
Durant la realització del test, el monitor de test anava apuntat els problemes o
comentaris de l’usuari.
El monitor de test és l’encarregat de analitzar les dades obtingudes dels test d’usuaris,
ajudant-se amb les observacions rebudes de dos o tres observadors.
8
f) Realització dels formularis PRE i POST test
f.1) Formulari PRE test d’usuaris
Aquest formulari es feia omplir a l’usuari abans de la realització de les tasques
amb la maqueta, ja que se li feia firmar “LA POLÍTICA DE
CONFIDENCIALITAT I PROTECCIÓ DE DADES DE CARÀCTER
PERSONAL FACILITADES PELS USUARIS A LA UNIVERSITAT
OBERTA DE CATALUNYA (UOC).”
Se li donava aproximadament cinc minuts per omplir- lo, i se li permetia realitzar
qualsevol pregunta o suggeriment.
f.2) Formulari POST test d’usuaris
Aquest formulari es feia omplir a l’usuari un cop finalitzada la realització de les
tasques amb la maqueta. Se li dona aproximadament cinc minuts per omplir el
formulari, però el temps es pot allargar si es comencen a discutir algun punt del
test, al ser preguntes obertes.
9
g) Exploració de les dades obtingudes al test
Les dades obtingudes en el test d’usuaris són analitzades en dues fases:
1) El monitor de test avalua tota la informació amb el visionat dels vídeos
capturats tant del Escriptori com els vídeos capturats de la webcam amb
l’ajuda del programa Usability Logger (http://www.usabletools.com/ ).
2) Es facilita les dades a 2 o 3 observadors , que han de generar un informe
segons a les seves observacions.
Els observadors encarregats de generar aquests informes han estat:
?
Enric Mor Pera :
Professor i expert en HCI.
Email: [email protected]
?
Elisabet Prats Palop:
Experta en contingut.
Departament: Atenció a l’estudiant.
Email: [email protected]
10
2- Descripció dels resultats per tasques
Anàlisi del Escenari 1 : Plana d’inici del Campus Virtual UOC.
Se’ls hi demana als usuaris que naveguin una mica per la plana d’inici i comentin si
troben algun canvi respecte a la seva plana d’inici.
Accés directe a la SALA:
Tots es donen conta de que s’ha afegit un accés directe a la SALA a la part central de la
plana d’inici.
Quatre dels sis usuaris del perfil 2(expert) coneixien el concepte de SALA i l’havien fet
servir. Els altres dos usuaris del perfil 2 i l’únic de perfil 1(novell) no l’havien vist
abans.
Personalització de les novetats i notícies pel perfil CONSULTOR:
En aquest primer anàlisi, cap dels usuaris s’en dona conte del canvi de les novetats i
notícies personalitzades pel perfil CONSULTOR. Tot i que tots fan scroll de la pàgina
d’inici.
Conclusions de l’anàlisi del Escenari 1:
Tots creuen que l’ accés directe a la SALA pot ser una bona eina per posar en contacte
el professor (coordinador) amb els seus consultors o entre els propis consultors.
Actualment tots realitzen aquesta operació mitjançant la bústia personal o tenen algun
grup de treball creat.
La causa principal de que cap dels usuaris trobi el canvi a les novetats i notícies és degut
a que tots menys un usuari utilitza la resolució de pantalla de 800x600 píxels, això
provoca que no tinguin visió o tinguin poca visió de les novetats i notícies a la plana
d’inici del Campus.
Ho podem observar en la següent imatge:
11
plana d’inici del Campus a 800x600 pí xels.
Rutina de treball al Campus:
Aprofitant que teniem als usuaris a la plana d’inici, se’ls hi va preguntar quina era la
seva rutina de treball dins el Campus.
Quatre dels set usuaris, el primer que fan és anar als accessos directes dels Fòrums,
Taulers, Debats, etc. que es troben a la plana d’inici. “On veuen alguna cosa de color
vermell”, i desprès van a la seva bústia personal a contestar els seus emails.
Hi ha un usuari que prefereix entrar a l’aula i un cop dins contestar tot el que es troba en
color vermell, necessita la consciència de estar dins l’aula.
Hi ha dos usuaris que el primer que fan es contestar la seva bústia personal i desprès els
accessos directes dels Fòrums, Taulers, Debats, etc. que es troben a la plana d’inici.
12
Tasca1 : Anar a buscar un missatge nou que ha enviat el professor
Dels set usuaris, quatre realitzen amb èxit aquesta tasca, tots van destacar la bandereta
vermella com una ajuda per destacar els missatges nous.
Tots van comentar que actualment aquesta tasca la realitzen mitjançant la bústia
personal.
Un usuari va anar a buscar el missatge del professor al tauler de l’aula, però un cop allà,
es va donar conte de que allà no podia ser, perquè és un tauler per l’alumne. Va desistir
en l’intent.
El usuari de perfil 1(novell), va anar a buscar el missatge al grup de treball, perquè és
com treballa ell.
I l’altre usuari que no acaba correctament la tasca, va a buscar el missatge directament a
la seva bústia personal, perquè és com habitualment ho fa.
imatge de l’accés directe a la SALA.
13
Aquesta tasca consistia en llegir un missatge de Suport Docència a la teva bústia
personal, on t’indicava que havies d’utilitzar una aplicació que es trobava dins de
l’Aula, l’aplicació en concret era la de revisió d’examen.
Amb aquesta tasca es volia avaluar dues coses:
a) Si anirien a buscar aquesta aplicació a l’Aula, o per el contrari farien
valer la seva experiència al Campus i anirien directament a Suport
Docència que és on es trobava actualment.
b) Si han aconseguit arribar a l’Aula, a quina pestanya de l’Aula anirien
a buscar l’aplicació.
a) Aconsegueixen ent rar a l’Aula?
Cinc dels set usuaris entenen el missatge de Suport Docència i van directament a l’Aula.
Dels altres dos, un llegeix massa ràpid el missatge i acostumat a anar a Consultoria de
Suport Docència, va allà sense pensar. L’altre al llegir el missatge, diu que ell és
consultor de laboratori i mai ha utilitzat aquesta aplicació.
Cal destacar que l’únic usuari de perfil 1 (novell), no va tenir cap problema en
identificar el email i anar a l’Aula.
b) A quina pestanya de l’Aula van a buscar l’aplicació de revisió d’exàmens?
Per poder comparar tots els usuaris en les mateixes condicions, als dos usuaris que no
van arribar a les aules se’ls hi va fer anar.
Es van provar sis usuaris a l’Aula 2, que és l’aula on es va afegir una nova pestanya de
Consultoria on es van introduir totes les aplicacions que un consultor podria necessitar
dins l’Aula, es va fer així per mantenir la mateixa visió de l’estudiant en les altres
pestanyes.
Es va provar un usuari a l’Aula 1, que és l’aula on es va modificar la pestanya
Avaluació, en ella es van introduir totes les aplicacions que un consultor podria
necessitar dins l’Aula.
Aquest percentatge de sis usuaris en l’Aula 2 i un en l’Aula 1 no es va fer per
casualitat, ja que veient l’evolució dels usuaris amb aquesta tasca es va decidir insistir
més en la segona maqueta.
14
Això queda reflectit en els resultats:
Tots els usuaris van a buscar l’aplicació de revisió d’examen a la pestanya Avaluació.
Dels sis que proven l’Aula 2, tres usuaris al no trobar l’aplicació a Avaluació, busquen
per l’Aula i troben fàcilment la pestanya Consultoria. Els altres tres no la troben i es
senten frustrats.
El usuari que prova l’Aula 1, no té cap problema per trobar l’aplicació dins
d’Avaluació.
imatge de l’Aula 2.
imatge de l’Aula 1.
15
Remarcar en negreta l’opció activa en el període del semestre:
Tots els usuaris que han aconseguit trobar l’aplicació la troben fàcilment ja que està
amb un estil negreta enfront de les altres aplicacions, això facilita molt la cerca.
Conclus ions de la Tasca 2:
Les dificultats trobades pels usuaris de l’Aula 2, són degudes a dos conceptes:
a) Els noms i significat de les pestanyes són massa generals, parlem tant de la
pestanya Avaluació com de la pestanya Consultoria, totes dues abasten
masses conceptes.
b) L’experiència i el record dels usuaris és, que tenen quatre pestanyes, i per això la
cinquena no la veuen, en aquest cas la pestanya Consultoria.
16
Anàlisi del Escenari 2: Les Aules.
Se’ls hi demana als usuaris que naveguin una mica per l’Aula i comentin si troben algun
canvi respecte a la seva Aula.
Enllaç de “Enviar un missatge al SUCD”:
Quatre dels set usuaris troben l’enllaç “Enviar un missatge al SUCD“, que serveix per
enviar una consulta a Suport Docència, i entenen perquè serveix.
Els altres tres, no tenen cap idea del que pot ser. Entre ells el usuari de perfil 1 (novell).
Informació del títol i el número de l’Aula:
Cap del usuaris és capaç de diferenciar en quin número d’Aula està dins de l’Aula.
Només sap si ha clicat a l’Aula 1 o a l’Aula 2. Cap es dona conte de que la informació
del numero de l’Aula es troba en el “Bread Crums”.
imatge del “Bread Crums” de l’Aula 1.
Això pot provocar que un Consultor amb més d’una Aula de la mateixa assignatura,
tingui problemes per diferenciar- les. S’hauria de remarcar o posicionar en un altre lloc
més preferència el número de l’Aula.
Respecte al títol de l’Aula, tots el troben, però hi ha una queixa general de que no es veu
fàcilment, tot i que es troba en una posició preferencial de l’Aula. Aquest problema ja
va sorgir en el Test Heurístic, on es va destacar que la cromàtica utilitzada per
representar el títol de l’Aula no era l’idoni.
imatge del títol de l’Aula 1.
17
Eina de Seguiment de l’Aula:
Aprofitant que teniem als usuaris a l’Aula, vam aprofitar per saber quina opinió tenien
de l’aplicació “Seguiment de l’Aula”.
Dels set usuaris avaluats, sis utilitzen aquesta aplicació amb més o menys regularitat.
Només un usuari de perfil 2 (Expert), no la utilitza perquè no la cone ix.
Dels usuaris que utilitzen aquesta aplicació, tots creuen que és un bon mètode per poder
veure la regularitat dels seus alumnes. Hi ha un cas d’un usuari que comenta que “la
ultima connexió al campus” no hi hauria de ser.
18
Tasca 3 : Tenim un dubte o consulta a realitzar a “Suport docència”,
on aniries a fer la consulta?
Aquesta tasca està relacionada amb el punt anterior.
Quatre dels set usuaris utilitzen l’enllaç “Enviar un missatge al SUCD“, per enviar una
consulta a Suport Docència, i entene n perquè serveix.
Els altres tres, van a Suport Docència, entre ells el usuari de perfil 1 (novell).
imatge de l’enllaç Enviar un missatge al SUD.
Conclusions de la Tasca 3:
Per tenir un radi d’èxit major, s’hauria de buscar un altre expressió per aquest enllaç, ja
que no s’entén que és el “SUCD”.
Tots els usuaris que han entès el que significava, han valorat molt positivament que
s’afegís aquest enllaç dins de l’Aula. Sobretot per als Consultors nous, que són els que
poden tenir més problemes.
19
darrera, llavors et vols posar en contacte amb el “Tutor” de l’alumne,
com ho faries?
Els resultats d’aquesta tasca són força positius, ja que hi ha diferents maneres de trobar
aquesta informació dins del Campus.
Els set usuaris van trobar la informació sense cap problema.
Tres usuaris del perfil 2 (Expert), van trobar la informació utilitzant l’aplicació
“Consulta dels estudiants d’un consultor/a i del seu tutor/a”. Dos d’ells la va n anar a
buscar a la pestanya Consultoria dins de l’Aula 2 que és la que havien avaluat. I l’altre
usuari el va anar a buscar dins de la pestanya Avaluació ja que havia avaluat l’Aula 1.
Els altres quatre, entre ells l’únic usuari de perfil 1 (Novell), van seguir el camí d’anar a
la “Llista de companys de l’Aula” on allà tenen la informació sota la fotografia.
Cal remarcar que aquesta tasca, cinc dels set usuaris ja l’havien fet abans, ja que aquest
cas els hi havia passat. Tots ells però, van deixar clar, que primer es posen en contacte
amb l’alumne personalment per veure que ha passat, pocs han utilitzat el recurs de
parlar amb el tutor de l’alumne.
20
Tasca 5: On buscaries un avís d’alguna novetat que afecta
específicament a un consultor?
Aquesta és la tasca més problemàtica.
Com ja s’ha comentat abans en una primera cerca, ningú troba les notícies situades a la
plana d’inici.
Tots tendeixen a anar a Suport Docència, però no les troben. Se’ls recorda que la plana
d’inici s’ha personalitzat pel perfil consultor. Tres dels usuaris de perfil 2 (Expert)
naveguen per la plana d’inici i troben a novetats i notícies els canvis fets, ja que s’han
afegit les “Novetats Suport Docència” a novetats i notícies. Els altres quatre no les
troben.
Dos d’aquest tres que han trobat les “Novetats Suport Docència”, comenten que
haurien d’estar a la SALA, ja que ells no veuen les notícies amb la resolució que tenen
de 800x600 píxels.
imatge de les Novetats Suport Docència.
21
Conclusions de la Tasca 5:
Degut a la posició que tenen les novetats i noticies dins de la plana d’inici, actualment
seria feina desaprofitada implementar les “Novetats Suport Docència” dins les novetats
i noticies, ja que no són visibles per a la majoria de Consultors.
S’hauria de buscar una nova localització per situar aquestes “Novetats Suport
Docència”, com podria ser dins de la SALA, com ja ha comentat algun usuari.
Si s’optimitzés més la part central de la plana d’inici i les novetats i noticies tindrien un
paper més rellevant i més visible, llavors podria ser una bona localització.
22
3- Resultats dels formularis PRE i POST test
A continuació es mostraran els resultats dels formularis PRE i POST test d’usuaris.
Formulari PRE test:
• Anys d’experiència a la UOC?
USUARI
/ANYS
USUARI USUARI USUARI
1
2
3
8 anys
7 anys
0 anys
USUARI
4
4 anys
USUARI USUARI
5
6
1.5 anys
5 anys
USUARI
7
2.5 anys
• Anys d’experiència amb la interfície avaluada?
USUARI
/ANYS
USUARI
1
1
semestre
USUARI USUARI USUARI USUARI USUARI USUARI
2
3
4
5
6
7
1
1
1
1
1
1
semestre semestre semestre semestre semestre semestre
• Quantes hores al dia utilitzes el Campus Virtual de la UOC?
USUARI
/HORES
USUARI
1
1h:30
minuts
USUARI
2
3-4
hores
USUARI USUARI
3
4
2h:30
1h
minuts
USUARI USUARI
5
6
1h:30
30
minuts
minuts
USUARI
7
1h:30
minuts
• Des d’on et connectes a la UOC (Casa, feina, etc...)?
USUARI
USUARI USUARI USUARI USUARI USUARI USUARI USUARI
/LOCALITZACIÓ
1
2
3
4
5
6
7
Casa,
Casa
Casa,
Casa,
Casa
Casa,
Casa,
feina
feina
feina
feina
feina
23
• Quin tipus de connexió a Internet utilitzes (mòdem, ADSL, cable, etc...)?
USUARI
/CONNEXIÓ
1
2
3
4
5
6
7
Mòdem ADSL Mòdem, Mòdem
Cable
Mòdem, Cable,
ADSL
Cable
ADSL
• Quin sistema operatiu utilitzes (Windows 98, Windows 2000, Windows XP, Linux)?
USUARI
/S.O.
1
2
3
4
5
6
7
Windows Windows Windows Windows Windows Windows Windows
2000
2000
98
98
98
98,
98,
Windows Windows
XP
NT
• Resolució del monitor utilitzada (800x600, 1024x768, 1152x864, etc...)?
USUARI
/RESOLUCIÓ
1
2
3
4
5
6
7
800x600 800x600 800x600 800x600 1024x768 1152x864 800x600
• Navegador utilitzat (Internet Explorer, Netscape, Opera, etc...)?
USUARI
/NAVEGADOR
1
2
3
4
5
6
7
Internet Internet Internet Internet Internet Internet Internet
Explorer Explorer Explorer, Explorer Explorer Explorer Explorer
Netscape
24
Formulari POST test:
1. Que penses de les millores realitzades al nou Campus Virtual de la UOC pel perfil
de Consultor?
a) Accessos directes a les Aules i Sales amb els seus recursos corresponents
(Tauler, Fòrums, Debats, Avaluació Continuada):
USUARI 1: Molt adequat. L’accés a sales pot facilitar la comunicació.
USUARI 2: Em semblen molt oportunes les millores, com ara la Sala.
USUARI 3: Accés directe positiu, molt visual i de fàcil accés.
USUARI 4: Crec que l’accés directe a l’aula és molt útil.
USUARI 5: Molt útil, el faig servir.
USUARI 6: Molt útil, el faig servir.
USUARI 7: Molt positives.
b) Personalització de les Noticiés i Novetats pel perfil Consultor:
USUARI 1: Em sembla bé, pot evitar oblits.
USUARI 2: Correcte, tot i que segons sigui la resolució no es veu.
USUARI 3: Si canviessin el color serien més visuals, menys text.
USUARI 4: És una bona proposta, però a la plana d’inici hi ha massa
informació.
USUARI 5: No les miro.
USUARI 6: Seria útil, però ho desconec.
USUARI 7: Ok.
25
c) Integració de les aplicacions necessàries de Suport Docència a l’Aula:
USUARI 1: Perfecte.
USUARI 2: És una bona proposta.
USUARI 3: Més accessibilitat que a Suport Docència.
USUARI 4: Molt útil per guanyar temps.
USUARI 5: Canvis útils.
USUARI 6: Seria útil.
USUARI 7: No les utilitzo, sóc de laboratori.
d) Millores de la Navegació dins l’Aula (Estils i formats dels enllaços i de
les eines de Navegació):
USUARI 1: No les he percebut gaire.
USUARI 2: Correcte.
USUARI 3: No veig moltes diferències.
USUARI 4: Correcte.
USUARI 5: Important tenir un bon estil.
USUARI 6: No les he percebut gaire.
USUARI 7: Sempre es bo.
2. Per on entres a l’Aula normalment?
a) Accés directe a la plana d’inici.
b) Menú vertical esquerra.
USUARI
/ENTRADA
1
2
3
4
5
6
7
AULA
a
a
a, b
a
a, b
a
a
26
3.
Com t’organitzes per saber que has de fer en cada moment del Semestre?
a) Agenda personal.
b) Calendari de Suport Docència.
c) Notícies de suport Docència.
d) Altres.
Quines?
USUARI
/ORGANITZACIÓ
1
2
3
4
5
6
7
c
a, b
a
c
a
a
a, c
4. Quines eines fas servir normalment per fer el seguiment dels estudiants?
USUARI 1: El registre d’avaluació continuada i el seguiment de l’aula.
USUARI 2: L’eina de seguiment dels estudiants.
USUARI 3: El seguiment de l’aula.
USUARI 4: El registre d’avaluació continuada i anotacions personals.
USUARI 5: Fòrum i aplicació personal.
USUARI 6: Puntualment la de seguiment de l’aula.
USUARI 7: Excel amb resultat de cada PAC.
27
5. Trobes a faltar alguna eina (aplicació) o informació a les Aules o a Suport
docència pel perfil consultors?
USUARI 1: No.
USUARI 2: No.
USUARI 3: No.
USUARI 4: No.
USUARI 5: No.
USUARI 6: No.
USUARI 7: Agenda del Consultor.
6. Com valores aquest procés de personalització del Campus pel perfil Consultor?
USUARI 1: Molt positivament.
USUARI 2: Força positiu.
USUARI 3: Bé.
USUARI 4: Positivament.
USUARI 5: Positiu.
USUARI 6: Útil.
USUARI 7: Molt bé.
28
4- Anàlisi numèric dels test d’usuaris
A continuació es mostraran els resultats del test d’usuaris reflectits numèricament .
Els criteris analitzats quantitativament són els següents:
1- Time on tasks (Temps en cada tasca).
2- Task completion (% de la tasca completada).
3- Categories
Time On Tasks (in seconds)
(Temps en cada tasca)
TASCA 1 TASCA 2
(1 min)
(3 min)
60seg
180seg
TASCA 3
(1min)
60seg
TASCA
4 (1:30
min)
90seg
TASCA 5 Anàlisi del Escenari Anàlisi del Escenari 2 :
(1:30 min) 1 : Plana d'inici del
Les Aules
90seg
Campus Virtual
UOC
Total
USUARI 1
47
268
22
110
100
213
366
1126
USUARI 2
10
320
7
71
137
180
303
1028
USUARI 3
31
254
58
41
48
381
190
1003
USUARI 4
69
353
8
69
124
161
189
973
USUARI 5
24
260
52
125
45
194
165
865
USUARI 6
80
51
9
26
63
131
246
606
USUARI 7
51
175
17
96
79
149
427
994
Total
312
1681
173
538
596
1409
1886
Nota: Els resultats d’aquesta taula s’han de valorar amb mesura, ja que la variable que s’està calculant (el temps), així ho requereix. Hi ha
tasques que poden variar considerablement respecte al temps estimat per ella, això es degut a possibles interrupcions de l’usuari en forma de
preguntes cap al monitor de test.
30
31
MITJA
32
Task Completion (in percentage)
(% de la tasca completada)
TASCA 1
(1 min)
60seg)
TASCA 2 TASCA 3 TASCA
(3 min)
(1min)
4 (1:30
180seg
60seg
min)
90seg
TASCA
5 (1:30 Anàlisi del Escenari 1 Anàlisi del Escenari
: Plana d'inici del
2 : Les Aules
min)
90seg Campus Virtual UOC
Total
USUARI 1
100
0
100
100
0
100
100
500
USUARI 2
100
0
100
100
0
100
100
500
USUARI 3
0
0
0
100
0
100
100
300
USUARI 4
0
0
0
100
0
100
100
300
USUARI 5
100
0
0
100
0
100
100
400
USUARI 6
100
100
100
100
0
100
100
600
USUARI 7
0
0
100
100
0
100
100
400
Total
400
100
400
700
0
700
700
Nota: Com es pot veure en aquesta taula de resultats, només s’han tingut en compte les tasques aconseguides amb un 100% d’èxit completat.
S’ha pres aquesta restricció per poder veure clarament on podíem trobar els problemes d’usabilitat. Els valors d’aquesta taula estan reforçats amb
els resultats qualitatius obtinguts i comentats amb anterioritat.
33
34
MITJA
35
Categories
problema
general
Torna
inici
usuari
parlant
saps on
estàs?
USUARI 1
0
1
5
1
1
20
0
2
30
USUARI 2
0
1
3
2
1
24
0
2
33
USUARI 3
2
2
0
0
1
17
1
0
23
USUARI 4
0
2
3
3
1
24
1
1
35
USUARI 5
0
1
0
0
1
15
1
0
18
USUARI 6
0
1
0
0
1
19
2
0
23
USUARI 7
0
2
1
1
1
26
1
1
33
Total
2
10
12
7
7
145
6
6
Pensant Frustració Llegint
scroll finestra
Total
Nota: Aquestes dades són orientatives, el seu valor dins d’aquest document és informatiu. No podem extreure’n conclusions viables d’elles.
36
Categories
FI DEL DOCUMENT
Realitzat per :
David Rodríguez Gabaldón
[email protected]

Resultats dels Test d`usuaris Abril 2003 - UOC

Transcripción

Documentos relacionados

memoria 2008 - DECCO Internacional

¡buena suerte con sus apuestas!