Calidad de Datos

Implementando Evaluaciones de
Impacto – IPA/J-PAL
Taller de Evaluaciones de
Impacto SIEF
L i m a
M a r z o
,
P e r ú
1 7 ,
2 0 1 5
NUESTRA
MISIÓN
Descubrir y promover soluciones
efectivas para problemas de
pobreza a nivel global
NUESTRA VISIÓN
Más evidencia, menos
pobreza
Áreas de trabajo
Desarrollando
capacidades
Investigación
Lecciones
de política
IPA y JPAL – Enfoque de Investigación
IPA generates insights on what works and what doesn’t through
randomized evaluations.
We aim to ensure that those findings will be useful to, and used
by, practitioners and policymakers.
We canuse this approach to generate actionable insights on
products and product-linked interventions.
Extensa Colaboración
Académicos
ej.. MIT, Harvard,
Yale, Universidad del
Pacifico
Agencias
Gubernamentales
ej.. Ministerio de Educación,
Perú & Ministerio de
Agricultura, Paraguay
Proveedores
de Servicios
ej.. CARE, Oxfam,
ONGs y entidades
privadas locales
Donantes
e.g. BM, BID, Ford,
Gates
Más de 500 Proyectos en 54
Países
Sectores: Salud, Educación, Agricultura,
Finanzas, Gobernanza, Protección Social
Medición y
levantamiento de datos
Juan Manuel Agramonte Hernández
Gerente de Políticas
JPAL LAC
Objetivos
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
Después de esta sesión los participantes serán
capaces de:
 Distinguir distintas fuentes de datos para la
evaluación, y entre distintos modelos de
medición.
 Conocer algunas de las dificultades que deben
considerarse al diseñar cuestionarios.
 Conocer las principales etapas de la
planificación del proceso de recolección,
monitoreo y digitación de datos.
 Desarrollar Términos de Referencia (TdRs) que
permitan contratar un levantamiento de datos
riguroso.
9
Esquema de presentación
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
1. Datos primarios y datos secundarios
2. Medición formativa y medición
reflectiva
3. Diseño de cuestionarios
4. Modos de aplicación
5. Aseguramiento de calidad en el
levantamiento
6. Consejos para subcontratar el
levantamiento de datos
10
Medición: Introducción
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
 ¿Qué queremos/necesitamos medir?
Un buen punto de partida: la Teoría de
Cambio.
Indicadores de procesos vs indicadores de
resultados.
Variables correlacionadas con el resultado.
 ¿De dónde obtenemos los datos?
 ¿Cómo medimos conceptos abstractos?
 ¿Cómo diseñar y testear cuestionarios?
11
1. Datos primarios vs
datos secundarios
12
Datos primarios vs secundarios
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
 Datos secundarios: datos ya existentes
procedentes de encuestas de la DGEEC u otros
(Censo, encuestas nacionales…) o extraídos de
registros administrativos.
 Datos primarios: recolecta tus propios datos
mediante encuestas, test académicos, mediciones
físicas o biológicas, observación directa, etc.
13
Datos secundarios
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
 Registros administrativos:
Originalmente recolectados por gobiernos u otros, con
fines de focalización, gestión o rendición de cuentas.
• Registros educativos, médicos, electorales, de consumo
eléctrico, de la seguridad social; datos de monitoreo de
otros programas existentes…
Suelen cubrir a toda su población, pero pueden carecer
de información relevante.
Bajo costo, pero no siempre fiables, accesibles e
identificables.
• Si no podemos identificar a los individuos, no podremos saber
qué datos corresponden al grupo de control y qué datos al grupo
tratado.
14
Datos secundarios
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
 Encuestas:
Datos obtenidos mediante grandes encuestas del
Estado, con fines amplios de caracterización:
• Encuesta Permanente de Hogares (EPH)
• Encuesta Continua de Empleo (ECE)
• Censo Económico Nacional (CEN)
Suelen recolectar información muy detallada sobre
individuos que constituyen una muestra
representativa
• Pueden ser muy útiles para evaluar necesidades y
contexto.
• Utilidad limitada para evaluación de impacto: tamaño
muestral; relevancia de los indicadores; datos
anonimizados.
15
Datos secundarios
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
¿Qué datos
secundarios podrían
ser útiles para mi
evaluación?
16
Datos primarios
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
 Necesitaremos crear los datos nosotros mismos
cuando:
 No hay datos secundarios o estos no son fiables.
 No proporcionan el tamaño muestral suficiente.
 No contienen las variables necesarias o no permiten
identificar a los beneficiarios.
 El instrumento más frecuente para recolectar datos
primarios es la encuesta.
 Otros instrumentos: test educativos, test psicométricos,
mediciones físicas o biológicas, datos de navegación
web…
17
Operacionalización e Índices
Fuentes de datos
Concepto
Medición
Definición
Accesibilidad Mayor o menor
a los servicios posibilidad de
de salud
tomar contacto
con los
servicios de
salud para
recibir
asistencia
Cuestionarios
Dimensión
Aplicación
Calidad de datos
Indicadores /
Definición operacional
Accesibilidad Tiempo medido en horas y
geográfica
minutos que se demora una
persona en trasladarse desde
su domicilio al centro de
atención
Accesibilidad Nivel de ingresos del hogar
económica
Subcontratar
Método de recogida
de datos
Datos administrativos
del hospital: se emplea
la dirección particular
para calcular la
distancia y el tiempo.
Pregunta de
cuestionario: “En el
último mes, ¿a cuánto
ascendieron los
ingresos totales en su
hogar? Incluya ingresos
del trabajo, rentas de
capital o ayudas”.
Accesibilidad Puntuación en una prueba de Test estandarizado
cultural
conocimiento sobre los
servicios de salud disponibles
Puntuación en una prueba de Test estandarizado
percepción de la importancia
de los problemas de salud
Posible
índice
Índice de
accesibilidad
a los servicios
de salud que
combina los
indicadores
de
accesibilidad
geográfica,
económica y
cultural.
18
3. Diseño de cuestionarios
19
Diseño de cuestionarios
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
Paso 1: Definición del contenido
Paso 2: Redacción y diseño del cuestionario
Paso 3: Evaluación del cuestionario
20
Paso 1: Contenido
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
 Todas las preguntas deben estar
relacionadas con el estudio y debe estar
claro el porqué han sido incluidas:
Identificadores
Adhesión/cumplimiento del tratamiento
Resultados intermedios y finales
Efectos indirectos
Efectos heterogéneos
Variables de control
21
Paso 2: Diseño
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
 Generalmente no diseñamos un
cuestionario entero desde cero:
Revisa estudios similares y sus cuestionarios
Revisa cuestionarios de instituciones públicas y
multilaterales
 Cuida el diseño gráfico.
 Cuida la redacción de preguntas y
respuestas.
22
Paso 2: Diseño
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
 Evita conceptos ambiguos o técnicos:
¿Vive usted con algún adolescente?
 Existe un medicamente antirretroviral disponible que puede
disminuir la transmisión de HIV a neonatos. Verdadero o
Falso?
 Evita hacer varias preguntas en una:
¿Está de acuerdo con la decisión del gobierno de tomar
medidas en contra de la delincuencia y aumentar el
número de policías en las calles?
 Cuidado con hacer supuestos erróneos:
¿Cuándo fue la última vez que visitó una clínica dental?
23
Paso 2: Diseño
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
 A veces es bueno empezar con preguntas
“interesantes” – no una lista de preguntas
sociodemográficas.
 Hacer las preguntas delicadas una vez que el
encuestador haya logrado cierta confianza con
el encuestado.
 Cuidado con la extensión: es más difícil
desarrollar un cuestionario corto y preciso, que
uno largo y pesado.
24
Paso 3: Evaluación
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
 Comprueba que el cuestionario no presente problemas
de redacción o planteamiento, que puedas detectar
incluso antes de levantar datos:
 Question Appraisal System (QAS) = Sistema de Evaluación
de Preguntas.
 Observa cómo funciona el cuestionario con unas
pocas personas, antes de realizar el piloto de encuesta
o la encuesta final:
 Entrevistas cognitivas: observa a una persona rellenando el
cuestionario, e indaga acerca de cómo lo procesa y responde.
 Si tienes recursos, haz una encuesta piloto antes de
realizar la encuesta final (para detectar problemas
logísticos y de implementación).
25
4. Modos de aplicación de
una encuesta
26
Modos de aplicación de Encuestas
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
 Cara a cara: el entrevistado y el
encuestador están físicamente presentes
durante la entrevista.
 Telefónica: la entrevista es conducida por
un encuestador mediante un aparato
telefónico.
 Auto-administrada (en papel o vía web):
se le entrega/envía el cuestionario al
encuestado, y este lo completa sin
acompañamiento.
27
5. Calidad de Datos
29
Principios de la Calidad de Datos
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
Cabalidad
• Definición: Datos completos levantados para la
totalidad de la población de estudio.
• Violación: Encuestas con preguntas blancas .
Precisión
• Definición: Datos bien especificados capturan
correctamente los parámetros de interés.
• Violación: Preguntas con lenguaje confuso.
Integridad
• Definición: Datos obtenidos según protocolos y
procedimientos bien estructurados.
• Violación: Aplicación de preguntas en orden
incorrecto.
Veracidad
• Definición: Datos que expresan información
verdadera de la población de estudio.
• Violación: Primado, falsificación de datos.
Homogeneidad
• Definición: Datos obtenidos mediante procesos
estandarizados, iguales para toda la población.
• Violación: Encuestas aplicadas distintamente en
ciertas poblaciones.
30
Amenazas a la Calidad de Datos
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
 Diseño: El diseño de evaluación cuenta con
supuestos incorrectos o instrumentos que no son
ajustados al contexto.


Amenazas: Tasas de participación sub-óptimas,
Errores de medición.
Principios amenazados: Cabalidad, Precisión,
Integridad.
 Implementación: Los equipos de levantamiento de
datos violan los protocolos de aplicación.


Amenazas: Procesos Heterogéneos, Falsificación de
datos.
Principios amenazados: Cabalidad, Integridad,
Precisión, Veracidad, Homogeneidad.
31
Amenazas a la Calidad de Datos
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
 Eventos Exógenos:
Imprevistos
que
modifican,
corrompen, o inhabilitan al diseño de
evaluación (ej: desastres naturales,
conflictos sociales)


Amenazas: Implementación
parcial de la intervención,
cancelación del programa.
Principios amenazados:
Cabalidad, Integridad, Precisión,
Homogeneidad.
32
Herramientas de Calidad: Diseño
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
Las amenazas de diseño NO son totalmente
evitables, pero se puede disminuir su efecto:
Revisando los supuestos del diseño y
determinando potenciales valores para
parámetros clave.
Testeando varias estimaciones de parámetros
clave.
Contando con un Plan de Recuperación y
Reemplazos (plan de contingencia).
33
Herramientas de Calidad: Diseño
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
Algunas herramientas prácticas para
implementar los pasos anteriores incluyen:
Hacer un Estudio Piloto!
Monitoreo y Medición para detectar
posibles distorsiones en los parámetros del
diseño.
Pre-testear los instrumentos de medición
(entrevistas cognitivas, grupos focales).
34
Herramientas de Calidad: Implementación
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
A diferencia de las amenazas de diseño, las
amenazas de implementación son casi siempre
evitables. Algunas vías para combatir estas
amenazas son:




Control estricto sobre la planificación e
implementación del levantamiento de datos en
terreno.
Capacitaciones rigurosas de los equipos de
trabajo ¡Idealmente debe participar también el
equipo evaluador!
Evaluación de Procesos del Levantamiento ¿Se
están respetando los protocolos establecidos?
Monitoreo mediante Back-Check y Escrutinio.
35
Herramientas de Calidad: Implementación
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
Algunas herramientas prácticas para
implementar los pasos anteriores incluyen:
 Actividades de Monitoreo del Levantamiento
de Datos en tiempo real.
 Documentación del Levantamiento de Datos.
 Términos de Referencia estrictos.
36
Herramientas de Calidad: Monitoreo
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
Actividades clave de Monitoreo
 Back-Check:
• Re-aplicación de una sección de los
instrumentos.
• Por lo general se escoge aleatoriamente a un
10-15% de los respondentes.
• No se re-aplica necesariamente todo el
instrumento, sino que más bien se aplican
ciertas preguntas que no debiesen variar mucho
en el mediano plazo.
• Por lo general, se realiza vía telefónica.
37
Herramientas de Calidad: Monitoreo
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
Actividades clave de Monitoreo
 Escrutinio:
• Revisión de instrumentos ya aplicados (ex-post).
• Se examinan: Tasas de respuesta, Coherencia,
etc.
• Es recomendable realizar escrutinio a un 100%
de los instrumentos recibidos.
• Se realiza idealmente en el mismo momento en
que se recibe el instrumento completado.
 Evaluación de procesos:
• Observación y registro de procesos durante el
levantamiento de datos.
38
Calidad de Datos
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
Los errores de calidad
son particularmente
graves cuando son
sistemáticos y/o no
distribuidos de igual
manera entre
tratamiento y control
39
6. Consejos prácticos para el
levantamiento de datos
mediante empresas externas
40
¿Por qué trabajar con una empresa
encuestadora externa?
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
Contratar a una empresa encuestadora para
realizar el trabajo de campo de una
evaluación puede ser deseable por varias
razones:




Experiencia
Mayor Escala
Equipos de Trabajo
Redes de contacto
41
¿Qué aspectos son importantes considerar
cuando trabajamos con una empresa externa?
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
Aspectos claves a considerar:
 Elaboración de Términos de Referencia
(TORs)
 Construcción de un
presupuesto Interno (nuestra
base comparativa)
 Análisis del presupuesto
presentado por la empresa.
42
Elaborando Términos de Referencia
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
TORs: Es un documento oficial que
describe y regula explícitamente las
obligaciones y compromisos contraídos
entre el mandante y la empresa
contratada.
43
Elaborando Términos de Referencia
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
Checklist para Términos de Referencia:
Protocolo de Confidencialidad: Acuerdo que estipula que
se resguardará la privacidad e integridad de los datos
levantados, en especial de los datos con información
sensible.
Protocolo de Muestreo: Estipula el Marco Muestral, las
tasas de participación requeridas por el estudio, Instructivos
para la recuperación de muestra (si fuese necesario), etc.
Protocolo de Etapas: Listado de etapas del trabajo en
orden cronológico. Ej: Estudio Piloto -> Línea de Base ->
Encuesta de Salida -> Encuesta de Seguimiento.
Selección y Capacitación del Personal: Especificaciones
para la búsqueda y selección de personal adecuado y la
capacitación del mismo; especificaciones de cargos y
estructura salarial.
44
Elaborando Términos de Referencia
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
Checklist para Términos de Referencia (continuación)
 Protocolo de Aplicación: Instructivo completo para la aplicación de




encuestas y otros instrumentos de medición.
Protocolo de Monitoreo: Instructivo de evaluación de procesos (qué
procesos medir y cómo medirlos), tasas de Back-check requeridas (1015%), tasas y procedimientos para el Escrutinio de instrumentos.
Protocolo de Entregas: Estipula plazos de entrega para las instancias
más relevantes: Informes finales, informes parciales, bases de datos,
reportes de avance, reportes de monitoreo. Es preferible que vaya
organizado por etapas.
Sanciones por Incumplimiento: Estipulación de sanciones que
aplican cuando los plazos de entrega y metas de calidad no se cumplen
dentro de los rangos pactados.
Digitación: Especificaciones de digitación: ¿Digitación doble o simple?,
tasas de error de digitación aceptables (0,1-0,5%), instructivo para
digitación.
45
Buenas Prácticas de Diseño de Presupuestos
Fuentes de datos
Medición
Cuestionarios
Aplicación
Calidad de datos
Subcontratar
Elaborar un presupuesto propio es útil aunque se quiera
contratar a una empresa externa. Entre otras cosas, nos
provee de una base comparativa.
Checklist de Consideraciones y Buenas Prácticas de
Diseño de Presupuestos.
 Etapas: Conformar el presupuesto de evaluación por etapas.
Considerar necesidad de cada etapa por separado.
 Monitoreo: Considerar un monto para el monitoreo de procesos y
calidad, sobre todo si se va a trabajar con una empresa externa.
 Escenarios: Conforme varios escenarios presupuestarios.
Considere potenciales cambios en: parámetros claves del
levantamiento (tasas de respuesta esperadas), estructuras del
trabajo de campo (salarios, personal), número de etapas.
 Imprevistos: Incluya entre un 5-2% del presupuesto total como un
monto para imprevistos.
46
¡Gracias!