Diseño de cuestionario
Transcripción
Diseño de cuestionario
Diseño de cuestionario Javier Márquez Peña Errores en encuestas Error de medición. Adivina la edad Error de medición. Adivina la edad Error de medición. Adivina la edad 46 18 26 57 29 Error de medición. Adivina la edad 18 68 19 52 31 Validez y confiabilidad Sistemático Error Aleatorio Sesgo Validez (Bias) (Validity) Variabilidad Confiabilidad (Variability) (Reliability) Algunas causas de errores de medición Preguntas factuales Preguntas de opinión • Definición • Comprensión • Memoria • Deseabilidad social • Balance • Alternativas intermedias • Orden de presentación Diseño de cuestionario Preguntas factuales Ejemplo: Encuestas de victimización ¿Cuántos homicidios ocurrieron en el país el año pasado? ¿Cuántos secuestros ocurrieron en el país el año pasado? ¿Cuántas desapariciones ocurrieron en el país el año pasado? ¿Qué problemas enfrentarías para hacer estas preguntas? Problemas Definición: • ¿Qué es homicidio? • ¿Qué es secuestro? • ¿Qué es desaparición? “Accesibilidad” (Memoria): Telescopeo Informante: La víctima de homicidio, secuestro, o desaparición “puede” no estar presente. Orden de cuestionario “You would expect, and research confirms, that reports about others are generally 10 to 20 percent less accurate tan respondent’s own behavior” Bradburn et al. 2004, p.75 Deseabilidad social: “The effect of the prior inclusion of the attitude questions was, however, to be substantially and significantly increase the reported victimization rates: on averge the rate for personal crimes was around 20 per cent greater and that for property crimes was around 13 per cent greater for the half simple that answered the attitude suplement tahn for the half simple that did not” Homicidio ENVIPE 2014 (INEGI) Desaparición ENVIPE 2014 (INEGI) Secuestro ENVIPE 2014 (INEGI) Secuestro (ENVIPE 2014) Información previa: • Statistics are harder to come by. Reports suggest a world total of 12,500-25,500/year with 3,600/year in Colombia and 3,000/year in Mexico around the year 2000. • CNDH estimaba cerca de 6 mil en 2006 • Alto al secuestro estima 3 mil el año pasado “Pistas” que sugieren que el dato puede ser correcto: • El número de homicidios es cercano al registro oficial (validez). El mismo método se usó para medir secuestros • En varios años consecutivos la ENVIPE ha estimado un número parecido (alrededor de 100 mil secuestros al año) Errores en la medición de secuestro 1. Definir homicidio es más simple que definir secuestro o secuestro exprés • Homicidio debe tener baja tasa de error (todos entienden “lo mataron a propósito”) en comparación con secuestro. 2. Efecto de orden de cuestionario: Es de mal gusto inventar un homicidio. 3. ¿Qué es secuestro o secuestro exprés? • ¿Secuestro virtual? • ¿Robo con extorsión? (La Suprema Corte se ha tenido que pronunciar en estos temas) 4. Una pregunta no da validez a otra. • Piensa en: Consumo de refrescos y aborto 5. Que dos mediciones se parezcan tiene que ver con confiabilidad, no con validez Errores pueden causar sobre-estimación en eventos raros Ejemplo: Tamaño de la población: 80,000,000 Número de secuestros reales: 5,000 Tamaño de muestra de la encuesta: 85,000 entrevistas En una encuesta sin error de medición: El ponderador es 80,000,000/85,000=941.2 La estimación es: 85,000*(5,000/80,000,000)*ponderador=5,000 Incluyamos error de medición. Supongamos que: la probabilidad de falsos negativos (secuestrados que sub-reportan por temor) es 50%. 85,000*(5,000/80,000,000)*0.5*ponderador=2,500 La probabilidad de falsos positivos (encuestados que sobre-reportan por error) es 0.1% 85,000*((80,000,000-5,000)/80,000,000)*.001*ponderador=79,995 La cifra estimada de secuestros sería 2,500+79,995=82,495. Fraseos • ¿Cuántos litros de refresco consumió durante las últimas cuatro semanas? ¿Qué tan a menudo consume refrescos durante una semana normal? • Menos de una vez a la semana • 1 a 3 veces por semana • 4 a 6 veces por semana • 7 o más veces por semana Fraseos • Por favor, enliste todos los departamentos en los que adquirió mercancías en su visita más reciente a Liverpool Por favor dígame si usted realizó o no realizó compras en los siguientes departamentos en su visita más reciente a Liverpool • Ropa para dama (Sí/No) • Ropa para caballero (Sí/No) …. Fraseos En un mes normal, ¿con qué frecuencia compra en tiendas departamentales? • • • • • Nunca Ocasionalmente A veces A menudo Regularmente En un mes normal, ¿con qué frecuencia compra en tiendas departamentales? • • • • Menos de una vez al mes 1 o 2 veces al mes 3 o 4 veces al mes Más de 4 veces al mes Fraseos • ¿Cuál es su gasto mensual per cápita en comida en su hogar? • ¿Cuál es su gasto mensual en comida en su hogar? • ¿Cuántas personas viven en su casa? “Good Excuses: Understanding Who Votes With An Improved Turnout Question” In talking to people about elections, we often find that a lot of people were not able to vote because they weren’t registered, they were sick, or they didn’t have time. How about you–did you vote in the elections this November? • 1. Yes, voted. (35%) • 5. No, didn’t vote. (65%) In talking to people about elections, we often find that a lot of people were not able to vote because they weren’t registered, they were sick, or they didn’t have time. How about you–did you vote in the elections this November? Which of the following statements best describes you: • 1. I did not vote (in the election this November); (12%) • 2. I thought about voting this time but didn’t; (14%) • 3. I usually vote but didn’t this time; (17%) • 4. I am sure I voted. (57%) “Experiments to Reduce the Over-reporting of Voting: A Pipeline to the Truth” Control: In talking to people about elections, we often find that a lot of people were not able to vote because they weren’t registered, they were sick, or they just didn’t have time. Which of the following statements best describes you? • • • • 1. I did not vote (in the election this November); 2. I thought about voting this time but didn’t; 3. I usually vote but didn’t this time; 4. I am sure I voted. Tratamiento 1 • In talking to people about elections, we often find that a lot of people were not able to vote because they weren’t registered, they were sick, or they just didn’t have time. By looking at public records kept by election officials we can get an accurate report of who actually voted in November, and in previous elections. Of course, these public records do not say who you voted for. Part of our study will involve checking these records against the survey reports. Which of the following statements best describes you? Tratamiento 2 • In talking to people about elections, we often find that a lot of people were not able to vote because they weren’t registered, they were sick, or they just didn’t have time. We also sometimes find that people who say they voted actually did not vote. Which of the following statements best describes you? Recomendaciones generales • Aided-recall procedures may be helpful if the major problema is underreporting of behavior • Make the questions as specific as posible: W’s: Who, what, where, when. • The time period of the question should be related to the saliency of the topic: • Periods of a year can be used for highly salient topics (purchase of a new house, birth of a child, serious auto accident) • Periods of a month or less should be used for ítems with low saliency (purchases of clothing and minor household appliances) • Increasing the length of the question by adding memory cues may improve the quality of reporting Ingreso Encuesta Nacional de Ingresos y Gastos de los Hogares 2012 (ENIGH) INGRESO CORRIENTE TOTAL PROMEDIO TRIMESTRAL PER CÁPITA¹ EN DECILES DE PERSONAS SEGÚN AÑO DE LEVANTAMIENTO Y SU COEFICIENTE DE GINI (Precios Constantes 2012) CUADRO 2.3 AÑO DE LEVANTAMIENTO DECILES DE PERSONAS2 2008 2010 2012 10 770 9 713 10 225 I 1 473 1 440 1 542 II 2 700 2 719 2 785 III 3 774 3 708 3 779 IV 4 843 4 655 4 779 V 6 061 5 715 5 832 VI 7 502 7 021 7 104 VII 9 357 8 690 8 775 VIII 12 129 11 146 11 417 IX 17 227 15 549 16 098 X 42 636 36 491 40 141 0.491 0.469 0.481 INGRESO CORRIENTE TOTAL COEFICIENTE DE GINI3 1 2 3 El ingreso per cápita se calcula dividiendo el ingreso del hogar por el número de sus integrantes. Las personas están ordenadas en los deciles de acuerdo con su ingreso corriente total trimestral per cápita. El coeficiente de Gini es una medida de concentración del ingreso: toma valores entre cero y uno. Cuando el valor se acerca a uno, indica que hay mayor concentración del ingreso; en cambio cuando el valor del Gini se acerca a cero la concentración del ingreso es menor. NOTA: Cifras expandidas conforme a las proyecciones de población del CONAPO actualizadas en abril de 2013. FUENTE: INEGI. Nueva construcción de variables de la Encuesta Nacional de Ingresos y Gastos de los Hogares. Año correspondiente. Breve ejercicio ¿Cómo preguntarías el ingreso de una persona en una encuesta? ¿Qué problemas enfrentarías? Diseño de cuestionario Preguntas de opinión Aprobación presidencial Aprobación presidencial Fraseos GEA-ISA En general, ¿usted aprueba o desaprueba la labor realizada por Enrique Peña Nieto como Presidente de la República? Aprueba Desaprueba No sabe Parametría En general, ¿usted aprueba o desaprueba la forma en que el Presidente de la República realiza su trabajo? Aprueba Desaprueba NS/NC Reforma ¿Aprueba o desaprueba la forma como está haciendo su trabajo el presidente? Aprueba Desaprueba NS/NC BGC En general, ¿está usted de acuerdo o en desacuerdo con la manera de gobernar del presidente Enrique Peña Nieto? Acuerdo Acuerdo en parte Desacuerdo en parte Desacuerdo No sabe/No contesta Buendía & Laredo En términos generales, ¿Usted aprueba o reprueba el trabajo que está haciendo Enrique Peña Nieto como Presidente de la República? [Branching:] ¿Mucho o algo? Aprueba mucho Aprueba algo Ni aprueba ni reprueba Reprueba algo Reprueba mucho No introducir sesgos indeseables Considera que los ciudadanos patriotas que viven en este país deben comprar automóviles importados, cuando esto deja sin empleo a sus compatriotas? • Si • No • No sé Cree usted que las personas deben comprar automóviles importados? • Si • No • No sé ¿Preguntas abiertas o cerradas? Qué tema importó más en la elección de 1992 (Bishop, 1995) Closed Open Abortion 11.3 3 Crime 9.8 1 Family values 11.5 0 Gun control 6.5 0.5 Health care reform 9.4 0.5 Taxes 21.5 3.5 Welfare 9.2 0 ¿Preguntas abiertas o cerradas? ¿Por qué compra en Nike Town? “Para comprar zapatos deportivos” “Está mejor ubicada que otras tiendas” “Me la recomendó mi mejor amigo” 1. ¿Qué productos compra en Nike Town? 2. ¿Qué le gusta de Nike en comparación con otras tiendas? 3. ¿Cómo llegó a comprar en Nike Town por primera vez? Ser específicos ¿Considera que la distribución de ¿Cree que siempre hay refrescos refrescos es adecuada? disponibles cuando desea comprarlos? Ser específicos • ¿Qué consideraciones son importantes para usted al seleccionar una tienda departamental? • Al seleccionar una tienda departamental, ¿Qué tan importante es la conveniencia de la ubicación? Ser específicos ¿Le gustaría que el gobierno gaste más en educación? • Sí • No En cuál de las siguientes áreas preferiría que el gobierno gaste más? • Educación • Salud • Seguridad Ser específicos Encuesta ENCUP 2012 Preguntas uni o bi-polares ¿Qué tanto aprueba el trabajo de Enrique Peña Nieto ¿Usted aprueba o reprueba el trabajo que está como Presidente de la República? haciendo Enrique Peña Nieto como Presidente de la • Mucho • Algo • Poco • Nada República? • Reprueba mucho • Reprueba algo • Aprueba algo • Aprueba mucho Preguntas uni o bi-polares Rugg (1941) Do you think the United States should allow public speeches against democracy? (21%) Do you think the United States should forbid public speeches against democracy? (39%) “With this and other studies as a basis, it has become generally accepted practice to use both ends of the implied dimensión to phrase simple unipolar questions; for example, “Do you favor or oppose the flat tax?” Alternativas intermedias The common practice in survey research has often been to omit middle categories explicitly and try to “push” respondents toward one end or the other of a dimensión. Research shows that including a middle alternative does in fact increase the size of that category but does not affect the ratio of “pro” to “con” responses or the size of the “don’t know” category. “We recommend including a middle category unless there are persuasive reasons not to. The addition of the middle category does not usually change the ratio of support to opposition, and the inclusión of the middle category will give as much information about the ratio of general favorableness to unfavorableness as will a question that omits the middle category” Double-barreled questions Considera que Coca-Cola es una bebida ¿Considera que Coca-Cola es una bebida refrescante y deliciosa? deliciosa? ¿Considera que Coca-Cola es una bebida refrescante? Orden de preguntas Experimento al inicio de la sesión (Gelman, 2000) Orden de preguntas General Social Survey (1975) • Taking things all together, how would you describe your marriage? Would you say that your marriage is very happy, pretty happy, or not too happy? • Taking things all together, how would you say things are these days? Would you say that you are very happy, pretty happy, or not too happy? Orden de preguntas General Social Survey (1975) • Responses to the more general general question was affected by the order of the questions, but the specific question on marriage hapiness was not. • Because you may be interested in comparing the answers of general questions to data from other surveys, it is usually best to put a general question first. Escalas (¿cuántas categorías?) Compared with American families in general, would you say your family income is • • • • • far below average, below average, average, averaga, or far above average? (Máximo 5: la categoría intermedia sirve de anchor) Compared with American families in general, would you say your family income is • poor, • fair, • good, or • excellent? (Máximo 4, a menos que se presente tarjeta) Orden de alternativas Qué tema importó más en la elección de 1992 (Bishop, 1995) Listed order Reverse order Health care 24 15 Budget déficit 25 17 Abortion 13 11 Education 12 13 Economy/Jobs 41 44 Environment 4 7 Taxes 12 17 Foreign policy 7 9 Family values 10 20 Escalas numéricas. ¿Pares o nones? • La misma discusión que categoría intermedia ¿Cuántos puntos? ¿5, 7 ó 9? • ¿Qué tanta gradación se requiere para el análisis • Uso de heurísticos: termómetros, calificaciones escolares, etc. • Etiquetas en extremos Preguntas que miden conocimiento • When identifying persons or organizations, avoid overestimates of knowledge by asking for additional information or including fictitious names on the list • Ejemplo: Enero 2012: Ahora le voy a leer una lista de personas. Dígame si usted las conoce o ha oído hablar de ellas Sí conoce No conoce Josefina Vázquez Mota 81 16 Enrique Peña Nieto 93 5 Andrés Manuel López Obrador 92 6 Stefano Mier y Terán 9 71 Diseño de cuestionario Instrumentos Herramientas útiles • Pruebas piloto • Entrevistas cognitivas • Experimentos • Experimentos de lista • Viñetas Cognitive Interviewing Gordon B. Willis Research Triangle Institute 1) COMPREHENSION OF THE QUESTION: a) Question intent: What does the respondent believe the question to be asking? b) Meaning of terms: What do specific words and phrases in the question mean to the respondent? 2) RETRIEVAL FROM MEMORY OF RELEVANT INFORMATION: a) Recallability of information: What types of information does the respondent need to recall in order to answer the question? b) Recall strategy: What type of strategies are used to retrieve information? For example, does the respondent tend to count events by recalling each one individually, or does he/she use an estimation strategy? 3) DECISION PROCESSES: a) Motivation: Does the respondent devote sufficient mental effort to answer the question accurately and thoughtfully? b) Sensitivity/Social Desirability: Does the respondent want to tell the truth? Does he/she say something that makes him/her look "better"? 4) RESPONSE PROCESSES: Mapping the response: Can the respondent match his or her internally generated answer to the response categories given by the survey question? Breve introducción a experimentos de cuestionarios Experimentos de lista Kuklinski, J. H., Cobb, M. D., and Gilens, M. (1997a). Racial attitudes and the New South. Journal of Politics 59, 2, 323 – 349. Now I am going to read you three things that sometimes Now I am going to read you three things that sometimes make people angry or upset. After I read all three, just tell me make people angry or upset. After I read all three, just tell me HOW MANY of them upset you. I don’t want to know which HOW MANY of them upset you. I don’t want to know which ones, just HOW MANY. ones, just HOW MANY. (1) The federal government increasing the tax on gasoline; (1) The federal government increasing the tax on gasoline; (2) Professional athletes getting million-dollar contracts; (2) Professional athletes getting million-dollar contracts; (3) Large corporations polluting the environment (3) Large corporations polluting the environment (4) a black family moving in next door Experimentos de lista Redlawsk, D. P., Tolbert, C. J., and Franko, W. (2010). Voters, emotions, and race in 2008: Obama as the First black president. Political Research Quarterly 63, 4, 875 – 889. Some people will vote for Barack Obama this fall and some people will not. Regardless of your overall feelings toward him, please indicate how many of the following five facts about Obama trouble you when you think about choosing the next president. I SHOULD ADD, TOO, THAT we are not interested in WHICH ONES trouble you, only HOW MANY. Are you ready?" 1. During the primary campaign, he described small-town Pennsylvanians as bitter and said that they cling to guns and religion. 2. He has served in the US Senate only since 2005. 3. He used to be a smoker. 4. He was a member of Jeremiah Wrights Trinity United Church of Christ for 20 years, before he resigned in May of 2008. 5. If elected, he will be the first black president. Experimentos y viñetas Aprobación presidencial La aprobación presidencial es alta en comparación con la intención de voto del partido del Presidente. En marketing, se diría que el customer satisfaction es alto, pero la recompra es menor. The CEO of an automobile manufacturer recently told me, “It gives me a warm feeling to know that satisfaction has improved from 87% to 91%. Now can someone tell me why our old customers are buying from competitors? (Hochman, 1999) Sospechosos: • Agreeing bias (Acquiescense) • Problemas de intercomparabilidad Experimentos y viñetas Aprobación presidencial Face scales: • Reducen problema de comparabilidad. Supuesto de equivalencia: el nivel de la variable en una viñeta es percibida por todos los entrevistados de la misma manera en la misma escala unidimensional, además de errores aleatorios (King et al., 2004) • Estudios en pediatría demuestran su efectividad en sujetos menores de 10 años. 57 Experimentos y viñetas Aprobación presidencial Diseño experimental: • Muestra aleatoria de la población. Diseño polietápico: Selección de conglomerados (muestreo estratificado, sistemático, probabilidad proporcional al tamaño) Selección de hogares (aleatorio-sistemático) Selección de individuos (aleatorio-Tabla de Kisch) • Asignación aleatoria del tratamiento Dos muestras independientes (grupos de control y tratamiento) 58 Experimentos y viñetas Aprobación presidencial GRUPO DE CONTROL GRUPO DE TRATAMIENTO • En términos generales, ¿Usted aprueba o reprueba el trabajo que está haciendo Felipe Calderón como Presidente de la República? ¿Mucho o algo? • Por favor vea esta tarjeta. Dígame qué dibujo describe mejor la opinión que usted tiene del trabajo que está haciendo Felipe Calderón como Presidente de la República 5) Aprueba mucho 4) Aprueba algo 3) Ni aprueba ni reprueba 2) Reprueba algo 1) Reprueba mucho 9) NS/NC 5 4 3 2 1 9) NS/NC 59 Experimentos y viñetas Aprobación presidencial 40 34 Control 26 20 17 11 10 Aprueba mucho Aprueba algo Tratamiento 18 Ni aprueba ni Reprueba algo reprueba 10 10 Reprueba mucho 2.3 1.2 NS/NC 60 Diseño de cuestionario Ejercicio de framing Consultas populares Ejemplos de framing Ejemplos de framing Ejemplos de framing Consulta popular Requisitos: • La pregunta que se proponga para la consulta deberá ser elaborada sin contenidos tendenciosos o juicios de valor y formulada de tal manera que produzca una respuesta categórica en sentido positivo o negativo; y deberá estar relacionada con el tema de la consulta. • Sólo se podrá formular una pregunta en la petición de consulta popular. Revisar: • Recibida la solicitud del Congreso para verificar la constitucionalidad de la petición de consulta popular, la Suprema Corte deberá: • a) Resolver sobre la constitucionalidad de la materia de la consulta popular y revisar que la pregunta derive directamente de la materia de la consulta; no sea tendenciosa o contenga juicios de valor; emplee lenguaje neutro, sencillo y comprensible, y produzca una respuesta categórica en sentido positivo o negativo. • b) Realizar las modificaciones conducentes a la pregunta, a fin de garantizar que la misma sea congruente con la materia de la consulta y cumpla con los criterios enunciados en el inciso anterior. ¿Estás de acuerdo en que la Ley Federal del Trabajo establezca que la Comisión Nacional de los Salarios Mínimos fije un nuevo salario mínimo que cubra todas las necesidades de una familia para garantizar al menos la línea de bienestar determinada por el CONEVAL? ¿Estás de acuerdo con que se modifique la Constitución para que se eliminen 100 de las 200 diputaciones federales plurinominales y las 32 senadurías plurinominales? ¿Estás de acuerdo en que se mantengan las reformas a los artículos 25, 27 y 28 de la Constitución en materia energética? ¿Estás de acuerdo o no en que se otorguen contratos o concesiones a particulares, nacionales o extranjeros, para la explotación del petróleo, el gas, la refinación, la petroquímica y la industria eléctrica? Pregunta Consulta PAN ¿Estás de acuerdo en que la Ley Federal del Trabajo establezca que la Comisión Nacional de los Salarios Mínimos fije un nuevo salario mínimo que cubra todas las necesidades de una familia para garantizar al menos la línea de bienestar determinada por el CONEVAL? Por favor dígame, ¿sabe usted o no sabe …? ¿Qué es el CONEVAL? Sí sabeNC 5% 1% No sabe 94% ¿Estás de acuerdo en que la Ley Federal del Trabajo establezca que la Comisión Nacional de los Salarios Mínimos fije un nuevo salario mínimo que cubra todas las necesidades de una familia para garantizar al menos la línea de bienestar determinada por el CONEVAL? NS/NC 3% No 9% Si 88% Pregunta Consulta PRI ¿Estás de acuerdo con que se modifique la Constitución para que se eliminen 100 de las 200 diputaciones federales plurinominales y las 32 senadurías plurinominales? Por favor dígame, ¿sabe usted o no sabe …? ¿Qué son los diputados y senadores plurinominales? NC 1% Sí sabe 32% No sabe 67% ¿Estás de acuerdo con que se modifique la Constitución para que se eliminen 100 de las 200 diputaciones federales plurinominales y las 32 senadurías plurinominales? NS/NC 5% No 10% Si 85% Pregunta Consulta PRD ¿Estás de acuerdo en que se mantengan las reformas a los artículos 25, 27 y 28 de la Constitución en materia energética? Por favor dígame, ¿sabe usted o no sabe …? ¿Qué dice el artículo 27 de la Constitución? NC 1% Sí sabe 8% No sabe 91% ¿Estás de acuerdo en que se mantengan las reformas a los artículos 25, 27 y 28 de la Constitución en materia energética? Si 33% NS/NC 33% No 34% Pregunta Consulta MORENA ¿Estás de acuerdo o no en que se otorguen contratos o concesiones a particulares, nacionales o extranjeros, para la explotación del petróleo, el gas, la refinación, la petroquímica y la industria eléctrica? ¿Estás de acuerdo o no en que se otorguen contratos o concesiones a particulares, nacionales o extranjeros, para la explotación del petróleo, el gas, la refinación, la petroquímica y la industria eléctrica? NS/NC 3% Si 33% No 64%