• Principal
  • Noticias
  • ¿Qué tan diferentes son las personas que no responden a los encuestadores?

¿Qué tan diferentes son las personas que no responden a los encuestadores?

por Evans Witt y Jonathan Best, Princeton Survey Research Associates


para el Proyecto Pew Internet & American Life

A mediados de 2007, Princeton Survey Research Associates realizó una importante encuesta para el Pew Internet Project y la Universidad de Illinois-Urbana-Champaign sobre cómo las personas resuelven ciertos tipos de problemas.1El financiamiento para esta encuesta fue proporcionado por una agencia federal llamada Instituto de Servicios de Museos y Bibliotecas.2Todas las encuestas respaldadas por el gobierno federal son revisadas por la Oficina de Administración y Presupuesto de la Casa Blanca. En el proceso de evaluación de nuestra encuesta, los funcionarios de la OMB preguntaron si podíamos hacer un trabajo adicional para ver si los que no respondieron a la encuesta inicial eran diferentes de los que sí respondieron. El siguiente artículo extrae los principales hallazgos de ese análisis adicional.

Resumen de resultados

En las últimas dos décadas, la profesión investigadora se ha enfrentado a un número cada vez mayor de estadounidenses que no completan las entrevistas. Los niveles de tal falta de respuesta plantean dudas sobre la representatividad y validez de las encuestas y los datos que proporcionan. El análisis adicional producido a pedido de la Oficina de Administración y Presupuesto (OMB) de la Casa Blanca tenía tres elementos.


En primer lugar, se duplicó el esfuerzo de entrevistar una submuestra de los números de teléfono generados mediante métodos computarizados de marcación aleatoria de dígitos (RDD). RDD es la práctica de los encuestadores para generar resultados a partir de un subconjunto aleatorio y representativo de una población. El diseño original de la encuesta requería un máximo de 10 llamadas a cada número. Seleccionamos 1500 de los números de teléfono que no arrojaron entrevistas completas de la encuesta después de 10 llamadas y los llamamos al menos 20 veces. Los resultados de ese esfuerzo adicional se compararon con los resultados del esfuerzo estándar de 10 llamadas.



En segundo lugar, se llevó a cabo un análisis de los resultados de la encuesta a partir del diseño de base de 10 llamadas segmentando las entrevistas por la cantidad de esfuerzo realmente requerido para obtener resultados.


En tercer lugar, se analizó la muestra total de números de teléfono y el subconjunto que proporcionó entrevistas completadas utilizando el diseño de 10 llamadas para determinar qué tipos de comunidades están subrepresentadas y sobrerrepresentadas en las entrevistas completadas.

Los resultados del análisis encontraron:


    • La duplicación del esfuerzo de entrevistas a 20 llamadas produjo 84 entrevistas adicionales. Los resultados de estas entrevistas de esfuerzo extra variaron sólo ocasional y marginalmente de los resultados del estudio base.
    • El esfuerzo adicional de las entrevistas generó respuestas de aquellos a los que generalmente es más difícil llegar en las encuestas: los adultos más jóvenes, los adultos que trabajan y los que tienen títulos universitarios fueron una parte mayor de las entrevistas completadas del esfuerzo adicional.
    • El análisis de la encuesta original por el nivel de esfuerzo requerido para lograr una entrevista reveló pocas diferencias estadísticamente significativas. En otras palabras, hubo pocas diferencias significativas entre los que fueron contactados en la primera ola de llamadas, en comparación con los que fueron contactados en el noveno o décimo intento de un número de teléfono. El análisis de la muestra completa de RDD y las entrevistas completadas con “esfuerzo extra” por características de la comunidad mostró que las entrevistas son más difíciles de completar en áreas urbanas y más fáciles de completar en áreas rurales. Si bien no parece haber variaciones significativas entre las comunidades según el ingreso familiar promedio, las áreas con poblaciones minoritarias más altas (tanto hispanas como afroamericanas) fueron menos productivas en términos de entrevistas, en paralelo con el hallazgo en las áreas urbanas.

    El problema de la falta de respuesta a la encuesta

    Menos personas responden a las encuestas ahora que en el pasado. Estas fallas para completar las entrevistas son el resultado de una variedad de factores, pero los componentes más importantes son la falta de contacto (es decir, la imposibilidad de comunicarse con una persona en el lugar o número de teléfono designado como parte de la muestra) y la negativa (el resultado de actividades activas o pasivas para evitar completar la encuesta). Por lo tanto, la pregunta: ¿En qué se diferencian las personas que no completaron la encuesta de las que sí?

    Ha habido una variedad de excelentes resúmenes de la investigación sobre la falta de respuesta y el sesgo potencial de la falta de respuesta en las encuestas, el último de los cuales esPublic Opinion Quarterly, Número especial: Sesgo de no respuesta en encuestas de hogares.3losPOQEl número especial incluye un informe sobre el experimento principal más reciente para medir el impacto de un esfuerzo adicional para completar entrevistas telefónicas.4Una característica central de cada uno de estos dos experimentos fue comparar una encuesta RDD estándar completada durante un período de cinco días, con una encuesta RDD utilizando el mismo cuestionario, el mismo diseño de muestra, la casa de campo de muestra pero un período de llamada que se extendió por más de seis meses. PSRAI participó en cada uno de estos experimentos. Con base en esos modelos, este experimento fue diseñado con los tres elementos descritos en el resumen anterior.


    Análisis de esfuerzo básico 1: El impacto del esfuerzo de entrevista

    Se calculó una variable de tres categorías para ayudar en el análisis de la cantidad de esfuerzo que tomó completar las entrevistas.

      • 'Difícil de alcanzar:Números de teléfono que se habían marcado seis o más veces en la muestra originalydonde los encuestados potenciales se negaron a ser encuestados, se definieron como 'difíciles', lo que significa que se necesitaba el nivel más alto de esfuerzo de entrevista real para completar una entrevista.
      • 'Fácil de alcanzar:Los números de teléfono a los que se llamó cinco veces o menos en la muestra original y donde ningún encuestado potencial se negó a participar, se definieron como “fáciles”, lo que significa que se necesitaba el nivel más bajo de esfuerzo de entrevista para completar una entrevista.
      • Esfuerzo 'medio' requerido:Todos los demás números de teléfono se definieron como de esfuerzo 'medio', incluidos los encuestados a los que se llamó seisomás veces o se había negado a participar en una entrevista, pero no ambas.

      La siguiente tabla compara los datos demográficos de muestra de los encuestados de acuerdo con la cantidad de esfuerzo que tomó completar una entrevista. Muestra que realizar mayores esfuerzos resultó positivo para llegar a los encuestados más jóvenes, en particular a los de 18 a 29 años. Los encuestados de mayor edad (65 años o más) que se definieron como de fácil acceso estaban sobrerrepresentados en comparación con su prevalencia en la población general; Las tasas de finalización son significativa y precipitadamente más bajas para los encuestados de nivel medio o difícil de alcanzar.

      El mayor esfuerzo realizado para completar entrevistas con blancos fue más productivo en volver a contactar a los encuestados en el grupo fácil (que no se habían negado a participar o fueron llamados menos de seis veces antes) en el que el 69% de la muestra eran blancos. Los encuestados en las categorías media o dura tenían menos probabilidades de ser blancos. Un mayor esfuerzo llevó a un mayor número de entrevistas completadas con afroamericanos. Hubo poca diferencia en el esfuerzo para llegar a los hispanos.

      Figura

      Resultó más difícil completar las entrevistas con los encuestados de las categorías media y dura que estaban empleados a tiempo completo o parcial, en comparación con los encuestados que dijeron que estaban jubilados. Si bien el mayor esfuerzo rindió frutos en tasas de finalización más altas entre los empleados en las categorías media y dura, los esfuerzos adicionales fueron menos fructíferos para completar entrevistas con personas jubiladas en las categorías media y dura (30% entre las categorías fáciles versus un promedio de 22% para un agregado de medio y duro).

      Impactos del esfuerzo en las distribuciones demográficas a nivel comunitario

      También probamos para ver si un mayor esfuerzo ayudó a completar entrevistas en comunidades de difícil acceso. Por lo general, en las muestras de teléfonos de RDD, los hogares en áreas urbanas densamente pobladas están subrepresentados. También es más probable que estos hogares tengan residentes de minorías.

      La siguiente tabla compara las tres submuestras en relación con la densidad de población y el porcentaje de la población de una comunidad que es minoritaria. No hubo diferencias significativas entre las tasas de finalización con respecto a los niveles de esfuerzo invertido para lograr que los encuestados participaran. No hubo una variación significativa en llegar a los encuestados en áreas de alta densidad con respecto al nivel de esfuerzo invertido para completar las entrevistas.

      Figura

      Impactos del esfuerzo en las distribuciones sustantivas de respuestas a preguntas

      De particular interés para esta o cualquier otra investigación es el posible efecto que el esfuerzo adicional podría tener en los resultados sustantivos. Para este análisis, hemos seleccionado un subconjunto de preguntas para investigar. Las primeras preguntas que analizamos fueron una serie sobre visitas a varias instituciones locales en los últimos 12 meses. Hay poca variación entre las respuestas afirmativas en esta serie. Ninguna de las diferencias es estadísticamente significativa.

      Figura

      De manera similar, al comparar los resultados de una serie de preguntas sobre el uso de computadoras e Internet entre los encuestados en los subgrupos, no observamos diferencias estadísticamente significativas en las respuestas entre los segmentos de esfuerzo.

      Figura

      Finalmente, examinamos las diferencias en una serie de preguntas que se referían a diez situaciones o decisiones que las personas podrían haber enfrentado en los últimos dos años. Hubo diferencias estadísticamente significativas entre los tres subgrupos en solo dos de los 10 elementos de la lista. Los encuestados más difíciles de alcanzar tenían más probabilidades que otros de las categorías fácil y media de haber tomado una decisión sobre la escolaridad o la educación (46% frente a 40% para media y 34% para fácil). La edad y el estado de los padres son probablemente los factores que afectan estos resultados. Los encuestados más jóvenes suelen ser más difíciles de alcanzar, aparecen en la muestra de mayor esfuerzo en proporciones más altas que en el estudio original, y es intrínsecamente más probable que hayan tomado decisiones recientemente sobre su educación.

      La mayor probabilidad entre los encuestados de las categorías fácil (48%) y media (51%) de haber lidiado con una enfermedad o condición de salud grave se puede atribuir a que los encuestados mayores y jubilados son más fáciles de contactar.

      Figura

      El siguiente paso fue analizar los resultados de las preguntas sobre las fuentes que la gente usa para obtener información o asistencia. Aquí los resultados fueron generalmente uniformes entre las categorías de esfuerzo. Hubo ligeras diferencias estadísticamente significativas en términos de aquellos que utilizaron Internet para encontrar información o ayuda para resolver sus problemas. Los encuestados de medio y difícil acceso tenían un poco más de probabilidad de utilizar Internet que los encuestados de fácil acceso (57% para medios y 53% para medios). Esto se correlaciona con el mayor uso de Internet por parte de los más jóvenes, quienes, a su vez, son más difíciles de alcanzar.

      Figura

      Análisis de esfuerzo básico II: Demografía de la comunidad y rechazos

      La segunda parte del análisis del posible sesgo de falta de respuesta incluye un examen de las disposiciones de la muestra final de los números marcados por la comunidad para evaluar la representación excesiva o insuficiente en la muestra original. Las categorías de disposición incluyen entrevistas completadas (completadas), una combinación de rechazos y devoluciones de llamadas (rechazos / devoluciones de llamadas) y números marcados donde no se contactó a ningún encuestado potencial (no contactos). La siguiente tabla compara el efecto de la región, el tipo de comunidad y si los que fueron muestreados viven en un Área Estadística Metropolitana (MSA)5o no, en respuesta.

      Figura

      Como puede verse en la tabla anterior, las diferencias en la respuesta se observan principalmente entre las regiones geográficas representadas en la muestra.

      Se completó una mayor proporción relativa de entrevistas con encuestados del Medio Oeste (23%), en comparación con solo el 15% en Occidente. Los entrevistadores del PSRAI no pudieron contactar a un tercio de la muestra en la región occidental. De manera similar, los entrevistadores no pudieron contactar a un encuestado potencial para el 33% de la muestra que provenía de áreas urbanas. La muestra occidental en sí estaba significativamente sesgada hacia las comunidades urbanas, que comprenden el 54% de la muestra total de la región.

      Ingresos, densidad de minorías y respuesta

      La siguiente tabla compara las categorías de disposición con el ingreso familiar promedio y la densidad porcentual de hispanos y afroamericanos dentro de los bloques de muestra utilizados para las entrevistas. Hay muy poca diferencia entre las distribuciones de ingresos para los tres segmentos de la muestra. Entre el 35% y el 40% de cada segmento provino de áreas con ingresos familiares más bajos y menos del 10% de cada grupo provino de las áreas de ingresos más altos.

      Figura

      Las entrevistas fueron más fáciles de realizar en áreas con menos hogares hispanos. Casi dos tercios de todas las entrevistas completadas (63%) provinieron de áreas con la menor incidencia de hogares hispanos. Solo aproximadamente la mitad de la muestra en los otros grupos provino de estas áreas hispanas de baja incidencia (53% de rechazos / devoluciones de llamada y 46% de no contactos). No se observa la misma tendencia al comparar las áreas afroamericanas de alta y baja densidad. Los completados, los rechazos y los no contactos se distribuyeron aproximadamente de la misma manera en los estratos afroamericanos.

      Análisis de esfuerzo adicional III: esfuerzo adicional, llamadas adicionales

      En un esfuerzo por analizar el posible sesgo de no respuesta en los resultados de la encuesta, una muestra de 1,500 números de teléfono que habían sido llamados 10 veces y aún eran números activos se incluyeron en un nuevo proyecto y se marcaron hasta 10 veces más para intentar completar entrevista. Los números incluidos en la marcación de esfuerzo adicional se dividieron en tres categorías.

        • Sin contactos:Números que no habían dado lugar a ningún contacto con una persona en la encuesta inicial. Estos números eran una combinación de no contestador / ocupado / contestador automático para todos los intentos.
        • Denegaciones:Números que arrojaron un rechazo en uno de los primeros 10 intentos, pero que no se convirtieron en una entrevista completa.6
        • Roturas:Números en los que los encuestados habían comenzado una entrevista pero no la terminaron.

        Se hicieron 13,742 llamadas adicionales a la muestra de esfuerzo extra y se completaron 84 entrevistas adicionales. Esto se traduce en una entrevista completa por cada 164 intentos de llamada.7

        Es difícil completar una entrevista una vez que se ha marcado un número de teléfono 10 veces sin éxito. La tabla compara el resultado de los números de esfuerzo adicional en el décimo intento (las columnas) con el resultado después de 20 o más llamadas (las filas).

        Figura

        Como puede verse en la tabla, la tasa de éxito fue baja, con solo el 6% de los casos de esfuerzo extra que arrojaron entrevistas completadas. La tasa de conversión fue mayor para las interrupciones y las devoluciones de llamada, con un 16% y un 14% convertido respectivamente. Los números que no fueron contactos durante los primeros 10 intentos tuvieron la tasa de conversión más baja (3%). El siete por ciento de las negativas se convirtieron después del décimo intento.

        Efecto del esfuerzo adicional en la demografía a nivel de persona8

        Una forma de medir el posible sesgo de falta de respuesta es comparar la demografía de los encuestados entrevistados con el esfuerzo adicional con los entrevistados sin esfuerzo adicional. La siguiente tabla compara los datos demográficos básicos de muestra de los dos grupos. Los parámetros de población también se representan en la tabla para poner los números en contexto.

        Figura

        La distribución de género de las dos muestras fue casi idéntica, 39% y 40% hombres. Como es común en la mayoría de las encuestas telefónicas, los hombres están infrarrepresentados. Hubo una diferencia en la distribución de edad de las dos muestras, con la muestra de esfuerzo extra haciendo un trabajo ligeramente mejor para llegar a los encuestados más jóvenes, especialmente al grupo de 30 a 49 años. Además, el esfuerzo adicional produjo una proporción más apropiada de encuestados mayores (13%) que la muestra regular (25%).

        Ambas muestras estaban sobrerrepresentadas a los graduados universitarios y a las personas con menor nivel educativo. Sin embargo, en general, la muestra regular obtuvo una distribución de educación general ligeramente mejor.

        La raza / etnia de las dos muestras fue comparable. Sin embargo, el esfuerzo adicional valió la pena para llegar a más encuestados hispanos que la muestra estándar. La muestra de esfuerzo adicional también llegó a más encuestados empleados que la muestra estándar (66% frente a 55%) y no representó en exceso a los jubilados como lo hizo la muestra estándar.

        Efecto del esfuerzo adicional en determinadas cuestiones sustantivas

        Investigamos las diferencias en las respuestas a las preguntas sobre las fuentes de información que las personas usaban cuando enfrentaban problemas para ver si había alguna diferencia entre las muestras intital y extra-esfuerzo. Los resultados de las dos muestras fueron muy similares con la excepción del uso de Internet para encontrar información o ayuda para resolver problemas. Significativamente más personas en la muestra de esfuerzo adicional informaron usar Internet para obtener información o ayuda con su decisión o situación reciente (68% frente a 55%).

        Figura

        Una nota final sobre el sesgo potencial

        El esfuerzo adicional de la entrevista tuvo el impacto esperado: aquellos a quienes es más difícil llegar en general fueron aquellos a quienes se llegó con un esfuerzo adicional. Los adultos más jóvenes, los adultos que trabajan y aquellos con títulos universitarios son más difíciles de alcanzar y, por lo tanto, se completa una mayor parte del esfuerzo adicional. En términos de preguntas sustantivas, el impacto del esfuerzo adicional es paralelo a las diferencias demográficas. Aquellos a quienes se llegó con un esfuerzo adicional fueron más propensos a decir que han lidiado con un problema de educación (reflejando a los adultos más jóvenes) y menos probable que hayan lidiado con un problema de salud o Medicare (reflejando la mayor proporción de adultos mayores en la muestra normal). Incluso cuando los resultados fueron significativamente diferentes con el grupo de esfuerzo adicional, el impacto en los resultados generales fue pequeño. Considere que la muestra de 1500 números de esfuerzo extra arrojó solo 84 entrevistas completadas. Dado que solo alrededor de 3,000 números calificaron para el estudio de esfuerzo adicional, incluso si todos se hubieran marcado 10 veces más, eso habría agregado aproximadamente 170 completos a la muestra principal de más de 2,000. Incluso si los resultados del esfuerzo adicional difirieran sustancialmente de la muestra principal, simplemente no serían suficientes para mover los resultados generales de la encuesta.


        1 Búsquedas de información que resuelven problemas. Leigh Estabrook, Evans Witt y Lee Rainie 30/12/2007 https://www.pewresearch.org/internet/PPF/r/231/report_display.asp 30/12/2007.

        2Número de autorización OMB, 3137-0070, fecha de vencimiento 30/06/2010.

        3 Opinión Pública Trimestral, Número especial: Sesgo de no respuesta en las encuestas de hogares, 2006, Vol. 70, N ° 5.

        4 Medición del impacto de la creciente falta de respuesta en las estimaciones de una encuesta telefónica nacional de RDD, Keeter y. Alabama.POQ, 70: 759-779. Esto actualizó una revisión realizada enConsecuencias de reducir la falta de respuesta en una gran encuesta telefónica nacional, Keeter y. Alabama.,POQ64:125-48.

        5Las MSA se delinean sobre la base de un área urbanizada central, un área contigua de densidad de población relativamente alta. Los condados que contienen el área central urbanizada se conocen como los condados centrales de la MSA. Los condados circundantes adicionales (conocidos como condados periféricos) se pueden incluir en la MSA si estos condados tienen fuertes lazos sociales y económicos con los condados centrales, medidos por los desplazamientos y el empleo. Tenga en cuenta que algunas áreas dentro de estos condados periféricos pueden ser de naturaleza rural.

        6Las negativas duras fueron excluidas del estudio de esfuerzo extra. Estos son números de teléfono donde los posibles encuestados se han negado a cooperar en términos inequívocos.

        7La diferencia en la productividad de llamadas entre las dos muestras es aún más pronunciada si considera que muchos de los números de teléfono que no funcionan se identificaron en el primer intento antes de que comenzara el esfuerzo adicional.

        8Se utilizaron datos no ponderados para todas las comparaciones en este informe.