• Principal
  • Métodos
  • Qué significan las tasas de respuesta bajas para las encuestas telefónicas

Qué significan las tasas de respuesta bajas para las encuestas telefónicas

Por Scott Keeter, Nick Hatley, Courtney Kennedy y Arnold Lau


Un nuevo estudio del Pew Research Center sugiere que, después de décadas de declive constante, las tasas de respuesta a las encuestas telefónicas en EE. UU. Se han estancado en los últimos cuatro años. Y contrariamente a la narrativa actual de que las encuestas están bajo asedio, los datos muestran que el sesgo introducido en los datos de las encuestas por los niveles actuales de participación tiene un alcance limitado. Este informe es el cuarto de una serie de estudios del Centro que rastrean el impacto de tales cambios en la respuesta de la encuesta (ver estudios anteriores en 1997, 2003 y 2012.) Entre los hallazgos clave:

Después de décadas de declive, las tasas de respuesta a encuestas telefónicas como las realizadas para el Pew Research Center se han estabilizado en los últimos años en torno al 9%.1,2Si bien la estabilización es una buena noticia para la industria, tasas de respuesta tan bajas indican la posibilidad de que el sesgo se filtre en las encuestas si las personas que participan constantemente en las encuestas son diferentes de las que no lo hacen. Dicho esto, el estudio actual y la investigación anterior sugieren que la tasa de respuesta es un indicador poco confiable de sesgo.

Las estimaciones de encuestas telefónicas sobre afiliación a partidos, ideología política y afiliación religiosa continúan teniendo un buen seguimiento con estimaciones de encuestas de alta tasa de respuesta realizadas en persona, como la Encuesta Social General.Esto proporciona una fuerte evidencia de que las decisiones de participar en encuestas telefónicas no están fuertemente relacionadas con actitudes políticas, sociales o religiosas. Entonces, incluso con tasas de respuesta bajas, las encuestas telefónicas que incluyen entrevistas a través de teléfonos fijosyteléfonos móviles, y que se ajustan para que coincidan con el perfil demográfico de los EE. UU., pueden producir estimaciones precisas de las actitudes políticas.


El análisis de los encuestados telefónicos frente a los no encuestados sobre las variables de un archivo nacional de votantes sugiere que la participación en la encuesta no está estrechamente relacionada con el partidismo.La afiliación a un partido político en particular no parece afectar la probabilidad de que una persona participe en las encuestas telefónicas, aunque quienes participan en las encuestas tienden a votar con más frecuencia que las personas que tienen menos probabilidades de realizar encuestas.



No hay señales de un aumento en el sesgo de falta de respuesta desde 2012.En 13 preguntas demográficas, de estilo de vida y de salud que se compararon con puntos de referencia de encuestas federales de alta tasa de respuesta, las estimaciones de las encuestas telefónicas son tan precisas, en promedio, en 2016 como lo fueron en 2012. La diferencia promedio (absoluta) entre el Centro Las estimaciones telefónicas y las estimaciones de la encuesta de referencia fue de 2,7 puntos porcentuales en 2016, en comparación con 2,8 puntos en 2012.


En una variedad de variables demográficas, las diferencias entre las muestras de teléfonos RDD y el perfil de todos los adultos estadounidenses son relativamente pequeñas, con la importante excepción del nivel educativo.En los últimos años, el aumento de la proporción de entrevistas realizadas con teléfonos celulares ha mejorado la representación de adultos jóvenes e hispanos. Como muchas organizaciones de encuestas, el Centro utiliza la ponderación para corregir los desequilibrios en las principales variables demográficas (educación, género, raza / etnia, región, edad y más).

Las encuestas telefónicas exageran en gran medida el compromiso cívico, probablemente debido al sesgo de no respuesta.3Como se ha establecido en trabajos anteriores, es probable que las personas que respondan a las encuestas sean las mismas personas que participan en la vida pública de su comunidad: se unen. Afortunadamente para los encuestadores, el compromiso cívico no está fuertemente correlacionado con las actitudes políticas o la mayoría de las otras medidas que los investigadores intentan estudiar con encuestas.


Las encuestas telefónicas también exageran el compromiso político, pero en menor medida.Tanto la evaluación comparativa como el análisis de la base de datos de votantes muestran que los adultos comprometidos políticamente están sobrerrepresentados en las encuestas. La magnitud del sesgo en el compromiso político tiende a ser de un solo dígito (p. Ej., Las encuestas telefónicas exageran la proporción de adultos que están registrados para votar en aproximadamente 7 puntos porcentuales) mientras que la magnitud del sesgo en las medidas cívicas es de dos dígitos (p. Ej. , las encuestas telefónicas exageran la proporción de adultos que participaron en una organización deportiva o recreativa el año pasado en aproximadamente 16 puntos).

El hallazgo de que una tasa de respuesta baja conduce a un sesgo sustancial en algunos temas (p. Ej., Voluntariado) pero no en otros (p. Ej., Partidismo o afiliación religiosa) subraya la importancia de tener encuestas en persona con una tasa de respuesta alta, lo que hace posible tal conocimiento.Sin encuestas como Current Population Survey, American Community Survey, American National Election Survey y General Social Survey, es significativamente más difícil, si no imposible, para los investigadores determinar dónde existen o no sesgos en las encuestas de opinión pública con tasas de respuesta bajas.

A primera vista, los resultados anteriores parecen contradecir las percepciones de que las encuestas fallaron en las elecciones presidenciales de 2016. De hecho, hubo algunos errores importantes en los estados críticos del Alto Medio Oeste y esas encuestas alimentaron las expectativas de que Hillary Clinton ganaría la presidencia. Pero tal sinopsis pasa por alto el hecho de que las encuestas nacionales fueron bastante precisas. En conjunto, indicaron que Clinton tenía una ventaja de alrededor de 3 puntos porcentuales a nivel nacional, y básicamente tenían razón, ya que finalmente ganó el voto popular por 2 puntos. Además, según un nuevo informe, hay razones claras por las que las encuestas nacionales como grupo obtuvieron mejores resultados que las encuestas estatales. Por ejemplo, las encuestas nacionales tenían muchas más probabilidades que las estatales de ajustarse al nivel de educación de los encuestados en su ponderación, lo que resultó de suma importancia en las elecciones de 2016. En resumen, si bien los errores en las encuestas contribuyeron a la falsa expectativa de que Hillary Clinton ganaría la presidencia, las encuestas a gran escala no se rompieron en 2016, y los investigadores han identificado factores que ayudan a explicar por qué algunas encuestas se desempeñaron mejor que otras.

El estudio actual utiliza dos tipos de datos para evaluar la representatividad de las encuestas telefónicas del Pew Research Center. La mayoría de los resultados se basan en una comparación de estimaciones de encuestas con puntos de referencia ampliamente aceptados de encuestas realizadas o financiadas por el gobierno que tienen muchas menos respuestas que las encuestas telefónicas estándar. En total, se compararon un total de 29 medidas de referencia con preguntas idénticas (o casi idénticas) formuladas en encuestas telefónicas realizadas por Pew Research Center.


Una segunda fuente de datos es una base de datos nacional de adultos que incluye información sobre el registro de votantes, la participación y el partidismo en la gran mayoría de los hogares estadounidenses. Este conjunto de datos en particular4es uno de una clase de productos comerciales conocidos como archivos de votantes que son ampliamente utilizados por campañas y otros para contactar a los votantes y aprovechar el hecho de que los estados deben mantener listas con los nombres, información de contacto e historial de participación de los residentes que son elegibles para votar . Estos datos de archivos de votantes se compararon con la muestra telefónica utilizada en una encuesta del Centro de Investigación Pew de 2016 para proporcionar información sobre un grupo que de otra manera resultaría difícil de examinar: aquellos que eligen no responder a la encuesta telefónica. Esto se logró tomando los 40,182 números de teléfono en funcionamiento llamados para una encuesta del Pew Research Center y usando esos números para que coincida con la información de votación de las personas, ya que muchas personas tienen su número de teléfono en su registro de registro. De esta manera, los encuestados y los no encuestados se compararon en varias medidas políticas para ver si difieren y dónde.

Un último punto que vale la pena enfatizar es que las encuestas telefónicas de entrevistadores en vivo ahora representan una parte minoritaria de todas las encuestas realizadas en los EE. UU. Las encuestas en línea y las encuestas automatizadas (Respuesta de voz interactiva), o combinaciones de las dos, son colectivamente más comunes que las encuestas telefónicas de entrevistadores en vivo y tienden a tener tasas de respuesta significativamente más bajas. Esto significa que los hallazgos presentados en este informe se refieren solo a una parte del panorama general de las encuestas, aunque es una parte importante. Los principales periódicos, cadenas de televisión, organizaciones de noticias por cable, universidades y Gallup continúan realizando encuestas con metodologías similares a las del Pew Research Center.

¿Qué es el sesgo por falta de respuesta?

El término prejuicio puede evocar la idea de prejuicio contra cierto tipo de personas o un esfuerzo consciente por ser injusto. Las encuestas pueden estar sesgadas en este sentido si, por ejemplo, las preguntas están diseñadas para favorecer un lado de un problema. Pero cuando los investigadores de encuestas y los estadísticos usan el término, se refieren a algo más general. En este caso, el sesgo es un error que ocurre cuando algo en la forma en que se diseña o se realiza una encuesta conduce a resultados que son sistemáticamente diferentes de lo que es cierto en la población. Esto contrasta con lo que comúnmente se llama 'error de muestreo', el tipo de error que ocurre por casualidad porque las encuestas intentan entrevistar a una muestra aleatoria de la población. El término sesgo, tal como se utiliza en este estudio, no favorece a un grupo o punto de vista en particular ni es el resultado de un esfuerzo consciente por parte del investigador.

Este informe se centra en el sesgo de falta de respuesta en particular, que ocurre cuando los tipos de personas que son contactadas y que aceptan participar en una encuesta son sistemáticamente diferentes de las que no pueden ser contactadas o que se niegan a participar. Por ejemplo, las personas más jóvenes pueden ser más difíciles de encontrar para una entrevista. Esto significaría que quienes son entrevistados tenderán a ser mayores que el conjunto de la población. A su vez, para las preguntas que están fuertemente relacionadas con la edad, los resultados sobrerrepresentarán las actitudes y comportamientos de las personas mayores si no se hace un esfuerzo para corregir el sesgo.

La preocupación por el sesgo de falta de respuesta ha aumentado a medida que han aumentado las tasas de falta de respuesta. Pero es importante señalar que los investigadores de encuestas han estado preocupados por este tema desde que existe la investigación moderna de encuestas. Y los métodos para corregir el sesgo por falta de respuesta se conocen bien y se utilizan ampliamente. En particular, casi todas las encuestas de alta calidad (incluidas las del Pew Research Center) utilizan alguna forma de ponderación estadística para garantizar que sus muestras se ajusten a la población con respecto a la geografía, edad, educación, género, raza y otras características. Sin embargo, el sesgo de falta de respuesta puede ocurrir si los encuestados y los que no responden difieren en alguna dimensión que no se tiene en cuenta en la ponderación. Este informe es un esfuerzo por medir y documentar la naturaleza y el alcance del sesgo de falta de respuesta en las encuestas telefónicas RDD del tipo que realiza el Pew Research Center.

Las encuestas telefónicas de baja tasa de respuesta aún se ajustan estrechamente a las encuestas en persona de alta tasa de respuesta sobre medidas de identificación política y religiosa

Algunos conceptos son tan fundamentales para comprender la opinión pública que se miden encuesta tras encuesta. Estos conceptos incluyen afiliación a partidos políticos, ideología política y afiliación religiosa. Varias encuestas en persona de alta tasa de respuesta,5así como muchas encuestas de baja tasa de respuesta, haga estas preguntas de manera rutinaria para que los investigadores puedan estudiar cómo se relacionan con las actitudes políticas y otros resultados. La disponibilidad de puntos de referencia de encuestas en persona brinda la oportunidad de evaluar si las encuestas telefónicas siguen siendo precisas en esta era de tasas de respuesta de un solo dígito.

Si la narrativa de que las encuestas están rotas es correcta, es probable que se manifieste en las líneas de tendencia de estos conceptos fundamentales. Específicamente, dos líneas de tendencia (una línea para la encuesta de tasa de respuesta alta de referencia y una línea para la encuesta telefónica) que solían ser similares en la década de 1990 o principios de la década de 2000, por ejemplo, tal vez se hubiera esperado que divergieran para 2016, como Las encuestas de un solo dígito ya no pueden producir estimaciones no sesgadas. Este escenario no se confirma en los datos.

Este estudio comparó las tendencias del Pew Research Center y la Encuesta Social General (GSS). Debido a las diferencias en la redacción de las preguntas y el modo de entrevista, estas comparaciones no siempre son precisas. Además, las estimaciones de GSS provienen de encuestas individuales con un tamaño de muestra modesto. Las estimaciones del centro representan todas las entrevistas realizadas durante el año, que para preguntas comunes implicaron combinar múltiples encuestas y tomar el promedio anual. Esto se hizo para minimizar el papel del error de muestreo.

A lo largo del período de un cuarto de siglo para el que hay comparaciones disponibles, las encuestas telefónicas del GSS y del Centro produjeron estimaciones muy similares de la proporción de adultos estadounidenses que se identificaban con los partidos demócrata o republicano. Ambos conjuntos de encuestas miden la afiliación a un partido con una simple pregunta que pregunta a los encuestados si son demócratas, republicanos o independientes.6La diferencia promedio en las estimaciones puntuales entre las encuestas de tasa de respuesta alta y baja es de 1.4 puntos para la identificación demócrata y 1.6 puntos para la identificación republicana.

La relación entre las acciones que se identifican con cada parte también es similar en las condiciones de respuesta alta y baja. Casi todos los años de la comparación tienen más demócratas que republicanos en ambas encuestas (aunque la diferencia entre los partidos no siempre es estadísticamente significativa), y la ventaja demócrata ha aumentado y disminuido en las dos encuestas de manera paralela. Ambas encuestas encontraron que el público estaba más dividido entre los partidos a principios de la década de 2000 que en el período desde 2008. En 2016, el año más reciente para el que se dispone de una comparación, el GSS encuentra que los demócratas superan en número a los republicanos en aproximadamente 9 puntos porcentuales, mientras que Pew Research Center encuentra a los demócratas por delante en 7 puntos porcentuales. En general, este análisis sugiere que, a pesar de las bajas tasas de respuesta, las encuestas telefónicas pueden producir lecturas precisas de la composición partidista del público estadounidense. Un enfoque diferente de este tema (presentado más adelante en el informe) compara a los encuestados telefónicos con los que no respondieron utilizando datos de archivos de votantes y llega a la misma conclusión.

Más allá de la afiliación partidista, el retrato de la orientación ideológica de los estadounidenses también es muy similar en las encuestas del GSS y del Pew Research Center. La pregunta del Pew Research Center ofrece a los encuestados cinco categorías que van desde 'muy liberal' a 'muy conservador', mientras que el GSS muestra a los encuestados una escala de siete puntos completamente etiquetada que va desde 'extremadamente liberal' a 'extremadamente conservador'. En ambas preguntas, 'moderado' es la opción intermedia.

A pesar de las diferencias en la forma en que se presentan las categorías a los encuestados, existe una correspondencia razonablemente estrecha entre las encuestas del Centro y el GSS con respecto a las proporciones relativas que se optan por las opciones 'moderadas', conservadoras o liberales. Ambas encuestas encuentran consistentemente más conservadores que se identifican a sí mismos que liberales, y ambas muestran un aumento gradual con el tiempo en la proporción que se identifica como liberales. El número que se describe a sí mismo como moderado es similar en los dos conjuntos de encuestas (p. Ej., 34% en las encuestas del Pew Research Center de 2016 frente al 36% en el GSS de ese año). Los conservadores superaron en número a los liberales en las encuestas del Pew Research Center en 2016 por un margen del 36% al 25%, mientras que lo hicieron por un margen del 33% al 27% en el GSS.

Como la política, la religión es un tema de gran interés para muchas personas. Pero, por diversas razones, el gobierno casi no recopila información sobre la afiliación religiosa, las actitudes y el comportamiento del público. De hecho, en 1976 el Congreso prohibió a la Oficina del Censo de los Estados Unidos preguntar sobre religión en sus encuestas obligatorias, como el censo decenal.7Sin embargo, el GSS ha medido la religión desde sus inicios.

A pesar de utilizar diferentes preguntas, las encuestas del Pew Research Center y el GSS producen hallazgos similares tanto con respecto a los niveles y tendencias en las actividades y creencias religiosas clave. Quizás lo más fundamental es lo que los estudiosos de la religión a menudo llaman 'pertenencia' o afiliación religiosa. Las encuestas del Pew Research Center rastrean la afiliación religiosa casi mensualmente utilizando un conjunto relativamente sencillo de preguntas que primero ofrece a los encuestados una opción entre 12 categorías como protestante, católico, judío, ateo y luego sigue con preguntas más detalladas. La serie de preguntas de GSS sobre afiliación religiosa es similar, aunque ofrece menos opciones con su pregunta inicial (protestante, católica, judía, alguna otra religión o ninguna religión).

El retrato de la afiliación religiosa pintado por las dos encuestas es muy similar, tanto con respecto a las proporciones del público asociado con las principales tradiciones religiosas como con las tendencias a lo largo del tiempo. Ambos encuentran que el porcentaje de adultos que no están afiliados a una religión (ya sea ateo, agnóstico o sin religión) está creciendo rápidamente en la última década y constituye más de una quinta parte del público en 2016 (23% en las encuestas del Pew Research Center, 22% en el GSS). De manera similar, ambos encuentran la afiliación con el protestantismo en declive bastante constante durante el período examinado.

Ambas encuestas muestran una ligera disminución en la proporción de católicos de la población en la última década. Las encuestas del Pew Research Center en 2016 encontraron que la afiliación católica era de aproximadamente el 21%, mientras que la participación católica en el GSS es de aproximadamente el 23%, una diferencia que no es estadísticamente significativa.

Advertencias sobre los puntos de referencia

La evaluación del sesgo en las encuestas requiere un estándar objetivo con el que se puedan comparar los resultados de la encuesta. La encuesta electoral tiene ese estándar, al menos para las medidas de intención de voto: el resultado de la elección. Pero la mayoría de los puntos de referencia se toman de otras encuestas. Los puntos de referencia utilizados aquí se extraen de encuestas financiadas por el gobierno que se realizan a un costo considerable y con gran atención a la calidad de la encuesta. Sin embargo, son encuestas y están sujetas a algunos de los mismos problemas que enfrentan las encuestas telefónicas de baja tasa de respuesta examinadas aquí.

Las encuestas utilizadas como puntos de referencia en este informe tienen altas tasas de respuesta, del orden del 60% o más. En consecuencia, generalmente se piensa que el riesgo de sesgo por falta de respuesta es menor para estas encuestas, aunque todavía existe. También es relevante el hecho de que todas las encuestas, sin importar la tasa de respuesta, están sujetas a errores de medición. Las preguntas formuladas en las encuestas financiadas por el gobierno se desarrollan y prueban cuidadosamente, pero no son inmunes a algunos de los factores que crean problemas de confiabilidad y validez en todas las encuestas. El contexto en el que se formula una pregunta, las preguntas que la preceden, a menudo afecta las respuestas. De manera similar, todos los ítems de la encuesta pueden estar sujetos a cierto grado de sesgo de respuesta, más notablemente 'sesgo de deseabilidad social'. Especialmente cuando un entrevistador está presente, los encuestados a veces pueden modificar sus respuestas para presentarse a sí mismos de una manera más favorable (por ejemplo, exagerando su frecuencia de votación). Todos estos factores pueden afectar la comparabilidad de medidas aparentemente idénticas solicitadas en diferentes encuestas. Evaluar la calidad de los datos es, en el mejor de los casos, un proceso inexacto. Por tanto, es importante tener en cuenta que la evaluación comparativa proporciona medidas deestimadosesgo y depende en gran medida del conjunto particular de medidas incluidas.

Las encuestas telefónicas sobrerrepresentan a adultos políticamente comprometidos, pero el sesgo se ha mantenido bastante estable a lo largo del tiempo

Investigaciones anteriores indican que las encuestas tienden a obtener una respuesta desproporcionada de quienes participan activamente en la vida electoral. Una pregunta clave es si ese sesgo ha aumentado a medida que las tasas de respuesta se han estabilizado en un solo dígito. Para abordar esto, el estudio aprovechó una larga tendencia de la Encuesta de población actual (CPS), que tiene una tasa de respuesta del 87%.

Tanto las encuestas telefónicas de CPS como del Centro miden regularmente la proporción de adultos estadounidenses que están registrados para votar.8

Los datos muestran una tendencia básicamente estable en la sobreestimación del registro de votantes en las encuestas telefónicas de 1996 a 2014 (el último año del que se dispone de datos gubernamentales). Específicamente, la sobreestimación observada es similar en 2014, un año en el que las encuestas telefónicas tuvieron una tasa de respuesta del nueve por ciento, y 1996 cuando hubo una tasa de respuesta del 37%. Esta es una evidencia de que la caída de las tasas de respuesta no está dando como resultado una diferencia dramática entre los encuestados en lo que respecta a los niveles de registro de votantes.

La CPS también proporciona puntos de referencia para otras dos medidas de participación política: la frecuencia de las votaciones en las elecciones locales y el contacto con un funcionario del gobierno el año pasado. A diferencia del registro de votantes (un elemento básico de las encuestas políticas), el Pew Research Center hace estas preguntas solo en raras ocasiones, lo que significa que no hay una línea de tendencia análoga a considerar. Sin embargo, para respaldar este estudio, el Centro administró las preguntas sobre la votación local y el contacto con un funcionario en una encuesta telefónica nacional de 2016.

Una comparación de los datos del Centro con los datos más recientes de CPS muestra que las muestras de encuestas telefónicas están más comprometidas que las de las encuestas gubernamentales, aunque el tamaño de este sesgo varió de aproximadamente 5 a 15 puntos porcentuales. En lo que respecta a la regularidad de la votación, la CPS indica que el 32% de los adultos vota en todas o casi todas esas elecciones. La estimación de la encuesta telefónica es del 37%, una exageración de aproximadamente 5 puntos porcentuales.

Aparece un sesgo mayor en la pregunta sobre cómo contactar a los funcionarios electos. El CPS encontró que el 10% de los adultos se había puesto en contacto o visitado a un funcionario público en cualquier nivel de gobierno para expresar su opinión. En contraste, la estimación de la encuesta telefónica es que el 25% lo ha hecho.

La comparación más actualizada sobre el estado del registro de votantes es de 2014 (el año electoral más reciente con datos disponibles de la CPS). El punto de referencia indica que el 63% de los adultos elegibles estaban registrados para votar, mientras que la estimación comparable del Pew Research Center para tres encuestas realizadas alrededor de las elecciones fue del 70%, una exageración de aproximadamente 7 puntos.

Persisten grandes sesgos en las medidas de participación cívica y social

Los resultados son sustancialmente menos positivos con respecto a las medidas de compromiso cívico y social. Como se documentó en el informe de 2012 del Centro sobre la falta de respuesta a la encuesta, el nuevo estudio sugiere que las encuestas telefónicas continúan sobrerrepresentando a las personas que dicen que se han ofrecido como voluntarias, trabajado para resolver un problema del vecindario, pertenecían a una comunidad, asociación recreativa o cívica y personas dicen que confían o hablan con regularidad con los vecinos.

Los sesgos van desde la friolera de 38 puntos porcentuales en el trabajo con vecinos (8% en la Encuesta de población actual frente al 46% en la encuesta telefónica) hasta un mínimo de 9 puntos porcentuales en participar en una asociación cívica o de servicios (6% en la CPS vs 15% en la encuesta telefónica).

La fuente de estos grandes sesgos se comprende razonablemente bien según la investigación publicada por Abraham, Helms y Presser en 2009.9(y más recientemente por Amaya y Presser10que examinó las tasas informadas de voluntariado y otros comportamientos cívicos en el CPS (la misma encuesta utilizada como punto de referencia en el presente análisis). Al comparar a los encuestados que posteriormente completaron una encuesta especial adicional con los que no, los autores mostraron que la tasa general de voluntariado era sensible a la falta de respuesta a la encuesta. En su conclusión, observan que participar en encuestas es un comportamiento prosocial relacionado con otro tipo de comportamientos como el voluntariado. Escriben que 'nuestros hallazgos sugieren que hay un elemento importante de altruismo en la decisión de responder a una solicitud de encuesta'.

Si bien las implicaciones para la medición precisa de los comportamientos prosociales en las encuestas de baja tasa de respuesta son preocupantes, nuestro análisis de 2012 de este problema encontró que tales comportamientos, en particular el voluntariado, no estaban altamente correlacionados con la mayoría de los otros temas de interés de la encuesta. Un análisis similar realizado con datos de 2016 encontró que la sobrerrepresentación de adultos comprometidos cívicamente en las encuestas telefónicas, en todo caso, aumenta el apoyo tanto al Partido Republicano como a Donald Trump. Entre los blancos no hispanos, la proporción de personas que se identificaron como republicanas o se inclinaron por el Partido Republicano fue del 55% entre los que se ofrecieron como voluntarios el año pasado, en comparación con el 45% que se identificó como republicano o republicano de inclinación entre los no voluntarios. En teoría, ponderar a los voluntarios para alinear los datos de la encuesta telefónica con el objetivo de CPS reduciría el sesgo de participación cívica, pero no necesariamente haría más precisas las estimaciones de otras encuestas. En 2016, tal ajuste probablemente habría exacerbado la medida en que algunas encuestas telefónicas exageraron el apoyo a Hillary Clinton. Dicho esto, este hallazgo de que la sobrerrepresentación de voluntarios favorece a los republicanos se basa, en la actualidad, solo en una encuesta. Las pruebas adicionales en otras encuestas ayudarían a determinar qué tan robusto es este patrón.

Las estimaciones telefónicas generalmente muestran poco sesgo por la falta de respuesta a cuestiones demográficas, de salud y de estilo de vida

En 14 medidas de características demográficas y personales (dejando de lado temporalmente las variables utilizadas para ponderar las encuestas del Centro de Investigación Pew, que se discuten en una sección posterior), la diferencia promedio entre la estimación del gobierno y la estimación de la encuesta del Centro fue de 3 puntos porcentuales y varió entre 0 y 8 puntos. La mayor diferencia se observó en una medida que preguntaba a los encuestados sobre su estado de salud. La estimación del gobierno de la proporción de personas que califican su salud como excelente o muy buena es del 59%, mientras que la encuesta telefónica encontró que el 51% lo hacía.

Los otros 13 ítems personales y demográficos estuvieron bastante cerca de los puntos de referencia. La encuesta telefónica del Centro exageró la proporción de personas que recibieron cupones de alimentos el año anterior en 4 puntos porcentuales y la proporción de personas que recibieron compensación por desempleo también en 4 puntos porcentuales.

Las medidas demográficas y personales restantes no alcanzan los puntos de referencia en 3 puntos porcentuales o menos. Estos incluyen medidas de ingresos familiares, situación laboral, tamaño del hogar, ciudadanía, seguro médico, tiempo de residencia en la dirección actual, estado civil y de paternidad, tabaquismo, lugar de nacimiento entre los hispanos y tener una licencia de conducir. En otras palabras, en todas estas medidas, la encuesta telefónica de respuesta relativamente más baja proporcionó una medida del fenómeno casi idéntica a la de la encuesta gubernamental de alta tasa de respuesta utilizada como punto de referencia.

La precisión de los datos de las encuestas telefónicas sobre estilo de vida, salud y demografía es al menos tan alta como hace cuatro años, especialmente para estimaciones basadas en adultos jóvenes.

Los investigadores, por supuesto, están interesados ​​en la medida en que el sesgo por falta de respuesta empeora con el tiempo. Al comparar los niveles actuales con los medidos hace aproximadamente cuatro años, encontramos que, en promedio, la precisión de los datos de las encuestas telefónicas es al menos tan alta como en 2012. En 13 preguntas demográficas, de estilo de vida y de salud11que tienen datos de encuestas de referencia de alta tasa de respuesta, la diferencia promedio (absoluta) entre las estimaciones telefónicas del Centro y las estimaciones de la encuesta de referencia fue de 2,7 puntos porcentuales en 2016, en comparación con 2,8 puntos en 2012.

En general, la precisión medida por estos puntos de referencia fue menor entre ciertos grupos demográficos como los adultos jóvenes y las minorías. Pero no hay indicios de que los sesgos dentro de los grupos empeoraran con el tiempo. La mayoría de los subgrupos principales, definidos por edad, género, raza o educación, vieron que la precisión de sus estimaciones de las encuestas telefónicas se mantuvo al nivel o mejoró ligeramente. Por ejemplo, en las 13 preguntas sobre estilo de vida, salud y demografía con comparaciones de alta tasa de respuesta, la diferencia promedio entre la estimación de adultos hispanos de las encuestas telefónicas del Pew Research Center y la misma estimación hispana de la encuesta de referencia fue de 5.5 puntos porcentuales en 2016 en comparación con 6.7 en 2012. El cambio promedio en la precisión de 2012 a 2016 fue similar para los blancos no hispanos. Sin embargo, para los negros, las estimaciones de la encuesta telefónica diferían de las estimaciones de la encuesta de referencia en un promedio de 5,1 puntos porcentuales en 2016 frente a 4,2 puntos en 2012.

De los grupos analizados, los adultos jóvenes (de 18 a 29 años) fue el subgrupo que mejoró más la precisión de las estimaciones de la encuesta telefónica. En las encuestas del Pew Research Center realizadas en 2012, la diferencia promedio absoluta de los puntos de referencia revisados ​​fue de 6.5 puntos porcentuales. En las encuestas de 2016, la diferencia con los puntos de referencia en el mismo conjunto de preguntas fue de 4,7 puntos porcentuales. Este cambio sugiere una pequeña mejora en la calidad de los datos recopilados entre adultos de 18 a 29 años en las encuestas telefónicas de baja tasa de respuesta en 2016 en comparación con 2012.

El logro educativo es otro grupo demográfico clave que a menudo nos interesa. Para los adultos con educación secundaria o menos, las estimaciones de la encuesta telefónica difirieron de las estimaciones de la encuesta de referencia en un promedio de 5.3 puntos porcentuales en 2016 frente a 4.4 puntos en 2012. El cambio de 2012 a 2016 en la diferencia promedio de los puntos de referencia fue menos dramática para los adultos con niveles más altos de educación formal.

Tendencias en la composición de las muestras de encuestas a lo largo del tiempo

Si bien las muestras de encuestas de marcación aleatoria de dígitos, diseñadas para seleccionar encuestados al azar y, por lo tanto, crear una sección representativa de una población, comienzan generalmente bien equilibradas, ciertos patrones de sesgo demográfico se infiltran rápidamente una vez que comienza el proceso de llamada. Estos son bien conocidos a estas alturas, razón por la cual el Pew Research Center y muchos otros encuestadores se ajustan a los desequilibrios demográficos en la ponderación. La pregunta es si están empeorando con el tiempo. En su mayor parte, este análisis sugiere que la respuesta es no.

Debido a que están más dispuestos a hablar con los encuestadores, las personas mejor educadas están sobrerrepresentadas en la mayoría de las encuestas telefónicas, mientras que algunas minorías raciales, especialmente aquellas para quienes el inglés no es su lengua materna, a menudo están subrepresentadas. Los adultos más jóvenes son más difíciles de contactar y entrevistar para las encuestas, y los habitantes de las ciudades (por una variedad de razones que tienen que ver con el estilo de vida y la demografía) también son más esquivos.

Para combatir estos sesgos, las encuestas se han basado durante mucho tiempo en la ponderación estadística como correctivo de problemas conocidos en torno al conjunto clave de variables demográficas que abarcan aspectos como raza y etnia, edad, género y nivel educativo. Las muestras se comparan con los puntos de referencia del gobierno sobre estas variables demográficas básicas y los datos se ajustan para que las muestras se ajusten a la población. Puede encontrar una discusión más completa sobre la ponderación aquí. Las encuestas con tasas de respuesta más bajas pueden estar más sujetas a este tipo de sesgos. Pero estos sesgos también son una función de aspectos del diseño de la encuesta, como la inclusión de teléfonos celulares en la muestra (lo que ayuda a llegar a un segmento de la población más joven y étnicamente más diverso) o cómo se selecciona a los encuestados dentro de los hogares a los que se llega.

En la medida en que la disminución de las tasas de respuesta pueda estar creando más sesgo de falta de respuesta en las encuestas, la ponderación aplicada para corregir los sesgos debe volverse más agresiva. Esto tiene un costo, ya que la ponderación también da como resultado cierta pérdida de precisión en la muestra y tamaños de muestra efectivos más pequeños. Para evaluar cómo los sesgos en las características demográficas centrales están cambiando con el tiempo, la composición demográfica no ponderada de las muestras del Pew Research Center se comparó con los puntos de referencia del gobierno en cuatro variables clave a lo largo de un cuarto de siglo.

Los gráficos adyacentes ilustran estas tendencias. Cada gráfico traza tres líneas para cada categoría de una de las variables de interés. Por ejemplo, el panel izquierdo del primer gráfico muestra la proporción de la muestra que tiene entre 18 y 29 años. La línea azul claro es la proporción no ponderada de las muestras del Pew Research Center año por año desde 1992 hasta 2016. La línea gris es el punto de referencia para este grupo de edad, calculado a partir de encuestas del censo de EE. UU. La línea azul oscuro es la tendencia del Pew Research Center después de aplicar la ponderación. Debe coincidir estrechamente con la línea de referencia). Como ilustra el gráfico, las encuestas durante los años intermedios de la última década subrepresentaron a los adultos jóvenes en este grupo de edad, un fenómeno impulsado por la rápida adopción de teléfonos celulares. Después de que Pew Research Center comenzó a agregar teléfonos celulares a sus muestras de teléfonos en 2007, el déficit de adultos jóvenes comenzó a disminuir y la precisión en esta variable ha seguido mejorando.

Como demuestran los gráficos, la magnitud de los sesgos observados para la mayoría de las variables ha variado durante este período de tiempo. Pero, en general, los sesgos no son significativamente mayores que en el pasado. Y las muestras por edad, raza y etnia han mejorado en calidad en los últimos años a medida que las muestras telefónicas han incluido más teléfonos celulares y han incorporado otros cambios de diseño, como la inclusión rutinaria de entrevistas en español.

Representar adecuadamente a la población con respecto a los logros educativos sigue siendo quizás el mayor desafío para las encuestas de baja tasa de respuesta. Las encuestas del Pew Research Center, y otras similares, han sobrerrepresentado constantemente a los graduados universitarios y subrepresentados a los que tienen una educación secundaria o menos durante el período examinado aquí. La magnitud de este desequilibrio ha aumentado en los últimos años, pasando de un promedio de 8 a 10 puntos durante las décadas de 1990 y 2000 a 12 a 15 puntos desde 2012. Al mismo tiempo, el déficit de personas no universitarias se ha reducido relativamente consistente, con un promedio de alrededor de 10 puntos desde la década de 1990. Como se mencionó anteriormente, la ponderación ayuda a corregir estos desequilibrios. Aún así, sería conveniente que los investigadores de la encuesta encontraran formas de cerrar esta brecha educativa en la etapa de recopilación de datos en lugar de depender de la ponderación para solucionarla.

Los encuestados telefónicos y los que no respondieron tienen perfiles políticos similares basados ​​en datos de archivos de votantes; los encuestados votan con más frecuencia

En el mundo de las encuestas, el sesgo de falta de respuesta se convierte en un problema cuando aproximadamente el 90% de las personas que no participan en una encuesta determinada son significativamente diferentes del 10% que lo hace. Una forma de saber si esto está sucediendo es aprender más sobre las personas que no responden. Desafortunadamente, esa es una tarea difícil, ya que para cualquier encuesta dada, los llamados 'no respondedores' no han proporcionado ninguna información a los encuestadores. Sin embargo, un recurso de datos en desarrollo - grandes bases de datos nacionales de adultos disponibles comercialmente, su estado de registro de votantes y sus historiales de votación - proporciona una ventana a muchos de estos encuestados que no respondieron.

Para aprovechar esto, los números de teléfono celular que se muestrearon para la encuesta, números paraamboslas personas que respondieron a la encuesta y las que no respondieron, se compararon con una gran base de datos nacional, llamada archivo de votantes, que contiene información sobre el registro de votantes, la participación, el registro de partidos y el partidismo estimado entre la mayoría de los adultos estadounidenses. De los 31,412 números de teléfono celular, 7,698 eran una coincidencia única con el archivo de votantes. De estos, 630 eran encuestados y 7.068 no respondieron, lo que representa el 22% y el 19% de todos los encuestados y no encuestados, respectivamente.

El resultado: entre estos casos emparejados de forma única, una comparación de encuestados y no encuestados encuentra a los encuestados más comprometidos políticamente que los no encuestados, pero casi idénticos en términos de lealtades partidistas, un resultado muy similar al observado en un análisis comparable en 2012.

Los encuestados tenían una probabilidad ligeramente mayor que los no encuestados de estar registrados para votar (85% entre los encuestados frente al 81% entre los que no respondieron) y haber votado en las elecciones de 2012 (62% frente al 52%). La exageración en la participación de 2014 - votando en las elecciones fuera de año que no incluyen una contienda presidencial - es considerablemente mayor (49% entre los encuestados frente al 33% entre los que no respondieron). El archivo de votantes también incluye una medida de la probabilidad de votar en 2016, donde una puntuación de 0 es muy poco probable que vote y 100 es muy probable. La puntuación media de los encuestados fue de 77, mientras que para los que no respondieron fue de 69.

En comparación, no hay evidencia de sesgo partidista en la muestra. Los que participaron en la encuesta se parecen bastante a los que no lo hicieron con respecto a la afiliación partidista. El archivo de votantes incluye un puntaje de partidismo imputado que varía de 0 (la mayoría de los republicanos) a 100 (la mayoría de los demócratas). La puntuación media de los partidistas tanto para los encuestados como para los no encuestados es 58. De manera similar, el registro de votantes del registro de partidos tampoco muestra sesgos: los demócratas registrados eran el 20% de los encuestados y el 20% de los no encuestados; las cifras comparables para los republicanos registrados fueron 14% y 13%.

Aunque restringido solo a los números de teléfono celular que coincidían de manera única con el archivo de votantes, este análisis, que utiliza un enfoque muy diferente, apunta a la misma conclusión que el análisis de tendencias del GSS en la parte superior del informe: a pesar de las bajas tasas de respuesta, bien diseñado y las encuestas telefónicas cuidadosamente ponderadas aún producen información precisa sobre el perfil político del público estadounidense.

Como se señaló anteriormente en la descripción general de las fuentes de datos para este estudio, el análisis del expediente de votantes se basa en casos extraídos de la encuesta telefónica más grande de agosto de 2016 (de la cual el análisis de evaluación comparativa se basó en un subconjunto de casos) para comparar encuestados y no encuestados en medidas de compromiso político y partidismo. El registro de partido se toma de los registros de votantes estatales en los estados que permiten el registro por partido. La afiliación partidista se imputa utilizando una metodología que tiene en cuenta el registro del partido (en los estados donde está disponible), la participación anterior en las primarias partidistas y otra información sobre las inclinaciones partidistas disponible en encuestas o campañas políticas. El registro de votantes y la participación en elecciones específicas se toman de los registros oficiales de cada estado. La propensión a la participación se imputa utilizando una metodología que tiene en cuenta el historial de votaciones anteriores y otras variables.

En total, el 70% de los números de teléfono en el marco de la línea fija que se sabe o se cree que están asociados con adultos que viven en hogares residenciales coincidían con al menos un registro de archivo de votantes, al igual que el 33% de los números de teléfonos celulares muestreados. Para muchos números en ambas muestras, se hicieron coincidencias con varios registros en la base de datos. Varias personas en un hogar pueden estar asociadas con el mismo número de teléfono o el número de teléfono puede haber sido asignado a diferentes personas a lo largo del tiempo. Los números de teléfonos fijos tenían muchas más coincidencias que los números de teléfonos móviles. La inspección de los registros indicó que muchas de estas coincidencias múltiples eran de personas relacionadas en el mismo hogar. Se tomó la decisión de excluir por completo los casos de teléfonos fijos del análisis (y de excluir las coincidencias múltiples en el marco del teléfono celular) debido a la preocupación de que incluir las coincidencias múltiples en realidad sesgaría el análisis hacia no encontrar diferencias entre los encuestados y los no encuestados al introducir más aleatoriedad en los datos de los encuestados. Por lo tanto, el análisis se restringió a los números de teléfonos celulares que coincidían con un solo registro en el archivo de votantes. En total, esto fue el 25% de todos los números de teléfonos celulares llamados para el estudio.

Es importante tener en cuenta que los hallazgos sustantivos que se informan aquí no serían sustancialmente diferentes si se hubieran incluido los casos de teléfonos fijos o si el análisis no se hubiera restringido a los casos con un registro emparejado único.