8. Resultados de una recopilación de datos de seguimiento

Al analizar los datos, los investigadores identificaron dos problemas que tenían el potencial de afectar las conclusiones del estudio. Primero, la encuesta se diseñó para administrarse de la misma manera para cada una de las seis fuentes en línea. Pero después de que se completó la entrevista, los investigadores descubrieron que había una discrepancia con respecto a si a los encuestados se les permitía omitir preguntas. No se requirió que los encuestados en las dos muestras de reclutamiento por dirección y en la de crowdsourcing respondieran cada pregunta, pero los de las muestras de opt-in sí. Esto presentaba un problema potencial, ya que obligar a los encuestados a responder cada pregunta posiblemente podría afectar su comportamiento y, en particular, su probabilidad de dar respuestas que los señalaran como encuestados falsos. Los investigadores necesitaban saber si la mayor incidencia de encuestados falsos en las muestras optativas era atribuible a esta diferencia. Para encontrar la respuesta, fue necesario volver a enviar la encuesta a las fuentes de suscripción, esta vez sin obligar a los encuestados a responder cada pregunta.


El segundo problema se refería al patrón de respuesta de aprobación de todo. Como se discutió en el Capítulo 2, una pequeña parte de los encuestados respondió con 'aprobar' o 'favorable' cada vez que se formuló una pregunta de este tipo. Este comportamiento se concentró en las muestras opt-in. Como explica este informe, la explicación más probable es que las encuestas de participación voluntaria se utilizan principalmente para la investigación de mercado, por lo que ofrecer respuestas de 'aprobación' de memoria es lógico asumiendo que tales respuestas agradarían al patrocinador. Este es un hallazgo clave porque demuestra que los encuestados falsos, en lugar de simplemente agregar ruido, pueden sesgar ciertas estimaciones.

Una explicación alternativa para el estilo de respuesta de aprobación de todo es lo que se conoce en las encuestas como efecto de primacía. Un efecto de primacía es la tendencia de algunos encuestados a seleccionar las respuestas que se muestran en o cerca de la parte superior de la lista de respuestas. Por ejemplo, en la pregunta sobre el desempeño laboral del presidente, la primera opción de respuesta fue 'Aprobar firmemente' y la última fue 'Desaprobar fuertemente'. Posiblemente, los encuestados que aprueban todo podrían haber estado simplemente seleccionando respuestas cerca de la parte superior, que en este estudio resultan ser positivamente equilibradas. Para probar esto, fue necesario volver a realizar la encuesta, esta vez presentando primero las opciones de respuesta negativa. Si se observara el comportamiento de aprobar todo, incluso cuando tales respuestas se mostraran cerca de la parte inferior, esto mostraría que el comportamiento tiene un propósito y que rotar las opciones de respuesta no ayuda.

Los investigadores abordaron ambas preocupaciones potenciales realizando una recopilación de datos de seguimiento. La encuesta se realizó nuevamente del 2 al 7 de diciembre de 2019 con 10,122 entrevistas del panel de suscripción 1 y 10,165 entrevistas del panel de suscripción 3. Los encuestados de la primera encuesta no fueron elegibles para el estudio de seguimiento. No se utilizó el panel de participación 2 porque no era necesario para responder a las dos preguntas planteadas anteriormente. Las tasas de respuesta falsa y estilo de respuesta de aprobación de todo fueron similares en las tres fuentes de suscripción. Si nos enteramos de que permitir que los encuestados se salten preguntas o rotar las opciones de aprobación / desaprobación aumenta la calidad de los datos en los paneles 1 y 3, sería muy razonable suponer que eso también se aplicaría al panel 2. Los tres paneles de aceptación generalmente se realizaron aproximadamente lo mismo.

La diferencia importante entre el estudio principal y el estudio de seguimiento fue doble. Primero, a los encuestados se les permitió omitir preguntas. En segundo lugar, se administró un experimento de forma dividida. Un 50% aleatorio de los encuestados recibió el mismo orden de respuesta que el estudio principal con respuestas positivas (aprobar / favorables) que se muestran primero, y el otro 50% aleatorio de los encuestados recibió el orden inverso con respuestas negativas (desaprobar / desfavorable) que se muestran primero. El estudio de seguimiento hizo las mismas preguntas que el estudio principal, con dos excepciones menores. Debido a que un nuevo primer ministro británico asumió el cargo entre la primera y la segunda recopilación de datos, el nombre se actualizó en la pregunta (Theresa May a Boris Johnson). Además, se agregó una pregunta de preferencia de idioma para asignar mejor el inglés que el español.


La respuesta de aprobación de todo no es simplemente un efecto de primacíaSi el comportamiento de aprobación de todo fuera simplemente un efecto de primacía (no intencionado), el estudio de seguimiento habría encontrado una tasa más baja del comportamiento cuando las respuestas negativas se mostraban primero, en lugar de en segundo lugar. Pero eso no sucedió.



La incidencia de encuestados que respondieron uniformemente 'aprobar' / favorables fue básicamente la misma, independientemente del orden de la opción de respuesta. En el panel de participación 3, el 3% de los encuestados aprobaron todo cuando se mostraron primero las respuestas positivas, y la misma cantidad hizo esto cuando se mostraron primero las respuestas negativas. El patrón fue el mismo para el panel de suscripción 1, aunque ambas tasas fueron más bajas.


Este resultado indica que la pequeña pero medible proporción de encuestados optativos que aparentemente aprueban sin importar lo que se les pregunte lo hacen intencionalmente. Buscaron las respuestas positivas incluso cuando tuvieron que buscarlas. No estaban seleccionando perezosamente la primera respuesta mostrada. Esto sugiere que la aleatorización de las opciones de respuesta no eliminaría esta fuente de aparente sesgo. Curiosamente, la incidencia general de este comportamiento fue la misma en el estudio de seguimiento que en el estudio principal. Esto refuerza la confianza en la generalización de los principales hallazgos del estudio.

Hay varios otros puntos de datos que vale la pena señalar que desacreditan la noción de que el patrón de aprobación de todo es simplemente un efecto de primacía. Uno podría esperar que aquellos que responden aprueban / favorecen independientemente de la pregunta siempre están seleccionando elprimeroelección de respuesta. Por ejemplo, en una escala de cuatro puntos (p. Ej., 'Muy favorable', 'mayormente favorable', 'mayormente desfavorable' y 'muy desfavorable'), quizás los casos que siempre aprueban seleccionan consistentemente la respuesta más positiva disponible '(muy favorable '). Ese no es el caso. Por ejemplo, cuando el estudio principal solicitó una opinión general de Vladimir Putin, el 45% de los encuestados que siempre aprobaron dijeron 'muy favorable', mientras que el 55% dijo 'mayormente favorable'. La mayoría de los encuestados que aprueban todo seleccionaron la segunda opción, no la primera. Se observó el mismo patrón para las preguntas sobre Merkel, Macron y May.


Además, si los encuestados que aprueban todo simplemente eligieran respuestas cerca de la parte superior de cada pregunta, la mayoría habría respondido incorrectamente a la verificación de atención (o pregunta trampa). De hecho, el 93% de los casos siempre aprobados respondieron correctamente a esta verificación de atención en el estudio principal y un 94% casi idéntico de los casos siempre aprobados lo hizo en el seguimiento. En resumen, una gran cantidad de datos aleatorios y no aleatorios indicaron que el comportamiento de aprobar todo tiene un propósito en gran medida. Puede agravarse cuando se ofrecen opciones positivas primero, pero el estudio de seguimiento mostró que incluso cuando no se ofrecen opciones positivas primero, este pequeño segmento de encuestados optativos las buscará.

El estudio de seguimiento también evaluó si permitir que los encuestados optativos omitieran preguntas reduciría la incidencia falsa. Los investigadores crearon una bandera para casos falsos en el estudio de seguimiento utilizando la misma definición que el estudio principal. En un panel de habilitación, la tasa falsa fuemayorcuando los encuestados podían omitir, mientras que en el otro panel era menor. Para el panel de participación 3, la incidencia de casos falsos fue del 6% en el estudio principal que prohibió omitir a los encuestados optativos, y fue del 8% en el estudio de seguimiento que permitió a los encuestados omitir. Para el panel de participación 1, la incidencia de casos falsos fue del 6% en el estudio principal que prohibió omitir a los encuestados optativos, y fue del 3% en el estudio de seguimiento que permitió a los encuestados omitir. En ninguno de los casos la tasa de encuestados falsos fue tan baja como la de los paneles reclutados por direcciones (1%).

Las encuestas de participación aún tienen tasas más altas de datos falsos cuando los encuestados pueden omitir elementos

En general, la muestra del estudio de seguimiento del panel de suscripción 1 mostró una mejor calidad de datos que la muestra del estudio principal. La incidencia de extremos abiertos non sequitur y los autoinformes de vivir fuera de los EE. UU. Fueron menores en el seguimiento. En el panel de participación 3, por el contrario, la muestra de seguimiento tenía datos de peor calidad que la muestra principal del estudio. La incidencia de respuestas no sequitur y los autoinformes de vivir fuera de los EE. UU. Fueron más altos en el seguimiento. Curiosamente, mientras que ninguno de los encuestados del panel de opt-in 3 plagió una respuesta abierta en el estudio principal, 15 encuestados de ese panel lo hicieron en el estudio de seguimiento (ver Apéndice D). Se extrajeron de varias de las fuentes rastreadas en el estudio principal, incluidos los sitios web de Mount Vernon y la Legislatura del Estado de Washington, así como un sitio web que ayuda a las personas que no hablan inglés a responder '¿Cómo te sientes hoy?'

Si la clave para lograr una buena calidad de los datos fuera permitir que los encuestados optativos se saltaran las preguntas, habríamos visto que las tasas falsas en ambos paneles optativos declinaron en el estudio de seguimiento, tal vez al bajo nivel observado para las direcciones contratadas. muestras. Pero eso no fue lo que paso. El panel de habilitación 1 funcionó mejor cuando no se requirió responder, pero la incidencia de casos falsos fue aún significativamente más alta que los niveles observados en las muestras reclutadas por direcciones. Mientras tanto, el panel de opt-in 3 empeoró, y la incidencia de casos falsos aumentó a un sorprendente 8% en el seguimiento.


Dado que a un panel de opt-in le fue peor cuando se permitió omitir, pero a otro panel le fue mejor, no está claro que exigir a los encuestados que respondan preguntas tenga un efecto fuerte y sistemático en la incidencia de casos falsos. Vale la pena señalar que los paneles optativos 1 y 3 obtienen encuestados de muchas de las mismas empresas de terceros. Solo en este estudio, las fuentes utilizadas por los paneles 1 y 3 incluyen CashCrate, A&K International, DISQO, Market Cube, MySoapBox, Persona.ly, Tellwut y TheoremReach. La variación en la calidad de los datos puede tener más que ver con las proporciones relativas de encuestados que provienen de tales fuentes que con el entorno de respuesta forzada. Este es un tema digno de investigación futura.

En particular, todos los hallazgos clave del estudio principal se replicaron en el seguimiento. Por ejemplo, la mayoría de los encuestados falsos (76%) en el estudio principal aprobaron tanto un control de atención como un control de exceso de velocidad. La proporción de casos falsos que pasaron esos mismos dos controles en el seguimiento fue similar (70%). De manera similar, una proporción sospechosamente alta de casos falsos en el estudio principal informó ser hispana (30%). En el seguimiento esta tasa fue del 31%. El estudio de seguimiento también replicó el hallazgo de que los encuestados falsos pueden tener un pequeño efecto sistemático en las preguntas del tipo de aprobación. Por ejemplo, la proporción estimada que expresa una opinión favorable de Vladimir Putin se redujo cuatro puntos porcentuales (del 20% al 16%) en el estudio de seguimiento cuando los encuestados falsos se eliminaron de la muestra del panel de participación 3, y esta estimación se redujo en uno. punto porcentual cuando se eliminó a los encuestados falsos de la muestra del panel de participación 1 (del 14% al 13%).