Mejorando la calidad de los datos en la investigación psicológica aplicada: Prevención y gestión del careless responding por medio de ítems con instrucciones de respuesta

Acrónimo

CARELESSRESPONSE

Código referencia

PID2022-141339NB-I00

Descripción

RESUMEN Y OBJECTIVOS

Careless responding (CR) se refiere a las respuestas descuidadas de las personas que no prestan suficiente atención al contestar un cuestionario (Ward y Meade, 2018, 2022). Su presencia es una fuente de error y amenaza tanto la calidad de los datos como la validez de los resultados de las investigaciones. La prevalencia de careless respondents (entre 3-45%) hace necesario ocuparse del fenómeno de CR, especialmente en las cada vez más habituales recogidas de datos online, donde no se supervisa la administración. Este proyecto propone avanzar en tres cuestiones relacionadas con el CR: 1) clarificar cuál es su naturaleza, 2) determinar cuál es la mejor forma de gestionarlo, y 3) evaluar de qué aspectos contextuales (ej., tipo de instrucciones, longitud del cuestionario, ítems invertidos) depende el CR, lo que permitirá diseñar estrategias para prevenir el fenómeno. Para identificar a los careless respondents se utilizan ítems de respuesta instruida (IRI, Kam & Chan, 2018), en los que se indica a los participantes qué opción de respuesta deben elegir, ya que este método destaca por su sencillez, transparencia y propiedades métricas.

Respecto a la naturaleza del CR, no se sabe si se trata de un patrón de respuesta estable en el tiempo (rasgo), o es una conducta fluctuante (estado). Este proyecto abordará esta cuestión mediante el análisis de datos longitudinales y evaluará qué factores (sociodemográficos y de personalidad) predicen la presencia de CR y su variabilidad en el tiempo. Además, es necesario entender qué patrones de respuesta subyacen al CR (si son realmente descuidos, respuestas aleatorias, o respuestas que implican un error sistemático -como elegir consistentemente una alternativa de respuesta). El presente proyecto aportará luz a esta cuestión mediante un diseño mixto.

Respecto a cómo gestionar el CR, la recomendación tradicional ha sido eliminar a los careless respondents (ej., Abbey y Meloy, 2017; Bowling et al., 2016). Pero otros autores consideran que esta estrategia es problemática y proponen emplear otras, como introducir CR como variable control (ej., Goldammer et al., 2020), o como variable moduladora (ej., Edwards, 2019). Sin embargo, apenas hay estudios al respecto y no existe un consenso sobre cuál es la mejor estrategia. Para avanzar en esta cuestión, este proyecto analizará el impacto que las tres estrategias mencionadas (a. eliminación; b. control; c. modulación, frente a d. uso de la muestra total sin realizar ninguna acción) tiene sobre las propiedades psicométricas de las escalas y sobre los resultados de las investigaciones. Puesto que el impacto de las estrategias puede depender de la proporción de IRI presentados y respondidos incorrectamente, de la proporción de careles respondents y su patrón de respuesta inatento (ej. aleatorio vs. sistemático), el análisis de datos empíricos se complementará con un estudio con datos simulados en el que se manipularán estas condiciones.

Finalmente, en cuanto a las medidas de prevención, este proyecto propone un estudio experimental en que se varíen las instrucciones de cumplimentación de los cuestionarios y su diseño (longitud, proporción de IRI, y presencia (o no) de ítems invertidos), que ayuden a diseñar estrategias preventivas para reducir el CR.

Se persiguen tres objetivos generales:

Objetivo general 1: analizar si la respuesta descuidada representa un patrón de respuesta estable en el tiempo (rasgo), o por el contrario, es una conducta transitoria y fluctuante (estado). Adicionalmente, analizar qué variables (p. ej., sociodemográficas y/o de personalidad) pueden ayudar a predecir la probabilidad de mostrar patrones de respuesta descuidada y la variabilidad intrapersonal en la respuesta descuidada a lo largo del tiempo.

Objetivo general 2: ofrecer evidencia del impacto de la respuesta descuidada en las propiedades psicométricas de las escalas (fiabilidad y validez) y en los resultados de las investigaciones, a partir del uso de diferentes estrategias de manejo de la respuesta descuidada. En concreto, se propone comparar las siguientes estrategias: 1) utilizar la muestra total sin realizar ninguna acción respecto a la respuesta descuidada; 2) utilizar la muestra limpia, tras eliminar a los encuestados descuidados; 3) utilizar la muestra total pero introduciendo la variable respuesta descuidada como variable de control (o factor de método); 4) utilizar la muestra total pero introduciendo la variable respuesta descuidada como variable moderadora.

Objetivo general 3: analizar qué factores contextuales (tipo de instrucciones, longitud del cuestionario, proporción de IRI, presencia (o no) de ítems invertidos) tienen efecto sobre la probabilidad de mostrar patrones de respuesta descuidados.

Investigadores principales: