Los resultados son la razón por la que investigamos, y las encuestas no son una excepción. Los resultados de la encuesta pueden ayudar a proporcionar información significativa, dar forma a planes de productos, confirmar o refutar hipótesis y ampliar ideas originales.
El propósito de las encuestas y la investigación no moderada es obtener conocimientos a partir de las percepciones. Para tener una idea, necesita datos precisos; Esto no siempre es fácil de encontrar. Siempre existe la posibilidad de que el sesgo se infiltre y evite que se logren resultados significativos. En el momento en que se ensucia las uñas examinando pilas de hojas de cálculo de Excel, a veces es demasiado tarde para detectar sesgos y esto conduce a resultados y preguntas incorrectos.
Contenido del Articulo
Sesgo de contenido y diseño
Consideraciones como la marca de la encuesta, la creación de prototipos, las preguntas prospectivas y de relación, el orden de las preguntas y el sesgo de deseabilidad social afectan la encuesta en sí.
En el corazón de cualquier encuesta se encuentra el contenido, el diseño y el desarrollo centrados en respuestas objetivas y claridad.
El diseño de la encuesta parece el tipo de sesgo que más controlamos. Podemos realizar una encuesta identificando sesgos en las preguntas, eliminando logotipos y menciones de marca innecesarios, eliminando cualquier expresión implícita y agregando opciones adicionales para preguntas específicas. El hecho de que esto esté bajo nuestro control no significa que todo irá siempre bien.
Vale la pena destacar un punto a la hora de analizar los resultados: las encuestas centradas en datos instantáneos (las encuestas políticas y las encuestas de COVID son buenos ejemplos de esto) a menudo pueden dar lugar a respuestas obsoletas. Las noticias cambian tan rápidamente que a menudo los datos están desactualizados incluso antes de que se complete la encuesta. Entonces te encuentras en una posición incómoda cuando escribes noticias de hace dos semanas, tratando de escribir una encuesta que predice el futuro.
¡No todos podemos hacer esto! No todos somos escritores de Simpson
Lisa Simpson como futura presidenta y vicepresidenta Kamala Harris. Los fanáticos de Los Simpson creen que los escritores predijeron la inauguración de Kamala Harris.
Sesgo en la etapa de recopilación de datos
Al encontrar participantes, errores como el sesgo de muestreo, el sesgo de requisitos, el sesgo de respuesta y la ausencia de sesgo de respuesta, nuevamente, sesgan los datos que recibe.
Involucre a la audiencia adecuada para participar en las encuestas en el momento adecuado, de modo que obtenga los mejores resultados para confirmar o refutar su hipótesis original. Esto es más fácil decirlo que hacerlo con presión externa y equipos de investigación no verificados. Pero si tuviéramos que desarrollar una aplicación de servicios financieros, necesitaríamos información de antecedentes sobre las experiencias financieras previas de los participantes para asegurarnos de que todos los que participan son “aptos” para el producto.
En muchos sentidos, el sesgo de los encuestados se reduce al hecho de que a muchas personas les resulta difícil tener esto en cuenta. Encontrar a las personas adecuadas es más importante que reunir a tantas personas como sea posible.
A todos nos gustaría 2.000 encuestados interesados, pero es probable que más del 15% de los participantes apresuren las encuestas, hagan clic en las respuestas extremas y no participen en la encuesta en sí. Igualmente importante, somos conscientes de esto y descalificamos a los participantes utilizando las reglas que podemos crear durante la fase de análisis.
Algunas reglas pueden ser; descalificar a cualquier participante que se tome menos de 3 minutos para completar una encuesta, o descalificar a cualquier participante que marque la casilla “Estoy totalmente de acuerdo” por cada respuesta. Pueden filtrar los peores datos o datos y dar lugar a resultados menos sesgados.
Sesgo de análisis de datos
Cuando miramos los datos, es importante recordar que no somos participantes. Ejemplos de correlación y causalidad, la correlación entre las películas de Nicolas Cage y el número de personas que se ahogan al caer en una piscina no siempre es precisa.
Gráfico que muestra la correlación entre el número de personas que se ahogaron por caer en una piscina con las películas en las que apareció Nicolas Cage. El coeficiente de correlación es del 66,6%. Fuente: https://www.tylervigen.com/spurious-correlations
En cambio, podemos mirar lo que muestran los datos, en lugar de por qué. Cuando mire los datos por primera vez, simplemente tache los números. No intente entrar en detalles de inmediato. Tu cerebro usará diferentes lados para calcular las habilidades numéricas y la creatividad. Concéntrese en trabajar un lado a la vez.
Evaluación de la precisión de la investigación
En el punto más importante, analizamos cómo eliminar la imprecisión con un buen diseño, participantes excepcionales y tocamos el sesgo en la fase de análisis, pero ahora observamos el cálculo de errores en el estudio para determinar cómo se comparan los resultados con los valores de la población. .
La precisión de la encuesta debe reflejar el tamaño real de la población más o menos cualquier error. En resumen, una encuesta se considera precisa si se acerca a la verdad en mediciones repetidas.
Cuanto más repetimos encuestas entre audiencias similares, más nos acercamos a la supuesta “.Verdadera población“. Pero, ¿cuándo fue la última vez que repetimos la encuesta? Aquí calculamos el llamado intervalo de confianza. La medida más común del error de muestreo en las encuestas es el intervalo de confianza del 95%.
La descripción más simple del intervalo de confianza del 95% es: “Si repite la misma encuesta muchas veces y mide el mismo indicador utilizando la misma metodología y el mismo tamaño de muestra, el 95% de los resultados de estas encuestas tendrán intervalos de confianza que se superponen con el valor real de ese indicador en la población”. (Fuente: http://conflict.lshtm.ac.uk/page_47.htm).
Para simplificar, si repite la encuesta, sus respuestas serán 95% precisas cada vez. Sí, es una suposición, pero con este rango, podemos calcular la probabilidad de que los resultados se acerquen al valor real de la población. Con intervalos de confianza, podemos calcular la precisión y el número de errores de muestreo, lo que nos dará una idea de qué tan cerca estamos del valor real de la población.
Pero, lamentablemente, con buena precisión e intervalo de confianza, no podemos decir que esto sea representativo del tamaño real de la población. Todavía hay algunos elementos que debemos proporcionar, y esto nuevamente conduce a sesgos.
El objetivo siempre debe ser identificar y minimizar el sesgo, no asumir que el sondeo objetivo ha eliminado el sesgo.
Cavando mis uñas en los datos
Es muy fácil mirar los datos y luego obtener información sobre cada tema, pero hay algunas cosas a considerar antes de profundizar en los detalles.
Volver a metas
Con todo el entusiasmo de las ideas, a menudo es fácil olvidar cuáles son los objetivos de la investigación, no se trata solo de nuestras propias percepciones, sino de personas que están involucradas en el análisis de datos y la investigación, pero que no son partes interesadas ni participan en el establecimiento de objetivos. no estará al tanto de las áreas de estudio. Informe brevemente a los analistas de datos y redefina los objetivos usted mismo para aprovechar al máximo los resultados y encontrar las ideas correctas.
Mira la segmentación
Antes de analizar los datos, observe los segmentos que desea dividir y el número de participantes en cada división. Esto le dirá si la encuesta está lista para cerrarse o si necesita expandir ciertas áreas. En última instancia, si está encuestando a los dueños de mascotas en todo el país y solo tiene 4 dueños de perros galeses, es posible que deba expandir esta área antes de informar las opiniones de todos los dueños de perros en la región.
Elimina errores y anomalías sistemáticos antes del análisis.
“¡Hurra! La encuesta ha terminado. ¡Pongámonos manos a la obra y obtengamos los resultados lo más rápido posible!”
Estoy 100% de acuerdo con la eficiencia, pero detengámonos un segundo. ¿Cómo podemos eliminar el sesgo antes de sacar conclusiones de las encuestas? La forma más fácil es mirar el tiempo que tomó completar las encuestas, múltiples direcciones IP (si están generando encuestas correctamente) para asegurarse de que varias personas no estén tratando de postularse y filtros en los datos para excluir a las personas que hacen clic en la mayoría de las veces. respuestas extremas … Este filtrado y exclusión solo puede borrar el 10% de los datos, pero significará que los conocimientos y los resultados serán más precisos, el 10% de cada 100 participantes pueden rechazar los datos en un 9%, así que asegúrese de mirar esto antes de informar los hallazgos.
Amplíe los datos de calidad si es necesario
Algunos de los participantes lo intrigarán con sus respuestas, especialmente cuando analicen datos para preguntas de texto sin formato más largas. A veces, los participantes dan muchos detalles sobre estas respuestas, y esto requiere más contexto, comentarios y más preguntas. Aquí es donde entra la reserva de sesiones de retroalimentación 1: 1 basadas en investigación cuantitativa, y donde los resultados cuantitativos y cualitativos pueden comenzar a trabajar juntos.
Los datos son lo primero
La multitarea es difícil. No puedo hacer esto de manera eficiente. El análisis de datos consta de 3 etapas. ¡Ya hemos cubierto los tres en este artículo!
- Limpieza de datos: eliminación de respuestas fraudulentas
- Análisis de datos: ver números y porcentajes
- Obtener información: comparar los resultados con nuestros objetivos
Estas tres etapas de datos requieren diferentes habilidades. En lugar de mirar pregunta por pregunta, intente clasificar todo el análisis de los datos y luego pase al análisis. La razón es que estas tareas requieren diferentes niveles de concentración, habilidades y partes del cerebro. Es mejor concentrarse y completar una tarea que responder una pregunta.
Obtener los resultados correctos de la encuesta y el análisis se reduce a dos elementos principales. Los datos en sí y la alineación de los hallazgos con los objetivos originales del proyecto.
Súper guía de investigación
La guía completa de investigación de UX para principiantes
La investigación de UX, o, como a veces se le llama, investigación de diseño, informa nuestro trabajo, mejora nuestra comprensión y valida nuestras decisiones durante el proceso de diseño. En esta Guía definitiva para principiantes, los lectores obtendrán información sobre cómo utilizar las técnicas de investigación de diseño en su trabajo y mejorarán la experiencia de todos los usuarios.
