Gender Identity Items and Survey Data Quality

La version française suivra

The Role of Identity Item Design in Promoting Survey Data Quality: A Computational Simulation of Gender Identity Questions and Non-Binary Gender Identities

A poster presentation by Kyle Dewsnap, Ed Kroc, and Bruno Zumbo, delivered to the Canadian Psychological Association’s 85th Annual National Convention. Presentation delivered on June 22nd, 2024 in Ottawa, ON.

Abstract

Background: Traditionally, survey questions assume a binary gender framework, which excludes people who live outside of it. Here, we investigate how a mismatch between a respondent's gender identity and survey response options can affect the inferences made from survey data.

Methods: We design a Monte Carlo simulation of survey research and replicate several populations with different levels of sample size and gender identity distributions, including non-binary identities. We focus our analysis on examining how respondents who are non-binary that are compelled to answer a binary gender item can introduce complexity to survey data.

Results: Regression analysis of simulated data revealed how the behaviour of these unrepresented respondents reduced the quality of survey data and, by extension, confounded the accurate estimation of regression coefficients.

Conclusion: Presenting non-binary individuals with binary gender questions significantly attenuated the estimated differences between gender groups. This demonstrates how survey design choices can impact researchers’ abilities to make valid inferences from survey data.

Impact: Social scientists must better understand how survey questions affect the quality of inferences from survey response data. Future research should continue to investigate and mitigate the potential bias from identity mismeasurement within surveys.

L'impact de la construction des questions d'identité sur la qualité des données du sondage: Une simulation par ordinateur de l'interaction entre les questions d'identité de genre et les personnes non binaires

Une présentation d'affiche par Kyle Dewsnap, Ed Kroc, et Bruno Zumbo, livrée au 85e congrès national annuel de la Société canadienne de psychologie. Présentation livrée sur le 22e Juin, 2024, a Ottawa, ON.

Résumé

Contexte : Les projets de recherche qui utilisent des sondages supposent habituellement une classification binaire du gendre, qui exclut les personnes non binaires. Nous étudions comment les mauvaises classifications entre les genres des participants et leurs réponses à une question de sondage ont un impact sur les résultats d'une analyse de régression.

Méthodes : Nous construisons une simulation Monte-Carlo d'une étude menée par un sondage et définir plusieurs populations avec les différentes répartitions par gendre, incluant un groupe non binaire. Nous examinons comment les réponses produites par les participants non binaires sur une question de genre binaire influencent les résultats d’une analyse des données du sondage.

Résultats : Nos analyses suggèrent que la qualité des données du sondage est affectée négativement par les réponses des participants non représentés. Par conséquent, ils biaisent aussi les résultats des analyses de régression sur les données.

Conclusions : La classification de participants non binaires avec une question sondage masculin/féminin a atténué l’estimâtes des différences entre les groupes de genre dans la population. Celui-ci démontre les conséquences des choix méthodologiques sur la capacité des chercheurs de tirer des conclusions valides à partir des données du sondage.

Impacte : Les chercheurs travaillant dans les études sociales doivent être conscients de l'impact de la construction des sondages sur leurs résultats statistiques. Des recherches supplémentaires sont nécessaires pour définir et réduire l'erreur de mesure dans les sondages de recherche.