Analysis of the Differential Functioning of Items in a Standardized Entrance Test for a Degree Program
DOI:
https://doi.org/10.70208/3007.8245.v6.n1.335Keywords:
Differential item functioning, Standardized test, Fairness, Bias, ValidityAbstract
The objective of this study is to evaluate the differential functioning of the items in a standardized test that measures quantitative reasoning skills for a group of examinees from 2021, 2022, and 2023. The design was non-experimental ex post facto, and the Mantel-Haenszel statistical method was employed. Among the main results, it was found that for the 2021 test, items IT 27, IT 5, and IT 39 from the 2022 test, as well as item IT 38 from the 2023 test, favored males. Regarding the type of school, only for the 2023 test did IT10 favor individuals coming from private schools. Ultimately, it is crucial to conduct these studies and identify the source of bias, thereby enhancing the measurement instrument and promoting greater equity and justice
References
AERA, APA, NCME. (2014). Standards for Educational and Psychological Testing. Washington, Estados Unidos: American Educational Research Association.
Albano, T., French, BF y Vo, TT (2024). Traditional vs Intersectional DIF Analysis: Considerations and a Comparison Using State Testing Data. Applied Measurement in Education, 37 (1), 57–7. https://doi.org/1.1080/08957347.2024.2311935
Arroyo Resino, D. (2018). Funcionamiento diferencial del ítem por sexo en alumnos de educación secundaria. En G. de la Cruz Flores (Coord.), Experiencias educativas en el aula de Infantil, Primaria y Secundaria. (pp. 66-76). Eindhoven, NL: Adaya Press. https://doi.org/1.58909/ad18177496
Chalmers, R. P. (2012). mirt: A Multidimensional Item Response Theory Package for the R Environment. Journal of Statistical Software, 48(6), 1–29. https://doi.org/10.18637/jss.v048.i06
Dorans, N.J. & Holland, P.W. (1992). DIF detection and description: Mantel-Haenszel and standardization 1,2. ETS Research Report Series, 1992: i-40. https://doi.org/10.1002/j.2333-8504.1992.tb01440.x
Fernández, A & Del Valle R. (2013). Desigualdades en Costa Rica: la brecha entre estudiantes de colegios públicos y privados. Análisis de los resultados de la evaluación Internacional PISA. Revista CEPAL, 111, https://www.un-ilibrary.org/content/journals/16820908/2013/111/3
Ferreres Traver, D., Fidalgo Aliste, A. M & Muñiz, J. (2000). Detección del funcionamiento diferencial de los ítems no uniforme: comparación de los métodos Mantel-Haenszel y regresión logística. Psicothema, 12(2), 220-225, https://www.psicothema.com/pdf/552.pdf
Fidalgo, A.M & Scalonb, J.D. (2012). Uso dos Métodos Mantel-Haenszel para a Detecção do Funcionamento Diferencial dos Itens e Software Relacionado. Psicologia: Reflexão e Crítica, 25 (1), https://doi.org/1.1590/S0102-79722012000100008
Fidalgo, AM. (2011). GMHDIF: A Computer Program for Detecting DIF in Dichotomous and Polytomous Items Using Generalized Mantel-Haenszel Statistics. Applied Psychological Measurement, 35(3), 247–249. https://doi.org/1.1177/0146621610375691
Finch, WH, y Hernández Finch, ME (2013). Investigation of specific learning disability and testing accommodations based differential item functioning using a multilevel multidimensional mixture item response theory model. Educational and Psychological Measurement, 73(6), 973–993, https://journals.sagepub.com/doi/epub/10.1177/0013164413494776
García-Medina, A.M., Martínez Rizo, F., & Cordero Arroyo, G. (2016). Análisis del funcionamiento diferencial de los ítems del EXCALE de matemáticas para tercero de secundaria, Revista Mexicana de Investigación Educativa, 21 (71). https://ojs.rmie.mx/index.php/rmie/article/view/507
Gómez Guillén, K. (2025). Evidencias de Validez en la Valoración del Constructo Satisfacción del Estudiantado hacia los MOOCs como Recurso Complementario en el Curso de Precálculo de la Universidad de Costa Rica durante el I Ciclo del 2024. Revista Veritas De Difusão Científica, 6 (2), 5930–5949. https://doi.org/1.61616/rvdc.v6i2.918
Holland, P.W & Wainer, H. (1993). Differential Item Functioning. Educational Testing Service. Routledge.
Jodoin, M. G., & Gierl, M. J. (2001). Evaluating Type I error and power rates using an effect size measure with logistic regression procedure for DIF detection. Applied Measurement in Education, 14 (4), 329–349, https://doi.org/10.1207/S15324818AME1404_2
Magis, D., Bél and, S., Tuerlinckx, F., & De Boeck, P. (2010). A general framework and an R package for the detection of dichotomous differential item functioning. Behavior Research Methods, 42, 847–862. https://doi.org/10.3758/BRM.42.3.847
Martínez Arias, R., Hernández Lloreda, M.J., Hernández Lloreda, M.V. (2014). Psicometría. Alianza Editorial.
Martinková, P., Drabinová, A., Liaw, Y. L., Sanders, E. A., McFarland, J. L., & Price, R. M. (2017). Checking Equity: Why Differential Item Functioning Analysis Should Be a Routine Part of Developing Conceptual Assessments. CBE life sciences education, 16(1), rm2. https://doi.org/1.1187/cbe.16-10-0307
Montero-Rojas, E & Moreira-Mora, T.E. (2017). Funcionamiento diferencial del ítem en pruebas de español y matemática en estudiantes reportados con TDAH. Actualidades Investigativas en Educación, 17 (2), http://dx.doi.org/1.15517/aie.v17i1.28661
Moreira Mora, T. (2008). Funcionamiento diferencial del ítem en pruebas de matemática para la educación media. Actualidades en Psicología, 22, 91-113. https://doi.org/1.15517/ap.v22i109.16
Ordóñez Gutiérrez, G. (2025). Evidencias de Validez de la Prueba de Habilidades Cuantitativas Asociadas a su Estructura Interna. Ciencia Y Reflexión, 4(1), 1184–1202. https://doi.org/1.70747/cr.v4i1.162
Pérez-Gil, J.A., Chacón Moscoso, S., & Moreno Rodríguez, R. (2000). Validez de constructo: el uso del análisis factorial exploratorio- confirmatorio para obtener evidencias de validez. Psicothema. 12 (2). https://www.psicothema.com/pi?pii=601
Portell, M & Vives, J. (2024). Investigación en Psicología y logopedia: Introducción a los diseños experimentales, cuasiexperimentales y ex post facto. Servei de publicacions de la UAB.
Rodríguez Jiménez, O.R., Pineda Miranda, B.A., & Sierra Muñoz, T. (2021). Estudio de Funcionamiento diferencial de los ítems de la prueba EXIM. Encuentro Internacional De Educación En Ingeniería. https://doi.org/1.26507/ponencia.1966
Sánchez Mendiola, M., García Minjarez, M., Martínez González A., & Buzo Casanova, E. (2020). El examen de ingreso a la Universidad Nacional Autónoma de México: Evidencias de validez de una prueba de Alto impacto y gran escala. Revista Iberoamericana de Evaluación Educativa, 13 (2), 107-120, https://doi.org/1.15366/riee202.13.2.006
Silva Morales, F & Santelices Etchegaray, M.V. (2016). Funcionamiento diferencial del ítem en una Evaluación Estandarizada según necesidades Educativas Especiales Transitorias. Revista Iberoamericana de Evaluación Educativa, 9 (1), 145-160, https://doi.org/10.15366/riee2016.9.1.009
Stockemer, D. (2019). Quantitative Methods for the Social Sciences: A Practical Introduction with Examples in SPSS and Stata. https://doi.org/1.1007/978-3-319-99118-4
Suh, Y. (2016). Effect Size Measures for Differential Item Functioning in a Multidimensional IRT Model. Journal of Educational Measurement, 53 (4). https://doi.org/10.1111/jedm.12123
Published
How to Cite
Issue
Section
License
Copyright (c) 2026 Kevin Gómez Guillen, Graciela Ordóñez Gutiérrez
This work is licensed under a Creative Commons Attribution 4.0 International License.
