13:00h, charla online.

Idioma: inglés.

Using diagnostic classification models for examining PISA's Collaborative Problem Solving

Lale Khorramdel

IEA's TIMSS & PIRLS International Study Center, Boston College

Collaborative problem solving (CPS) as the innovative domain in PISA 2015 is defined as a critical skill in education and the workforce where individuals solve problems together by combining their understanding, effort and work (OECD, 2017a; Assessment Framework). The CPS test is based on simulated conversations with computer-based agents. Students are instructed to choose an optimal response from a multiple-choice list as part of the conversation, or they need to perform actions programmed in the unit. The items within units are not discrete. As a result, students have a relatively high reading load when tracking the conversation as it evolves throughout the course of the unit. 

The CPS items assess seven subscales, which address (i) individual processes (exploring and understanding, representing and formulating, planning and executing, monitoring and reflecting) and (ii) collaborative competencies (establishing and maintaining shared understanding, taking appropriate action to solve the problem, establishing and maintaining team organization). These are crossed, forming a matrix of twelve CPS skills. However, as intended, the results based on the item response theory (IRT) scaling in PISA 2015 showed that a unidimensional scale could be achieved (OECD, 2017b; Technical Report).

One aim of the current study is to examine whether unidimensionality still holds when the 117 CPS items are scaled jointly with the 103 items from the PISA domain of Reading Literacy, i.e. that CPS measures more than Reading. Moreover, the study examines whether the different CPS subscales provide diagnostic value in addition to an overall test score. We applied uni- and multidimensional IRT models and Diagnostic Classification Models (von Davier, 2005, 2008; von Davier & Rost, 2016) to PISA 2015 data from six English speaking countries (n = 53,989). Results are discussed with regard to the dimensionality of CPS and with regard to the diagnostic value of the CPS subscales. The talk concludes with an outlook on further plans to include process data for innovative scoring of the CPS items with the goal to increase the information of test scores.

Bio

Lale Khorramdel es directora asociada de investigación en Psicometría y Ciencia de Datos en el Centro de Estudios Internacionales TIMSS & PIRLS en el Boston College (EEUU). Doctorada en Psicología en 2010 por la Universidad de Viena, se especializó en Evaluación Psicológica y Psicometría Aplicada. También realizó una formación de posgrado en psicología del trabajo y organizacional, psicología clínica y de la salud, así como psicología del trabajo y organizacional.
Tras trabajar como profesora en la Universidad de Viena (Austria), se incorporó al Educational Testing Service de EEUU, donde fue responsable de la investigación y el trabajo operativo en el área de evaluaciones a gran escala, y liderando el equipo de psicometría de PISA y PIAAC. Su investigación se centró en el modelado psicométrico de datos cognitivos y no cognitivos, la mejora de los diseños de las pruebas, la invarianza y comparabilidad de las puntuaciones, y la implementación de evaluaciones por ordenador. Durante un par de años, trabajó en el National Board of Medical Examiners (NBME, EEUU), donde fue responsable de investigaciones relacionadas con la medición de constructos no cognitivos y competencias de resolución de problemas.
En 2020 se unió al TIMSS & PIRLS International Study Center en el Boston College, donde regresó a su trabajo en el área de evaluaciones internacionales a gran escala. Es responsable de la investigación líder que se centra en el uso de datos de registro y proceso de evaluaciones mediante ordenador, así como en la mejora y extensión de los enfoques de modelos psicométricos en evaluaciones internacionales a gran escala (especialmente TIMSS y PIRLS). También es responsable de diferentes proyectos que desarrollan evaluaciones de alfabetización y aritmética para países en desarrollo y de bajos ingresos, con el objetivo de establecer puntos de referencia internacionalmente comparables para alfabetización y aritmética.