13:00h, xarrada online.

Idioma: anglès.

Using diagnostic classification models for examining PISA's Collaborative Problem Solving

Lale Khorramdel

IEA's TIMSS & PIRLS International Study Center, Boston College

Collaborative problem solving (CPS) as the innovative domain in PISA 2015 is defined as a critical skill in education and the workforce where individuals solve problems together by combining their understanding, effort and work (OECD, 2017a; Assessment Framework). The CPS test is based on simulated conversations with computer-based agents. Students are instructed to choose an optimal response from a multiple-choice list as part of the conversation, or they need to perform actions programmed in the unit. The items within units are not discrete. As a result, students have a relatively high reading load when tracking the conversation as it evolves throughout the course of the unit. 

The CPS items assess seven subscales, which address (i) individual processes (exploring and understanding, representing and formulating, planning and executing, monitoring and reflecting) and (ii) collaborative competencies (establishing and maintaining shared understanding, taking appropriate action to solve the problem, establishing and maintaining team organization). These are crossed, forming a matrix of twelve CPS skills. However, as intended, the results based on the item response theory (IRT) scaling in PISA 2015 showed that a unidimensional scale could be achieved (OECD, 2017b; Technical Report).

One aim of the current study is to examine whether unidimensionality still holds when the 117 CPS items are scaled jointly with the 103 items from the PISA domain of Reading Literacy, i.e. that CPS measures more than Reading. Moreover, the study examines whether the different CPS subscales provide diagnostic value in addition to an overall test score. We applied uni- and multidimensional IRT models and Diagnostic Classification Models (von Davier, 2005, 2008; von Davier & Rost, 2016) to PISA 2015 data from six English speaking countries (n = 53,989). Results are discussed with regard to the dimensionality of CPS and with regard to the diagnostic value of the CPS subscales. The talk concludes with an outlook on further plans to include process data for innovative scoring of the CPS items with the goal to increase the information of test scores.

Bio

Lale Khorramdel és directora associada de recerca en Psicometria i Ciència de Dades en el Centre d'Estudis Internacionals TIMSS & PIRLS al Boston College (EUA). Doctorada en Psicologia el 2010 per la Universitat de Viena, es va especialitzar en Avaluació Psicològica i Psicometria Aplicada. També va realitzar una formació de postgrau en psicologia de la feina i organitzacional, psicologia clínica i de la salut, així com psicologia de la feina i organitzacional.
Després de treballar com a professora a la Universitat de Viena (Àustria), es va incorporar a l'Educational Testing Service dels EUA, on va ser responsable de la investigació i el treball operatiu a l'àrea d'avaluacions a gran escala, i liderant l'equip de psicometria de PISA i PIAAC. La seva investigació es va centrar en el modelatge psicomètric de dades cognitius i no cognitius, la millora dels dissenys de les proves, la invariància i comparabilitat de les puntuacions, i la implementació d'avaluacions per ordinador. Durant un parell d'anys, va treballar al National Board of Medical Examiners (NBME, EUA), on va ser responsable d'investigacions relacionades amb el mesurament de constructes no cognitius i competències de resolució de problemes.
El 2020 es va unir a l'TIMSS & PIRLS International Study Center al Boston College, on va tornar al seu treball en l'àrea d'avaluacions internacionals a gran escala. És responsable de la investigació líder que se centra en l'ús de dades de registre i procés d'avaluacions mitjançant ordinador, així com en la millora i extensió dels enfocaments de models psicomètrics en avaluacions internacionals a gran escala (especialment TIMSS i PIRLS). També és responsable de diferents projectes que desenvolupen avaluacions d'alfabetització i aritmètica per a països en desenvolupament i de baixos ingressos, amb l'objectiu d'establir punts de referència internacionalment comparables per alfabetització i aritmètica.