CONSTRUCCIÓN DE UN BANCO DE ÍTEMS PARA EVALUAR MATERIAS DE INVESTIGACIÓN EDUCATIVA
Natividad Orellana Alonso
Francisco Aliaga Abad
A finales de Junio de 1998 se celebró en las Caletillas (Tenerife)
la III Reunión Estatal del Área de Métodos de Investigación
y Diagnóstico en Educación (MIDE), que en esta edición
se centró en cuestiones relativas a la metodología didáctica
y la evaluación de las asignaturas impartidas por MIDE. Entre las
importantes conclusiones alcanzadas destacamos algunas que se centran en
acciones de futuro. Entre ellas cabe destacar los acuerdos sobre constitución
de grupos de trabajo para seguir profundizando o llevando a la práctica
algunas de las sugerencias allí vertidas. Dichos grupos de trabajo
se deberían centrar fundamentalmente en dos tipos de tareas:
"a) Recopilación de PROGRAMAS de las asignaturas del Área
MIDE de las distintas Universidades, con el fin de ponerlos a disposición
de todos
b) Recopilación de MATERIALES para la docencia elaborados por
el profesorado, así como de PROCEDIMIENTOS DE EVALUACIÓN
para hacer un banco de ítems (en sentido amplio) disponible para
quien lo desee".
Fruto de la tarea encomendada, se ha procedido a la creación de un banco de ítems sobre procedimientos de evaluación de las materias de métodos de investigación. Para ello se estimó pertinente que dicho trabajo fuese el resultado de una colaboración interuniversitaria, siguiendo el espíritu de la propuesta planteada. Puesto que existen fuertes vínculos (geográficos, históricos, administrativos) entre las universidades de Valencia y la de Alicante, se promovió un intercambio de materiales, a la espera de que en el futuro otros profesores de diversas universidades puedan estar interesados en colaborar en este proyecto.
¿Qué se entiende por Banco de Ítems?
En principio, cabría definir el término de "banco de
ítems" como una colección de estímulos recopilado
para una finalidad determinada. Será precisamente esta finalidad
la que determine el formato e incluso la información complementaria
con la que habrá de construir dicho Banco. A este respecto, Umar
(1997) distingue tres niveles distintos de complejidad en los bancos de
ítems:
1. Nivel básico: se trataría de una colección
de ítems atendiendo sencillamente a los criterios de estar bien
redactados y considerarse válidos para un fin determinado. La definición
propuesta por Millman (1984) -"una colección relativamente grande
de elementos de medida fácilmente asequibles"- se ajustaría
a este nivel.
2. Nivel de validación empírica tradicional: en este
tipo de banco de ítems se analizan las características psicométricas
clásicas de cada ítem, tales como índice de dificultad,
índice de discriminación, distribución de las respuestas,
etc. a Este nivel correspondería la definición propuesta
por Choppin (1981a): "colección de ítems de medida organizados
y catalogados para tomar en cuenta tanto su contenido como las características
métricas".
3. Banco de ítems calibrado: Se trata de aquellos bancos que
están basados en la Teoría de Respuesta al Ítem (TRI),
a partir de la cual se realiza la validación, calibración
y puntuación de los ítems, además de la construcción
de la prueba en su conjunto. Un ejemplo de esta concepción podemos
verlo en Rodríguez., García y Gil, 1995).
Ventajas y limitaciones de un banco de ítems
Son varios los autores que han analizados las ventajas que puede aportar
un banco de ítems (Choppin, 1981b; Umar, 1990,1997), especialmente
para los profesores. Entre las principales cabe citar:
§ Calidad: la calidad de los instrumentos de medida puede mejorar
cuando hay una buena cantidad de ítems adecuados disponibles.
§ Eficiencia: El profesor necesita mucho menos esfuerzo y tiempo
para construir un instrumento de evaluación, por lo que puede dedicarse
más y mejor a la docencia.
§ Adaptación: Se puede construir una prueba específica
para un determinado tipo de examinandos, adaptándola a sus circunstancias
específicas, cuando se tiene una amplia panoplia de elementos disponibles.
§ Colaboración: Si el banco es construido por diversas
personas, se pueden recoger perspectivas y planteamientos complementarios
a ayuden a cubrir mejor un determinado dominio.
§ Economía: Cada año un gran número de profesores
redactan una gran cantidad de ítems para evaluar sus materias que
sólo se utilizan una vez y suelen descartarse para ocasiones sucesivas.
§ Seguridad: cuando se dispone de bancos de ítems suficientemente
grandes como para cubrir íntegramente los distintos dominios instruccionales
de una materia, el que algunos alumnos pretendan aprenderse todas las posibles
respuestas no les sale a cuenta, y en cualquier caso asegura una adecuada
medida de todo el contenido de la asignatura.
Sin embargo, a pesar de todas estas ventajas, es evidente que
también existen algunos problemas y limitaciones para los bancos
de ítems. Así, los diversos planteamientos que puedan tener
las diferente personas que los construyen pueden plantear problemas de
validez de contenido e incluso de interpretación de las respuestas.
Otro problema evidente son el costo que resulta de la fase de
construcción del Banco, ya que requiere una gran cantidad de tiempo
de personal especializado. Igualmente, la necesaria participación
de un número de colaboradores suficientemente amplio implica una
importante labor de coordinación, para la cual no siempre hay disponibles
los recursos (fundamentalmente humanos) necesarios.
Características de nuestro Banco de Ítems para evaluar
Métodos de Investigación en Educación
Los exámenes de una materia académica pueden considerarse
pruebas referidas al domino (Baker, 1988), por lo que los bancos de ítems
para construirlos habrán de tener algunas características
peculiares. En especial si esas pruebas están concebidas no sólo
como un método de evaluar a los alumnos sino también la docencia.
Desde esta perspectiva, la identificación de conceptos que no se
han comprendido o lagunas en los conocimientos de algún apartado,
han de ejercer un efecto de feedback que permita mejorar y corregir la
docencia en cursos sucesivos. De hecho, esta finalidad de ayuda a la docencia
es uno de los principales objetivos que nos han movido a la creación
del Banco de Ítem.
Por este motivo entendemos que, aunque han de analizarse las características
psicométricas de cada uno de los ítems del banco (nivel 2
de los planteados por Umar, 1997: vid. supra), no tiene sentido considerar
dichos datos como consistentes ni relevantes, ya que dependen directamente
de las condiciones de la docencia y de los alumnos en cada situación
específica. Debido a ello, la configuración que hemos establecido
para nuestra base de datos no incluye referencias a tales datos sobre los
ítems, aunque estos se calculen tras cada aplicación de las
pruebas, ya que existen notables diferencias en los resultados obtenidos
de un vez a otra.
Como elementos de una prueba de evaluación referida al dominio,
los ítems que forman parte de un examen han de adecuarse a unos
objetivos previamente establecidos. En nuestro caso, hemos aprovechado
la descripción de objetivos de la docencia en Métodos de
Investigación Educativa desarrollados por uno de los autores (Aliaga,
1998), a partir de una línea de trabajo previa la Unidad Docente
de Métodos, Medición y Evaluación del Departamento
MIDE de la Universidad de Valencia.
Una característica peculiar del Banco de Ítems aquí
presentado se refiere a que la mayoría de los elementos que
lo integran son pruebas objetivas. Aunque no hay ninguna limitación
teórica que impida utilizar también otro formato de preguntas,
las características particulares en las que desarrollan su docencia
los autores (con incluso más de cuatrocientos alumnos por profesor)
han aconsejado utilizar, fundamentalmente, este tipo de preguntas, aunque
se complementan también con otro tipo de estímulos, generalmente
desarrollo de casos prácticos.
Para ilustrar el tipo de elementos que conforman este Banco de Ítems
presentamos una selección de aquellos que se corresponden con el
objetivo "conocer las principales amenazas a la Validez Interna".
Un diseño de investigación del tipo O X O no puede presentar,
en ningún caso, como amenaza a la Validez Interna laa) Historiab)
Maduraciónc) Instrumentaciónd) Selección La ambigüedad
sobre la dirección de la relación causal:a) puede darse en
cualquier tipo de investigaciónb) sólo puede darse en estudios
descriptivosc) sólo puede darse en estudios experimentalesd) es
una amenaza a la validez externa
Si realizamos una selección aleatoria de los sujetos que van
a participar en nuestra investigación, conseguimos reducir o eliminar,
como amenaza a la Validez Interna,a) las expectativas del investigador.b)
la maduración.c) la administración del instrumento de medida.d)
ninguna de las anteriores. Utilizar un mismo instrumento para medir la
Variable Dependiente tanto en el pre-test como en el post-test puede provocarnos
un problema de:a) selecciónb) instrumentaciónc) ambigüedad
sobre la dirección de la relación causald) administración
de test
La amenaza referida a acontecimientos que pueden ocurrir entre el pretest
y el posttest es la de:a) Instrumentación. b) Selección.c)
Interacción.d) Ninguna de las anteriores Podemos estar seguros de
que en los diseños “entre” NO podremos encontrar una amenaza de:a)
Maduración.b) Administración de la prueba.c) Selección.d)
Ninguna de las anteriores.
Tras aplicar un cursillo de verano a los 10 alumnos con peor rendimiento
del curso, se observa una mejora de la media de sus notas. La conclusión
de que esos cursillos son eficaces está amenazada por:a) ambigüedad
de la dirección de la relación causal.b) regresión
a la mediac) mortalidadd) ninguna de las anteriores. En una investigación
sobre los colegios A y B observan que, comparando las notas de principio
de COU con la obtenida en el Selectivo, el colegio B ha mejorado más.
Concluyen que el B es mejor colegio. Existe una amenaza de:a) Maduración.b)
Instrumentación.c) Selección.d) Ninguna de las anteriores
Se ha observado que la media de ingresos familiares de los alumnos
de una promoción universitaria es sensiblemente mayor en 5º
curso que en 1º. Esto puede deberse a:a) Administración de
pruebas.b) Selecciónc) Mortalidadd) Ambigüedad de la dirección
de la relación causal. Se quiere comparar la mejora de la socialización
en 2º de Primaria en dos grupos con pretest y post-test, de los que
sólo uno recibe el programa de intervención. El grupo A realizó
una visita de 5 días de duración a una granja/escuela durante
este periodo. Por tanto puede haber un problema de:a) Historia.b) Interacción
selección-historia.c) Regresión a la media.d) Ninguna de
las anteriores
Puesto que las principales ventajas que proporciona un Banco de Ítems se consiguen a medida que éste alcanza mayor tamaño, creemos conveniente invitar a otros profesores de distintas universidades a integrarse en el proyecto y compartir su trabajo, tal y como ha recomendado formalmente la III Reunión Estatal del área MIDE en las Caletillas.
Bibliografía
Aliaga, F. (1998). Proyecto Docente de Bases Metodológicas de
la Investigación Educativa. Documento no publicado. Universidad
de Valencia
Baker, E.L. (1988). Domain-referenced Tests. En J. Keeves (Ed.) Educational
Research, Methodology, and Measurement, pp. 370-372. Oxford: Pergamon
Choppin, B.H. (1981a). Educational measurement and the item bank model.
En C. Lacey y D. Lawton (Eds.) Issues in Evaluation and Accountability.
Londres: Methuen.
Choppin, B.H. (1981b). Principles of Item Banking . Material no publicado.
MIDE (1998). Actas de la III Reunión Estatal del Área
de Métodos de Investigación y Diagnóstico en Educación
(MIDE). 24-26 de junio en las Caletillas (Tenerife). Documento electrónico
accesible en http://www.uv.es/aidipe/reunion3.html
Millman, J. (1984). Individualizing test construction and administration
by computer. En R. Berk (Ed.), A guide to Criterion-referenced Test Construction.
Baltimore (Maryland):John Hopkins University Press.
Rodríguez,G. García, E. y Gil, J. (1995). Construcción
de un Banco de Ítems bajo los supuestos de la TRI: comparación
de dos métodos de equiparación de parámetros. En AIDIPE,
Estudios de Investigación Educativa en Intervención Psicopedagógica,
pp. 187-189. Valencia: AIDIPE.
Umar, J. (1990). Development of an examination system based on calibrated
item bank networks. Informe no publicado. Stanford (California):Stanford
University.
Umar, J. (1997). Item banking. En J. Keeves (Ed.) Educational Research,
Methodology, and Measurement 2ª Edición. Oxford: Pergamon.
923-930.