Este proyecto de innovación docente propone explorar la utilización de modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés), como ChatGPT o Google Bard. Estos modelos han sido entrenados con una amplia gama de datos de internet y son capaces de responder preguntas, generar texto automático o servir como asistente de programación, entre otros muchos usos.

Nuestra propuesta se basa en tres líneas de investigación principales.

1. Primero, planteamos examinar la viabilidad de utilizar LLMs para la evaluación masiva de ejercicios de estudiantes, abarcando ejercicios escritos, problemas matemáticos y exámenes. Disponemos de un conjunto de ejercicios ya evaluados por docentes que podrían servir como base de datos para examinar la precisión de estos modelos. Partiendo de una rúbrica de evaluación predefinida, utilizaremos ChatGPT para generar calificaciones y retroalimentación de forma automática, para después comparar los resultados con las evaluaciones realizadas originalmente por los docentes de forma cualitativa y cuantitativa.
2. En segundo lugar, planteamos explorar el uso de LLMs para mejorar la productividad docente. Nuestro objetivo es evaluar la capacidad de estos modelos para ayudar en la planificación de contenidos, la búsqueda de recursos de aprendizaje, así como la creación de tareas, test y rúbricas de evaluación. Estos resultados requerirán supervisión, pero creemos que la automatización de las tareas más rutinarias puede ayudar al docente a disponer de más tiempo para crear más y mejores contenidos docentes.
3. En tercer lugar, pretendemos que el estudiantado utilice ChatGPT u otros modelos accesibles como asistente de aprendizaje, proporcionando explicaciones claras de conceptos y apoyo en el estudio. Además, buscamos que sirva como una herramienta de exploración e investigación, permitiendo a los estudiantes descubrir y profundizar en nuevos conocimientos de su área de estudio. Para ello, nuestro objetivo es explorar metodologías para su uso de manera responsable y desde una perspectiva crítica.

Creemos que esta innovadora aplicación de la inteligencia artificial en el campo de la educación tiene el potencial de revolucionar la forma en que enseñamos y evaluamos, mejorando tanto la eficiencia de los docentes como la experiencia de aprendizaje de los estudiantes. Para ello, la inteligencia artificial debe introducirse como un recurso más que posibilite a los alumnos alcanzar un mayor nivel de profundidad en los contenidos y permita una mayor calidad en sus tareas, y no como una mera forma de automatizar o sustituir el aprendizaje. Este proyecto es un paso importante hacia la evaluación de las posibilidades y límites de los LLMs en el ámbito educativo. Como docentes, creemos que es urgente abordar la implantación de la inteligencia artificial en el aula para evitar un uso inadecuado de la misma, evitando así agravios comparativos entre estudiantes que utilizan y estudiantes que no utilizan esa tecnología, cuestión que requiere una profunda reflexión y se presenta como un gran desafío para el sistema universitario.

Los objetivos del proyecto son tres y se dividen en los siguientes apartados:

1. Evaluación: Investigar sobre la utilización de modelos LLM para la evaluación masiva de distintos tipos de ejercicios realizados por los alumnos, incluyendo trabajos escritos, problemas matemáticos y exámenes. Específicamente, se buscará desarrollar y perfeccionar un procedimiento que permita a ChatGPT evaluar ejercicios en función de criterios predefinidos y proporcionar una calificación numérica. Este objetivo implica una serie de sub-objetivos como la creación de 'prompts' efectivos, la comparación de las calificaciones del ChatGPT con las realizadas previamente por los docentes, y el análisis de las ventajas y limitaciones del sistema propuesto.
2. Recursos: Evaluar la utilidad de los modelos LLM para mejorar la productividad docente a través de su aplicación en distintos aspectos de la enseñanza. Entre las tareas docentes para las que se considerará el uso de LLM se encuentran: la planificación de unidades didácticas, la búsqueda de recursos educativos, la generación de preguntas para cuestionarios y/o exámenes, así como la creación de actividades y rúbricas. Se buscará comparar los materiales y herramientas generados por los modelos LLM con los existentes para evaluar su calidad, tanto cuantitativa como cualitativamente.
3. Estudiantes: Impulsar el uso activo de ChatGPT como asistente de aprendizaje. El objetivo es fomentar el uso eficiente de ChatGPT por parte de los estudiantes como herramienta de apoyo en su aprendizaje, aclarando conceptos y guiando en el estudio. Promoveremos su uso para explorar e investigar en sus áreas de estudio. Este objetivo incluye la realización de encuestas a los estudiantes para conocer el impacto de estas herramientas en su estudio.

Subvenció concedida: 600€

36414 Datos, ciencia y sociedad

34876 Circuitos Electrónicos

36420 Señales y Sistemas

34797 Señales y Sistemas Lineales

34800 Tratamiento Digital de Señales

33787 Hidrología

36428 Modelos Conexionistas

44652 Análisis de señales

Estudiantes de las asignaturas:

Señales y Sistemas, Modelos Conexionistas, Programación Concurrente y Distribuida, Sistemas Integrados de Fabricación, Biogeografía y Teoría de Redes Eléctricas

Los resultados de este proyecto se han presentado de manera oral en el congreso de innovación docente INRED 2024 en la Universidad Politécnica de Valencia, celebrado los días 11 y 12 de julio, así como en las Jornadas de Innovación de la ETSE, celebradas el día 18 de julio de 2024.
Actualmente, los docentes se encuentran inmersos en la elaboración de una nueva publicación científica que refleje los resultados obtenidos. En este estudio, se ha usado la API de OpenAI para explorar la viabilidad de generar nuevos cuestionarios a partir de preguntas ya generadas por el docente.

El proyecto se centró en tres líneas de investigación principales: evaluación masiva utilizando modelos de lenguaje a gran escala (LLMs), mejora de la productividad docente y apoyo al estudiantado a través de asistentes de aprendizaje basados en IA. A continuación, se describen los resultados obtenidos y el grado de consecución de los objetivos iniciales.
Evaluación utilizando LLMs
En primer lugar, se examinó la viabilidad de utilizar modelos LLM, específicamente GPT-4, para la evaluación masiva de ejercicios escritos, para lo cual se recurrió a la creación automatizada de cuestionarios autocorregibles integrados en el aula virtual de la Universidad de Valencia. Los resultados obtenidos demostraron que GPT-4 puede generar preguntas de manera rápida y flexible, lo que facilita significativamente la creación de cuestionarios autoevaluables y exámenes. Se generaron un total de 689 preguntas para las siguientes asignaturas: Señales y Sistemas, Modelos Conexionistas, Programación Concurrente y Distribuida, Sistemas Integrados de Fabricación, Biogeografía y Teoría de Redes Eléctricas.

Para el acceso a GPT-4, se utilizó tanto la interfaz gráfica de GPT-4 como la API de OpenAI. La API permite el acceso a GPT4 utilizando el lenguaje de programación Python, lo que ofrece posibilidades ilimitadas para personalizar y optimizar aplicaciones educativas.
Para las pruebas de generación de cuestionarios se propusieron dos escenarios, que hemos denominado “sin contexto” y “con contexto”. En el primer escenario, sin contexto, se utilizó la línea de comandos o se envió un prompt al modelo GPT-4, sin proporcionar información adicional acerca de la asignatura o tema para el que se querían obtener preguntas. Simplemente se describió la temática sobre la que se debían realizar las preguntas. Además, se solicitó la respuesta en formato Aiken, ya que este formato es uno de los más sencillos aceptados para ser importado en el Aula Virtual

En el segundo escenario, contextualizado, se facilitó el material relacionado con la asignatura o temas para los que se querían generar entre 10-30 preguntas y se envió un prompt a GPT-4 mediante la API de OpenAI

Cabe destacar que, aunque se optó por el uso de la API de OpenAI, la generación de preguntas tras la lectura de PDF usando el modelo GPT-4 también es posible a través de la interfaz gráfica ChatGPT 4, aunque esta última ofrece menor flexibilidad en el formato de salida de los resultados, limitándose a producir text, pero no un archivo con un formato concreto.
Para cada asignatura, los docentes evaluaron las preguntas generadas por GPT-4 y las clasificaron
en las distintas categorías (ver Figura 1). En el estudio se observó que GPT-4 no solo demuestra una
notable capacidad para generar preguntas de forma autónoma en diversas asignaturas de grado, sino
también para utilizar material en PDF, como diapositivas de presentaciones, guiones de sesiones
de laboratorio y referencias bibliográficas, como contexto para generar preguntas más relevantes y
contextualizadas.

Como se puede observar, cuatro de las asignaturas (MC, PCD, BIGE, TRE) alcanzaron unos niveles de éxito altos (más del 75% de las preguntas generadas correctas o utilizables), mientras que en otras asignaturas como SyS y SIF los resultados fueron menos satisfactorios. Los docentes concluyeron que la cantidad de información presente en la red sobre la asignatura influyó notablemente en la satisfacción de los resultados. Así, las asignaturas más básicas (de primer curso como TRE) o de un marcado ámbito tecnológico (como MC y PCD) se benefician de un contexto más favorable. Aun no siendo totalmente utilizables, en algunos casos las preguntas generadas sirvieron de base para generar otras nuevas mejoradas. Por ejemplo, en el caso de TRE, se cuantificó mediante la distancia de Jaccard el esfuerzo en palabras que requirió la modificación de las preguntas generadas para cada uno de los temas, siendo dicha distancia 0 en algunos temas, no superando en ninguno de los temas el valor 0.25

Este estudio demuestra el potencial de GPT-4 para generar preguntas contextualizadas y relevantes, especialmente al entrenarse con material específico de las asignaturas. El estudio subraya la necesidad de supervisión por parte del docente de los contenidos generados por GPT-4. A pesar de la precisión de este modelo en la generación de cuestionarios, la intervención humana sigue siendo crucial para garantizar la pertinencia y corrección del material generado. Esto destaca la complementariedad entre la inteligencia artificial y la experiencia humana, en lugar de sugerir un reemplazo de una por la otra.
Mejora de la productividad docente
Se exploró el uso de LLMs para mejorar la productividad docente. Particularmente, se evaluó la capacidad de GPT-4 para crear test y evaluaciones automatizadas. Los resultados indicaron que la herramienta puede automatizar de manera efectiva estas tareas rutinarias, permitiendo a los docentes dedicar más tiempo a la creación de contenidos de mayor calidad.
Uso de los LLMs como asistente de aprendizaje para los estudiantes
En algunos casos, se promovió el uso de LLMs entre los estudiantes como asistente de aprendizaje para proporcionar explicaciones de conceptos y apoyo en el estudio. Muchos alumnos vieron positivo su uso, pero no todos compartieron esta opinión. En algunos casos, los estudiantes no tienen un espíritu suficientemente crítico para discernir la información errónea de la correcta. Si bien los LLMs permiten desarrollar tareas de mayor nivel, en algunos casos también pueden llevar a obviar la base del conocimiento, lo que puede crear deficiencias en la comprensión de los temas. Es fundamental la supervisión del docente para fomentar un buen uso de los LLMs y contrastar la información proporcionada por estas herramientas.

El desafío que supone promover un buen uso de los LLM por parte de los alumnos, sugiere que este estudio requiere de más pruebas y análisis de resultados de cara al futuro. Los docentes que participamos en este proyecto consideramos que si bien el uso de estos modelos por parte de los alumnos puede incrementar su productividad, también puede perjudicarles en su comprensión profunda de los temas estudiados, y por tanto, es pronto para establecer una conclusión bien fundamentada sobre el uso de los LLMs como asistente de aprendizaje para los alumnos.