La presentación de ChatGPT en noviembre de 2022 por parte de OpenAI marcó un hito en el campo de la IA y el procesamiento de lenguaje natural (NLP). El impacto de los Modelos Grandes del Lenguaje (LLM) de los cuales ChatGPT es el ejemplo más conocido, se ha sentido en muchas áreas. En el ámbito educativo, ha mejorado el acceso a la información y ha facilitado el aprendizaje interactivo. Los estudiantes pueden realizar consultas y obtener respuestas detalladas y precisas acerca de conceptos de las asignaturas. 
En este proyecto se pretende realizar la implementación y la puesta en funcionamiento de una herramienta basada en búsqueda semántica soportada por una LLM para ayudar al alumnado a buscar y completar información acerca de conceptos y temas vistos en diversas asignaturas de diferentes titulaciones de grados de ingeniería y máster de la ETSE-UV. 
El proyecto se dividirá en las siguientes fases:  
Fase 1: a) Implementación de un sistema de búsqueda semántica basado en Large Language Models (LLM).
b) Codificación del material de diferentes asignaturas usando el LLM seleccionado. 

Fase 2: Desarrollo de un servicio cliente-servidor que permita recuperar información de los conceptos de una asignatura mediante preguntas en lenguaje natural a la LLM. Se usarán técnicas de virtualización para facilitar la instalación multiplataforma. 

Fase 3: Pruebas con alumnos en el curso 2023/24 para evaluar la usabilidad y utilidad de la herramienta. Se usará en trabajos y actividades de la asignatura. Se analizará el uso de la herramienta a través del uso del servidor, y se recopilarán cuestionarios de evaluación realizados por el alumnado que la utilice. 
Para concluir, el desarrollo y uso de esta herramienta como consulta de contenidos puede aportar mayor precisión al estar adaptadas las respuestas al material usado en las asignaturas, mayor privacidad al no enviar las preguntas a sistemas de terceros, y un efecto motivador para el alumnado al usar tecnología novedosa.

El objetivo principal del proyecto es el estudio de la efectividad que un sistema basado en LLM para la recuperación y contextualización de los contenidos de una asignatura puede tener como herramienta de ayuda al estudio de asignaturas de la ETSE-UV. El presente proyecto se enmarca en la línea estratégica general 1 “Metodologies actives per a afavorir l’aprenentatge profund de l’alumnat“ ya que se pretende presentar una nueva metodología de asistencia al estudio y recuperación de información basada en las nuevas herramientas de tipo Chat-GPT(LLMs) que han aparecido recientemente. Dentro de las líneas estratégicas complementarias, nuestra propuesta se relaciona con las siguientes: “Ús de les TIC com a facilitadores de l’aprenentatge i com a recurs didàctic“ y “Foment de la competència digital en l’alumnat”, debido a que el prototipo presentado al alumnado consiste en una aplicación software que actuará como un nuevo recurso didáctico para recuperar y procesar de manera más estructurada los contenidos de las asignaturas, a través de un dialogo con LLM mediante lenguaje natural. Las búsquedas semánticas basadas en LLM son un campo nuevo que está impactando enormemente en ámbito docente desde la aparición de Chat-GPT en noviembre de 2022. Esta tecnología abre nuevas puertas al tratamiento de información textual, así como a la redacción de documentos y permite nuevas formas de recuperación de la información en textos basada en significado (y no en la búsqueda de palabras) que es el aspecto principal que se pretende explorar en este proyecto). En general las asignaturas de los grados de ingeniería contienen un gran número de conceptos e información de diverso tipo. Contextualizar y relacionar los conceptos es una tarea fundamental por parte del alumno que requiere identificar en los contenidos proporcionados aquellos que están relacionados entre sí por su contexto, significado o funcionalidad. Creemos que una herramienta como la propuesta será útil en la tarea del alumno de referenciar información en los documentos de trabajo habituales proporcionados en las asignaturas, permitiendo así mismo, contextualizar dicha información encontrando relaciones con otros conceptos. Estamos seguros de que estas tecnologías se incorporarán más pronto que tarde al conjunto de técnicas (como internet) puestas a disposición del alumno en su tarea de asimilar contenidos de una asignatura, y queremos experimentar en este proyecto algunas de sus posibilidades y la respuesta del alumnado a las mismas.

100

36480 - Fundamentos de Informática gráfica (2º Curso, primer cuatrimestre del grado de Ingeniería Multimedia) (60 estudiantes) • 36427 - Agrupamiento y variedades (3er curso, primer cuatrimestre del grado de Ciencia de Datos) (70 estudiantes) • 44831 - Gestión y Distribución de Contenidos Multimedia - GDCM (primer cuatrimestre del máster de Tecnologías Web, Computación en la Nube y Aplicaciones Móviles) (20 estudiantes) • 34678 - Fundamentos de Redes de Computadores – FRC (2º curso, primer cuatrimestre del grado de Ingeniería Informática) (45 estudiantes)34847 – Fundamentos de Redes de Computadores – FRC (2º curso, segundo cuatrimestre del grado de Ingeniería Multimedia) (50 estudiantes) • 34801 - Fundamentos de Redes de Computadores – FRC (2º curso, primer cuatrimestre del grado de Ingeniería Electrónica de Telecomunicaciones) (60 estudiantes) • 34884 - Fundamentos de Redes de Computadores – FRC (1er curso, segundo cuatrimestre del grado de Ingeniería Telemática) (65 estudiantes) • 34857 - Programación Hipermedia (2º curso, segundo semestre del grado de Ingeniería Multimedia) (70 estudiantes) • 34888 - Programación (3er curso, primer cuatrimestre del grado en Ingeniería Telemática) (60 estudiantes) • 44824 - Computación en la Nube (segundo cuatrimestre del Máster en Tecnologías Web, Computación en la Nube y Aplicaciones Móviles) (24 estudiantes). • 44824 – Centros de Datos y Virtualización (primer cuatrimestre del máster de Tecnologías Web, Computación en la Nube y Aplicaciones Móviles) (20 estudiantes) • 34678 - Fundamentos de Redes de Computadores - FRC (2º curso, primer cuatrimestre del grado de Ingeniería Informática) (45 estudiantes) • 34830 - Entornos de Usuario (segundo cuatrimestre del segundo curso del grado Ingeniería Multimedia, 60 estudiantes) • 34846 - Simulación (3er curso del Grado de Ingeniería Multimedia, 40 estudiantes)

Se han presentado los resultados consistentes en la descripción de la herramienta y en el experimento realizado sobre el alumnado de la asignatura Programación Hipermedia de segundo curso del grado en Ingeniería Multimedia en dos foros:
 X Jornadas de Innovación educativa de la Universitat de València realizadas el 8 de Julio de 2024 en la Facultat de Farmàcia.
 Jornada de Innovación educativa de la ETSE-UV realizada el 18 de julio de 2024 en la ETSE-UV.

La instalación y puesta en marcha en modo cliente servidor de un sistema hardware y software que permita el uso de modelos LLM en las condiciones definidas en el proyecto, es decir, contextualizándolo a los contenidos de las asignaturas presentes en el proyecto.
La realización de una prueba piloto con el alumnado de una asignatura en tiempo de clase y el posterior análisis de los resultados obtenidos a través de una encuesta tipo Likert .

Se ha creado una infraestructura tipo cliente /servidor con Docker que incluye un algoritmo de embedding de información de asignaturas en forma de documentos PDF y un algoritmo de preparación de consultas que usa dicho embedding para modelos LLM. También en esta infraestructura se ha instalado la propia LLM que ha sido Ollama3. Es de destacar que la creación de esta infraestructura ha supuesto muchas horas de trabajo a un grupo de personas del proyecto. Es de destacar el trabajo realizado por el profesor Juan Gutiérrez que ha llevado a cabo la mayoría de labores de programación de la herramienta.
Se ha diseñado un experimento con el alumnado de una asignatura para analizar su operatividad y obtener unos primeros resultados ilustrativos. Es de destacar aquí el trabajo del profesor Raúl Peña Ortiz que diseñó y puso en práctica la experiencia con el alumnado de la asignatura Programación Hipermedia de la cual es responsable. Se llevó a cabo después de la experiencia una encuesta tipo Likert al alumnado de las que se han extraído las conclusiones que se reflejan en el artículo publicado.
Se ha escrito un artículo para ser publicado en las X Jornadas de Innovación educativa de la Universitat de València y se ha realizado su presentación en estas jornadas y en las jornadas de Innovación educativa de la ETSE-UV. Esta tarea ha sido realizada por los profesores Miguel Garcia Pineda y Francisco Martinez.