Para citar este artículo puede usar la siguiente referencia:  "Repetto, E., Beltrán, S.G., Manzano, N. y Téllez, J.A.(2001). Evaluación del programa comprender y aprender en el aula. RELIEVE, vol. 7, n. 2. Consultado en www.uv.es/RELIEVE/v7n2/RELIEVEv7n2_4.htm  en (poner fecha)."


Este artículo ha sido consultado en ocasiones desde la fecha de su publicación

Revista ELectrónica de Investigación y EValuación Educativa // 2001 // Volumen 7 // Número 2_4
ISSN 1134-4032 // D.L. SE-1138-94

 EVALUACIÓN DEL PROGRAMA COMPRENDER Y APRENDER EN EL AULA     

por

E. Repetto, S.G. Beltrán, N. Manzano y J.A.Téllez 

U.N.E.D.

   


 

1. Introducción  

Cuando tomamos la decisión de aplicar un Programa Educativo no es costumbre  pensar en el proceso de elaboración que conlleva. Sin embargo, éste es nuestro propósito para con el lector con este artículo: hacerle reflexionar y darle a conocer la elaboración de un Programa, el cual, aún de reciente creación, posee una larga historia hasta que ha visto la luz pública; hablamos del Programa Comprender y Aprender en el Aula (Repetto, Sutil, Manzano y col. Téllez y Beltrán, 2001).

En sus orígenes, en los años ochenta, se denominó Programa OMECOL (Programa de Orientación Metacognitiva para la Mejora de las Estrategias de Comprensión Lectora). Éste fue objeto de varias tesis en las que se realizó la evaluación del programa tras su aplicación en las Comunidades de: Madrid, Andalucía, País Vasco, Cantabria y Galicia. A pesar de los buenos resultados conseguidos, y por diversos motivos, se procedió a su modificación y revisión, llevada a cabo en estos tres últimos años. El programa ha sufrido en todo este proceso amplias modificaciones en su contenido, renovando tanto las lecturas como las actividades propuestas. Igualmente, aún manteniendo su trasfondo teórico, se ha complementado con una revisión bibliográfica más completa y actualizada.  

El cambio de denominación se justifica en nuestro empeño por tratar de enraizar las estrategias de comprensión lectoras trabajadas en el Programa dentro del currículo escolar. Durante su revisión, nos fuimos dando cuenta de la importancia de transferir dichas estrategias a las diferentes áreas curriculares. Como educadores, no podíamos aceptar la idea de que el Programa se aplicara exclusivamente durante una hora a la semana y cubriera así el objetivo de que nuestros alumnos aprendieran a comprender de manera satisfactoria. Esto nos lleva, a plantearnos otro punto de mira, además de buscar cambios en el alumno nos resulta imprescindible mirar hacia el profesorado, hacía su práctica diaria y hacia su formación. De este modo, obtenemos una visión más completa del por qué se produce este cambio de título, de OMECOL a Programa Comprender y Aprender en el Aula.  

            Dado los dos amplios destinatarios a los que se dirige, nos vemos obligados a diversificar los objetivos que con su aplicación nos planteamos. En principio, y con respecto a los alumnos, lo que pretendemos es que al final del mismo los alumnos lleguen a utilizar de manera autónoma el conjunto de procesos que se trabajan, de modo, que consigan una comprensión eficaz y adecuada de los distintos textos con los que se enfrentan, independientemente del objetivo con el que lo pueden leer. Es decir, que sean capaces de adaptarse y generar las estrategias más adecuadas para dar respuesta  a las exigencias que le puede implicar una nueva lectura (el día a día en clase, buscar información, leer por placer, etc).            

            Y por otro lado, con respecto al profesor y a los profesionales de la enseñanza, pretendemos sobre todo que el programa se convierta en un instrumento útil para su formación, de modo que les ayude a:  

-         Valorar los distintos modelos teóricos que fundamentan y explican la comprensión lectora, favoreciendo la elaboración de un marco teórico propio y de referencia para su práctica docente.  

-         Tomar conciencia de los distintos procesos que están implicados en la lectura. Y no sólo nos referimos a simplemente saber cuáles son, sino a saber cuándo el mismo y sus alumnos los utilizan.  

-         Conocer y saber utilizar los distintas metodologías que mayor eficacia parecen tener para la enseñanza de las estrategias de lectura.  

-         Tener unos criterios claros de evaluación y elaborar sus propios instrumentos y técnicas de evaluación”

 

A continuación, mostramos cuál ha sido el proceso de elaboración del Programa; centrándonos especialmente en la evaluación que se está realizando. Antes de nada, ofrecemos una breve descripción del mismo.  

 

2. El programa Comprender y Aprender en el Aula  

            Ofrecemos una breve descripción sobre los distintos procesos de lectura que se trabajan, cuáles son las distintas unidades que lo conforman y una breve descripción de los materiales que están a disposición del profesorado.  

2.1. Procesos de lectura que se trabajan en el Programa

              Acogiendo las aportaciones recibidas desde la psicología cognitiva podemos concretar el conjunto de procesos que están implicados en la comprensión lectora, entre estos destacamos los siguientes:

-         Establecer el propósito lector antes de leer.

-         Activar los conocimientos previos.

-         Realizar inferencias.

-         Detectar la estructura del texto, las ideas principales y secundarias, y las relaciones entre ellas.

-         Supervisar del proceso lector.

-         Evaluar el nivel de comprensión.

  Estos procesos se trabajan en cada una de las unidades del Programa. A continuación, ofrecemos la secuencia de unidades que lo integran, así como una breve descripción de lo que se trabaja en cada una de ellas (Beltrán, 2001):

uNIDADES (ESTRATEGIAS) DEL pROGRAMA

ESTRATEGIAS

Descripción

 

Unidad 1

Objetivos de la lectura

    

Definición e identificación de los distintos motivos por los que leemos. Según el propósito que nos marcamos, el procedimiento será diferente. Leemos de forma muy diferente cuando intentamos buscar información muy precisa a cuando leemos, por ejemplo,  las instrucciones de un juego. También se introduce al alumno en la regulación de su propia lectura de acuerdo a los objetivos que se ha prefijado.

 

Unidad 2

Activación del conocimiento previo

 

    Mientras leemos, de un manera más o menos inconsciente, traemos a nuestra memoria el significado de las palabras que decodificamos, es decir, activamos nuestro conocimiento pasado. De esta forma, podemos dotar de significado a la lectura e interpretarla desde un conocimiento conceptual así como práctico. Mediante la activación de estos esquemas de conocimientos previos se facilita la comprensión de la lectura. En esta unidad se pretende hacer consciente al alumno de este proceso con objeto de que aprenda a utilizarlo y le sea útil como una estrategia de comprensión necesaria para toda la lectura.

 

Unidad 3

Evaluación de la tarea

    

Análisis de las tareas de la lectura con objeto de que el alumno sea capaz de identificar el nivel de dificultad que tiene el texto para él.  Algunos aspectos a considerar como: el propósito de la tarea, tipo de texto, conocimientos previos, amplitud... son necesarios para evaluar la tarea.

 

 

Unidad 4

Planificación de la lectura

    

    Obtención de una lectura coherente y ordenada mediante la percepción de un punto de partida (objetivo a conseguir) y un final (en último caso, siempre, la comprensión). Se pretende que el alumno elabore un “plan de acción” al enfrentarse a la lectura.

 

Unidad 5

Desarrollo del vocabulario

    

     Adquisición de nuevo vocabulario así como la ampliación del significado del mismo mediante diferentes técnicas: uso del contexto para descifrar el significado de una palabra, el diccionario, etc. Del mismo modo, el alumno aprenderá a establecer diferencias entre términos clave y términos complementarios.

 

 

Unidad 6

Estructura de los textos narrativos y expositivos

   

     Mediante el reconocimiento de la estructura, global y específica, del texto (narrativo o expositivo) se facilita la comprensión y asimilación del mismo. Para ello, deberán identificar si el texto sigue una secuencia, cuáles son las ideas claves, cuáles las secundarias, etc.

 

Unidad 7

Organización de la información: Mapas conceptuales

   

     Hace referencia, tanto a la organización de las ideas del texto como a la organización de las ideas en la mente. Para ello, se le enseña al alumno la funcionalidad de los mapas conceptuales, con el fin de que tenga en mente (a partir del texto) un esquema adecuado del mismo.

 

 

Unidad 8

Tipos de significado

   

    Mediante esta estrategia se quiere demostrar al alumno que la lectura de un texto, a menudo, tiene un significado que está más allá de lo puramente textual. Para ello es necesario hacerle consciente de las predicciones e inferencias que va realizando durante el desarrollo de la lectura. Podemos hablar, por tanto, de una comprensión: literal, inferencial y crítica.

 

 

Unidad 9

Autorregulación de la lectura

 

    Mediante el desarrollo de esta capacidad se pretende que el alumno regule su propio proceso lector, es decir, que reflexione sobre su lectura, nivel de comprensión, cuándo ha dejado de comprender, etc. Este sistema de autorregulación requiere de estrategias de planificación, ejecución y evaluación.

 

 

Unidad 10                  

Lectura creativa

    

    Nos es tanto una estrategia en sí como una capacidad a alcanzar por el alumno. Se pretende ejercitar la fantasía y la capacidad de creación desde la lectura. También se le demuestra al alumno que, dependiendo de sus vivencias, la lectura de un texto puede decirle algo muy diferente a lo que  puede representar para otra persona. Enseña al alumno a ser más flexible y a intentar entender otras posturas diferentes a la suya.

 

 

Unidad 11

Eficiencia lectora

 

    Esta estrategia se basa en dos aspectos: a) la velocidad lectora, entendiéndola como el número de palabras leídas por minuto (el objetivo es que los alumnos adquieran una buena fluidez lectora, siempre y cuando adaptándose a las características del texto), y b) la comprensión de lo que dice el texto, sin que se altere por la velocidad lectora.

 

 

ESTRATEGIAS

Descripción

 

Unidad 13

La comprensión analógica

  

     Partiendo de la definición de que una analogía es el establecimiento de una relación entre dos relaciones, se pretende enseñar al alumno la capacidad de detectar y generar analogías, obteniendo un elevado nivel de abstracción del pensamiento, así como, el establecimiento de relaciones superiores. En definitiva, una comprensión más profunda de la lectura.

 

 

Unidad 15

Evaluación crítica

 

    

    Se trata de evaluar la lectura más allá de lo literal. Requiere destacar la propia opinión, en función de los objetivos prefijados de la lectura, con la del propósito del escritor. El alumno debe examinar, analizar y valorar el texto que lee, resaltando tanto sus aspectos positivos como negativos.

 

Unidades 16 y 17

Detección de los fallos de comprensión

Superación de los errores de comprensión

    

    La identificación de los fallos de comprensión así como la superación de los mismos, corresponde a un mismo proceso, sin embargo, la división de ambos procesos en unidades diferentes adquiere una connotación pedagógica. Se trata de hacer consciente al alumno de que puede saber dónde comete el error y, sin embargo, no saber resolverlo. Al alumno se le enseñan diversas técnicas sobre qué es lo que puede hacer ante posibles errores que puede cometer en la lectura. Se recomienda seguir los criterios léxico, sintáctico y semántico.

 

Unidades 18 y 19

Síntesis personal

Abstracción final

 

    

    Ambas estrategias son prácticamente iguales, sin embargo, la abstracción final es más elaborada y requiere del resumen de lo leído. En éste, el alumno debe detectar las ideas principales de las secundarias, reconocer su relación y explicar con sus propias palabras, finalmente, el texto trabajado. La abstracción final parte del resumen pero va más allá, ya que consiste en la generación de ideas nuevas acerca de lo que dice el texto. Es la actividad más compleja, por eso se presenta en último lugar, como la estrategia última a la que debe aspirar un buen lector.

 

ESTRATEGIAS

Descripción

 

Unidad 20

Comprensión de textos de Conocimiento del Medio

  

     Tanto esta unidad como la siguiente pretenden ser una aplicación práctica de las lecturas que se  trabajan en el aula. La Unidad 20, es una herramienta más útil al profesorado que al propio alumno, ya que, a partir del modelado, se trabajan diversos textos sobre Conocimiento del Medio, demostrando que es posible aplicar todas estas estrategias (en mayor o menor grado) a la lectura de un texto de clase.

 

Unidad 21

¡Vamos a comprender los problemas de matemáticas!

 

 

     Esta unidad también pretende ser una aplicación práctica, sin embargo, por las característica del texto (el enunciado del problema) requiere el aprendizaje de otras estrategias que no se han trabajado en las anteriores unidades (a diferencia de lo que sucede en la unidad anterior).

 

 

 

            Aunque en cada unidad se hace hincapié en un proceso concreto, el verdadero valor del Programa recae en su carácter acumulativo, es decir, a medida que el alumno domina un nuevo proceso, lo va aplicando en las sucesivas Unidades. De esta manera después de aplicar el programa el proceso lector debe seguir la secuencia que a continuación describimos.  

Tras tomar conciencia de cuál es su objetivo de lectura, principalmente la comprensión del texto, activará los conocimientos previos que le surjan con los títulos, epígrafes así como durante todo el proceso lector. Durante el desarrollo del mismo, podrá evaluar y planificar su lectura identificando cuál es el nivel de dificultad que engendra, con el objetivo de distribuir su esfuerzo. Mediante la identificación de la estructura del texto (narrativo o expositivo) se verá facilitada la organización de ideas que trata de transmitir el autor. También la realización de mapas conceptuales puede llegar a conseguir dicho fin.  

A medida que avance en el texto, el alumno será consciente de los posibles errores de comprensión que realice, tras su identificación, a nivel léxico, sintáctico y/o semántico, serán solventados con estrategias de rectificación, dependiendo del tipo de fallo de comprensión, las características de la lectura y las del propio alumno. A través de la autorregulación lectora el alumno podrá identificar diferentes tipos de significados y aumentar su vocabulario. Esta conciencia lectora, que va asumiendo el alumno progresivamente, le va a favorecer para llevar a cabo una lectura crítica de los textos, adoptando una postura de análisis y valoración hacia el mismo. De esta forma, tras finalizar la lectura, el alumno estará en disposición de realizar un resumen de lo leído.  

Tanto la Unidad 20 así como la 21, son una ejemplificación concreta al curriculum escolar. Sin embargo, mientras la Unidad 20 está dirigida a textos de Ciencias Sociales, a través de una aplicación ejemplar de las estrategias enseñadas en las Unidades que la preceden, la Unidad 21, dedicada a la comprensión del enunciado del problema aritmético, requiere de la aplicación de otras estrategias, no enseñadas con anterioridad.    

2.2.  Niveles de aplicación y manuales que lo conforman

                    El programa se esta estructurado en tres niveles, uno para cada uno de los siguientes ciclos educativos:

·        Primer nivel: 2° Ciclo de Educación Primaria.

·        Segundo nivel: 3er. Ciclo de Educación Primaria.

·        Tercer nivel: 1er. Ciclo de Educación Secundaria Obligatoria.

  Para cada uno de los niveles existen dos manuales: un Manual del Profesor y un Cuaderno del Alumno. Por tanto existen tres Manuales del Profesor, uno para cada Nivel de aplicación, en todos se mantiene la misma estructura. El Cuaderno del Profesor  se estructura atendiendo al total de las unidades que conforman el programa. Cada unidad tiene su título y metáfora propia que pretende ser motivadora para los alumnos; así como el  póster de la unidad en el que se dan los pasos fundamentales a seguir para el desarrollo de la estrategia en cuestión. La unidad comienza con una breve introducción teórica en la que se fundamenta la estrategia a trabajar; posteriormente se delimitan los objetivos a conseguir y las instrucciones a seguir por el profesorado para lograr la utilización de la estrategia por parte de los alumnos.  

Igualmente también tenemos tres Cuadernos del Alumno, uno para cada Nivel de Aplicación. Además del título, metáfora y póster. Cada unidad comienza con una breve introducción teórica y señalando los objetivos a conseguir. Posteriormente, se ofrecen cuatro textos con sus actividades correspondientes, con las cuales se pretende que el alumno vaya tomando conciencia de los distintos procesos implicados en la lectura  y vaya regulando y controlando su propio proceso de comprensión.  

2.3.   Metodología del Programa  

Tanto desde la aplicación del Programa como desde la integración real en el curriculum, deberemos plantearnos algunos principios metodológicos para enseñar a nuestros alumnos a utilizar las distintas estrategias de lectura.

 

En el Programa se intentan integrar aquellos métodos de enseñanza que parecen ser los más adecuados para la enseñanza de las estrategias de lectura. Estos métodos son: la instrucción directa (Baumann, 1986), apoyada en la enseñanza recíproca (Brown) y que nosotros la podríamos entender como el trabajo en pequeño grupo y cooperativo entre los alumnos, junto al apoyo visual que continuamente damos con las listas de control que hemos denominado como el póster de la unidad –descomponiendo la tarea en los pasos que debemos seguir-, lo que vendría a tener bastantes semejanzas con el método de las autoinstrucciones (Meichenbaum, 1977, 1981) aunque  ofreciendo un apoyo permanente a las limitaciones de memoria que el alumno puede tener hasta que llegue a automatizar el conjunto de los pasos.

 

Estas ideas teóricas que recibimos a nivel metodológico, las debemos integrar en nuestra acción docente, al igual que el conocimiento de los procesos implicados en la lectura. De este modo, el profesor debe desarrollar una serie de estrategias metodológicas que le permitan adecuarse a los diversos contextos y responder de este modo a la diversidad de motivaciones, capacidades y niveles lectores que el aula se puede encontrar.  

 

3. Diseño de la Evaluación del Programa  

Desde mediados de los ochenta, se han realizado varias tesis  de investigación sobre el Programa (Castro García, 1993 y Martín Núñez, 1993 entre otras), comprobándose la validez de las estrategias que en él se trabajan y la incidencia positiva en variables tales como el rendimiento académico en Ciencias Sociales, mejora de la comprensión y el incremento en aptitudes verbales, razonamiento e inteligencia general.  

Estos buenos resultados no son extensibles a la nueva versión del programa, a pesar que mantiene mucho de lo que en éste se ofrecía. Por tanto, y en nuestro empeño por demostrar empíricamente la validez de la actual versión del Programa en el incremento y mejora de las estrategias de comprensión lectora por parte del profesorado y el alumnado, proponemos el siguiente diseño de evaluación, que por supuesto no es un diseño cerrado, sino que será adaptable a las demandas y sugerencias que el propio proceso de investigación nos vaya planteando.  

            En primer lugar,  hemos realizado una validación por expertos del contenido del Programa con objeto de precisar su idoneidad en los tres niveles a los que está destinado: 2º y 3º de Educación Primaria y 1º de E.S.O.  

Tras realizar las modificaciones oportunas en cada una de las unidades y del Programa en general y en paralelo a su proceso de publicación estamos aplicando el Programa en un estudio piloto, con objeto de ayudarnos a comprobar su efectividad e identificar posibles dificultades con las que se puede encontrar el profesorado.  

La segunda fase que nos planteamos, es la evaluación del proceso durante su aplicación. En principio, estamos en un proceso de selección de los aplicadores. El camino que hemos seguido para ello es ofertar al profesorado un curso de formación con objeto de aclararles los principios pedagógicos y filosóficos del Programa así como las orientaciones metodológicas oportunas. Una vez que se comience su aplicación, pretendemos poner en marcha esta segunda fase de la evaluación con objeto de acumular a través de diferentes técnicas de recogida de datos los beneficios y dificultades que engendra la aplicación del Programa.  

Por último, en una última fase de evaluación del producto, pretendemos comprobar en qué medida la aplicación se relaciona con un incremento en el uso de las estrategias de comprensión lectora. Con este fin, hemos elaborado dos instrumentos específicos: el primero, con objeto de evaluar el incremento de estrategias de comprensión lectora en el alumno y,  el segundo, para valorar la percepción del profesor sobre la lectura.  

A pesar de esta segmentación en el proceso de evaluación, pensamos que la diferenciación entre procesos y resultados no es tan clara. Pensamos que los verdaderos cambios se van dando de forma continua durante dicho proceso y no sólo al final. Es decir, la riqueza de los cambios que puede promover la aplicación del Programa se encuentran en el día a día, en la interacción del profesor con sus alumnos y entre ellos mismos.  

            A continuación, mostramos  la temporalización de actividades que estamos siguiendo para la evaluación del Programa: desde sus orígenes, pasando por el momento actual en el que nos encontramos y vislumbrando algunas perspectivas de futuro a seguir.  

 

3.1. Temporalización de las actividades  

 

1.  Fundamentación teórica y conceptual

 

       De julio a agosto de 1999

        

 

 

 

 

 

         Mayo de 2000

 

         Marzo de 2001

 

 

 

 

 

 

Revisión Bibliográfica

 

Elaboración del primer borrador: Trabajo investigación

de 8 créditos del programa de doctorado

 

Revisiones del informe escrito

 

Defensa del trabajo de investigación (Téllez, 2000)

 

Repetto, Téllez y Beltrán (en prensa): Intervención

psicopedagógica para la mejora de la comprensión lectora

yel aprendizaje. Madrid: UNED / Colección Estudios de la

UNED

 

 

 

 

2.  Revisión y publicación del Programa Comprender y Aprender en el Aula

1984                                                                                          Diseño y elaboración del OMECOL

 

1987-1990                                                                          Validación y aplicación del programa. Estudio Piloto. Madrid

 

1990-1991                                                 Validación y aplicación del programa. Estudio Piloto.                                                                                                                  Andalucía, País Vasco, Cantabria y Galicia.

 

        
        

 

         De mayo de 1998

         a septiembre de 2000                            Revisión y modificación del Programa OMECOL 

 

 

 


VALIDACIÓN POR EXPERTOS  DEL PROGRAMA

 

Septiembre a noviembre de 1999


         Noviembre 1999


         De noviembre de 1999 a

junio de 2000


         Junio de 2000


         Junio y julio de 2000


         Sep. de 2000 a

         marzo de 2001

 

 

Marzo de 2001

 

  

 

Elaboración de cuestionarios y rejillas de validación

 

Selección de expertos

 

 

Validación por expertos

 

Recogida de datos

 

Obtención de conclusiones

 

 

Realización de las modificaciones pertinentes en el programa derivadas del proceso de validación

 

Repetto, Sutil, Manzano y col (Téllez y Beltrán) (en   prensa): Comprender y Aprender en el Aula. (6 vol.: 3 Manuales del Profesor y 3 Cuadernos del Alumno).   Madrid: UNED / Colección Cuadernos de la UNED

 

 

3. Aplicación y evaluación del programa (proceso y producto)

 

      

       Enero a mayo / junio de 2002      Pretest .                                                        Aplicación de las unidades seleccionadas


                                                           Evaluación continua


                                                           Postest

 

       Julio – agosto de 2002               Recogida y análisis de datos, y 

                                                           extracción de conclusiones

 

 

 

 

3.1. Estudio piloto

 

       Enero a mayo de 2001               Aplicación piloto del programa (pre y post).

                                                          

   

3.2.  Elaboración de los instrumentos de evaluación

 

 Enero 2001                                 Establecer criterios de evaluación (CEML)

                                                           Diseño del instrumento (EML)

 

Elaboración del Cuestionario de Evaluación de la concepción del profesorado sobre la lectura

   

       Febrero 2001                              Elaboración versión inicial de los instrumentos

 

      

 

VALIDACIÓN POR EXPERTOS DE LOS INSTRUMENTOS DE EVALUACIÓN (EML)

 

       Febrero 2001                              Elaboración de cuestionarios y rejillas de validación

 

       Febrero 2001                              Selección de expertos

 

                                                           Validación por expertos

                                                          

       Junio de 2001                             Recogida de datos

                                                          

       Julio de 2001                              Obtención de conclusiones

 

       Septiembre de 2001                   Modificaciones pertinentes derivadas del proceso de

                                                           Validación. Versión final

 

 

3.3. Obtención de la muestra y formación de los aplicadores

 

       Enero a mayo de 2001               Aplicación piloto del programa. Objetivo: Formación                                                                        práctica sobre el programa, ventajas y limitaciones del                                                            mismo.

                                                           

       Febrero y marzo de 2001           Preparación cursos de formación a aplicadores

         Marzo de 2001                           Envío a los CPR propuesta de curso de formación

         Abril de 2001                              Primeros contactos con los CPRs

        Septiembre a noviembre de 2001         Impartición primeros cursos

 

       Noviembre-diciembre de 2001  Selección de final de la muestra

 

3.2. Evaluación del Programa en sí mismo (antes)

Durante esta segunda parte exponemos el proceso de evaluación que se ha  llevado a cabo con objeto de comprobar la validez y viabilidad del Programa. El trabajo lo estructuramos en cuatro años:

-         1999/2000: Validación de expertos para la evaluación del contenido.

-         2000/2001: Revisión y selección de la muestra.

-         2001/2002: Diseño de la investigación y aplicación del Programa.

-         2002/2003: Recogida y análisis de los datos.

 

Analicemos cada uno de los momentos de la evaluación finalizados.

 

1999/2000: Validación de expertos

 Para evaluar la viabilidad del Programa en sus tres niveles se ha optado, en primer lugar, por realizar una validación del contenido a través de expertos ( mediante la Técnica Delphi) para, posteriormente, tras realizar las correcciones oportunas, aplicarlo a una muestra determinada y comprobar su efectividad. La selección de expertos, un total de 34,  se lleva a cabo en dos grupos de forma intencionada mediante los siguientes criterios: “Teóricos” (académico - univeritario) y “Práctico” (profesional docente), quedando distribuidos de la siguiente forma:

 

Tabla 2. Distribución de expertos

Nivel educativo

Expertos

Total según nivel educativo

Perfil Académico

Perfil Profesional

2º Ciclo Ed.Primaria

6

8

14

3º Ciclo Ed.Primaria

5

5

10

1º Ciclo ESO

8

5

13

Total según perfil

19

18

 

 
Debemos señalar que no todos los expertos valoraron los tres niveles educativos sino aquél en el que estaban trabajando.

La metodología utilizada para dicho fin es cuantitativa y cualitativa, esto es, se incluyen escalas de respuesta numérica (1 a 5 puntos) y de respuesta abierta, con objeto de recoger sugerencias y propuestas de mejora. Los instrumentos empleados son:

-         Hoja de valoración de cada Unidad:

En las unidades se evalúan los siguientes aspectos de las mismas: introducción teórica, claridad de la metáfora, adecuación de los objetivos, número de sesiones empleadas para cada unidad y la adecuación de las actividades.

-         Escala de Viabilidad de aplicación del Programa:

Consta de 22 indicadores para evaluar cuatro áreas de viabilidad, dependiendo de las: características del alumno, características del profesor, contexto del centro y el propio programa.

 

Los resultados de las Hojas de Valoración fueron analizados mediante una estadística descriptiva univariable, permitiéndonos a través de la obtención de las medias y desviaciones, observar la variabilidad de la distribución de los datos y la homogeneidad/hetereogeneidad de los grupos (teóricos y prácticos).

 

A continuación, recogemos algunos de los datos más característicos de la Valoración de cada Unidad del Programa por el grupo de expertos

 

·        Valoración de cada Unidad del Programa:

 

2º Ciclo de Educación Primaria                                                                             

 

Unidades mejor valoradas: 1, 2, 5 y 16 

Unidades peor valoradas: 8 y 14

                                                                                                                                                                                                                                                                             

Gráfico 1. Promedio de respuestas totales en cada unidad

 

 

Gráfico 2. Promedio de respuestas  en cada unidad según el grupo de expertos

Las valoraciones del 2º Ciclo de Educación Primaria obtienen unas puntuaciones medias más bajas en comparación con los otros ciclos.  El motivo principal, señalado  especialmente por los expertos prácticos en las aportaciones de tipo cualitativo, revelaba un nivel de abstracción y complejidad elevado para los alumnos de este nivel. Esto puede explicar  la no existencia de un patrón homogéneo de respuestas. Puntuando más alto el grupo de teóricos frente a los prácticos. Las dificultades encontradas se centraban en la comprensión de determinadas lecturas y metáforas. En general, todas las unidades obtiene promedios por encima de 3. 

  

3º Ciclo de Educación Primaria            

           

Unidades mejor valoradas: 1, 3 y 5

 

Unidades peor valoradas: 14 y 16

 

Gráfico 3. Promedio de respuestas totales en cada unidad

 

 Gráfico 4. Promedio de respuestas en cada unidad según el grupo de expertos

 

 

En general, todas las unidades obtienen un promedio superior a 4. La información cualitativa de expertos y teóricos apuntaban a la modificación de lecturas y actividades muy específicas. En relación a la puntuación otorgada por ambos grupos de expertos a cada unidad, no existen diferencias en su valoración.  

 

1º Ciclo de Educación Secundaria Obligatoria     

 

Unidades mejor valoradas: 5, 17 y 18 

Unidades peor valoradas: 7, 11, y 14           

 

Gráfico 5. Promedio de respuestas totales en cada unidad

Gráfico 6. Promedio de respuestas en cada unidad según el grupo de expertos 


En 1º ESO tampoco existen diferencias en las valoraciones que otorgan los grupos de expertos en cada unidad. Es más, existe una mayor similitud en sus respuestas que en el los anteriores ciclos. En general, todas las unidades obtienen promedios superiores a 4. Las modificaciones propuestas en las aportaciones cualitativas hacían referencia más al tipo de determinadas actividades propuestas que a la complejidad de las lecturas.  

 

3.3. Aplicación y evaluación del Programa (proceso y producto) 

Después de la elaboración, que ha implicado un amplio proceso de fundamentación teórica, de revisión y validación de expertos hasta obtener la versión final del mismo, tenemos previsto realizar la evaluación de su aplicación haciendo hincapié tanto en el proceso de su aplicación como en los resultados obtenidos de la misma. 

Un Programa como el que es objeto de nuestro estudio, conlleva una serie de dificultades dada la intencionalidad que tiene, es decir, ayudar a los alumnos a desarrollar sus capacidades cognitivas y metacognitivas. La evaluación del pensamiento, en este sentido, cobra unos matices que implicarán la utilización de una metodología mixta, tanto cualitativa como cuantitativa, que ayude a evidenciar todos los procesos mentales implicados en la lectura, además de concretar otras dinámicas de aula y concepciones del profesorado que ayuden a conseguir un objetivo fundamental como es el de la transferencia de los aprendizajes a las áreas del currículo. 

De este modo, la segunda fase de la investigación que consideramos es la evaluación del proceso y de los resultados Muchos autores, expertos en evaluación diferencian estas fases de manera marcada, es decir, una primera de evaluación del proceso y una segunda de evaluación de los resultados. Hemos optado por integrarlas en tanto que consideramos los resultados no como estados finales a los que se llegan, sino como resultados graduales y dinámicos que se van dando a lo largo de un proceso. Por ello, la evaluación de los resultados además de evaluación sumativa, la queremos considerar como procesual persiguiendo obtener una mayor información de qué se hace y cómo se hace tanto en la aplicación del programa como en las dinámicas cotidianas del aula. 

            Teniendo en cuenta estas consideraciones, a continuación detallamos cuál es el proceso de evaluación que tenemos previsto, concretando de este modo: variables, características de la muestra de estudio, diseño experimental. Para después de ello concretar algunos de las actividades fundamentales que parecen menos visibles, pero que tienen una gran importancia como son: 

·        La aplicación piloto del programa, llevada a cabo por dos de los autores de este trabajo y que se comenzó con una  intencionalidad totalmente práctica: vivenciar personalmente  las deficiencias y potencialidades del Programa, como las dificultades que plantean su aplicación. En este sentido, y después de cinco meses de aplicación, consideramos  los resultados obtenidos como muy positivos, en cuanto que el contacto con la práctica del aula ha propiciado un  gran cambio de mentalidad que nos está llevando a reconducir y a replantearnos todos los planteamientos teóricos (a nivel de procesos de lectura y de estrategias metodológicas) que considerábamos  eran los más adecuados. 

·        Por otro lado, estamos elaborando algunos de los instrumentos de evaluación que se utilizarán en la investigación. De ellos dependerá mucho las conclusiones a las que lleguemos; debemos conseguir medir lo que queremos medir.  

·        Obtención de la muestra  y formación de los aplicadores.  La evaluación de programas tiene una dificultad añadida, en cuanto que se precisa de cierto número de profesores que se impliquen en su aplicación.  En estos tiempos que corren y en ciudades como Madrid con gran cantidad de profesores universitarios que pretenden realizar sus investigaciones en colegios y centros educativos, corremos el riesgo de potenciar en el profesorado y en los orientadores el síndrome de...”cuidado que ahí vienen los universitarios”. Esta situación nos ha llevado a plantearnos una estrategia  que busca sobre todo el respeto al profesorado; lo que principalmente realizamos es ofrecer cursos de formación al profesorado por medio de los Centros de Profesores y Recursos, primando sobre todo su formación, en nuestro caso en los elementos específicos relacionados con la lectura y la comprensión lectora. El pedir su colaboración, la cual se  certificará, vendrá después de este proceso formativo que esperamos que se convierta en proceso de motivación para que el profesorado se implique en el desarrollo de la investigación. 

Recogiendo todo lo expuesto hasta ahora, el diseño de la investigación se resume de la siguiente forma:  

DISEÑO DE LA INVESTIGACIÓN

            Diseño cuasiexperimental de dos grupos (control y experimental) con medidas pre- y post-tratamiento, así como evaluación continua del procesos, para los tres niveles educativos a los que está dirigido el programa. 

 

 

Pretratamiento

Tratamiento

Postratameniento

Grupo Experimental

2º y 3º Primaria

1º ESO

 

X

 

 

x

 

x

Grupo Control

2º y 3º Primaria

1º ESO

 

x

 

 

x

 

MÉTODOS DE MEDICIÓN Y TÉCNICAS DE RECOGIDA DE DATOS

   Se va a utilizar una metodología mixta, cualitativa y cuantitativa. Utilizando las siguientes técnicas de recogida: 

            -Cuestionario – test

            -Observación:

- Externa directa conocida y programada (guiones de observación)

                        - Autoobservación por parte de los profesores y los alumnos (guiones de observación)

- Externa indirecta conocida y programada (Grabaciones en vídeo)

-Grupos de discusión / entrevista  

POBLACIÓN Y MUESTRA 

            La población a la que se dirige el Programa incluye aquellos chicos y chicas escolarizados en los niveles de 2º y 3º de Educación Primaria y 1º de E.S.O. La selección de la muestra (por conglomerados) pretende ser lo suficientemente amplia y  reprentativa con objeto de generalizar posteriormente los resultados.  

VARIABLES E HIPÓTESIS: 

Variable Independiente: Programa Comprender y Aprender en el Aula 

Variables Dependientes: El Programa en sí, los alumnos y el profesor:

·        Con respecto al Programa: pretendemos evaluar su aplicabilidad, validez de las actividades planteadas, adecuación de la temporalización de las mismas, dificultades en su aplicación, etc.

·        Con respecto a los alumnos: pretendemos controlar algunas variables específicas y relacionadas directamente con los objetivos concretos que nos planteamos en el Programa, queremos evaluar el uso de los procesos implicados en la lectura (esto

 

Formulación de Hipótesis: 

1.      La aplicación del Programa Comprender y Aprender en el Aula  mejora significativamente la comprensión lectora de los alumnos, su motivación y rendimiento académico  en el área de Conocimiento del Medio y Resolución de problemas aritméticos. 

2.      La aplicación del Programa Comprender y Aprender en el Aula modifica la percepción lectora del profesor

 

En el siguiente año académico 2001-02, tendremos la oportunidad de evaluar y validar la eficacia del Programa en las variables anteriormente descritas y aceptar o rechazar las hipótesis de nuestro estudio.  Independientemente de los resultados obtenidos, nuestro empeño en investigar va a continuar dirigido en mejorar la comprensión lectora en el aula así como de estudiar otras variables relacionadas con el proceso de comprensión.  

Somos conscientes que el Programa es muy ambicioso, tanto en sus contenidos como a quienes va dirigido, haciendo aumentar sus posibles deficiencias. Si embargo, tenemos una gran fe puesta en él. El Programa se convierte en una herramienta para la mejora de la comprensión, sin embargo, es responsabilidad de los profesores y educadores su adecuado desarrollo y facilitar su transferencia a otras áreas del currículo escolar y de la vida. 

 

3.4. Bibliografía 

BELTRÁN, S. (2001). La comprensión lectora del problema aritmético de enunciado verbal. Trabajo de Investigación. UNED. Madrid. Trabajo inédito.

CASTRO GARCÍA, R. (1993). Estrategias de Metacomprensión en alumnos de 2º y 3º de E.G.B. y su influencia en el rendimiento en Ciencias Sociales. Tesis Doctoral. UNED. Madrid.

MARTÍN NÚÑEZ, Mª C. (1993). Incidencia de las estrategias metacognitivas en el aprendizaje de las Ciencias Sociales: un estudio con alumnos de 4º y 5º de E.G.B. Tesis Doctoral. UNED. Madrid.

REPETTO, E. (1997). Entrenamiento metacognitivo y ganancias significativas de los alumnos en algunas variables cognitivas y pedagógicas. Un estudio en la educación primaria y secundaria obligatoria (6º, 7º y 8º de E.G.B., en Andalucía, Cantabria y Galicia). Revista Española de Pedagogía, 206, 5-32.

REPETTO, E; SUTIL, I;  MANZANO, N; TÉLLEZ, J. y BELTRÁN, S. (En prensa). Programa Comprender y Aprender en el Aula. Manual del Profesor y Cuaderno del Alumno. Cuadernos de la UNED. Madrid

Repetto,E;  Téllez, J. y Beltrán, S.  (En prensa): Intervención psicopedagógica para la mejora de la comprensión lectora y el aprendizaje. Madrid: UNED /Colección Estudios de la UNED.

TÉLLEZ, J. A. (2000). Una aproximación a la comprensión lectora. Fundamentación teórica del Programa “Comprender y Aprender en el Aula”. Integración en las estrategias del curriculum. Trabajo de Investigación. UNED. Madrid.  Trabajo inédito. 


TO KNOW MORE / PARA SABER MÁS

This article has been cited in... / Este artículo ha sido citado en...

* Alvarez Rojo, V. B.; Rodríguez, J. (2005). Evaluación del diseño del programa "Magallanes-atando cabos". RIE. Revista de Investigación Educativa, vol 23, 2: 363-390 [Párrafo añadido el 15 de Marzo de 2006].

 

 


 


Volver al índice general


Volver al índice del Vol. 7  Nº 2