Este documento se encontraba antiguamente en la dirección http://www2.uca.es/RELIEVE/V2N2_3.HTM. Por favor, a partir de ahora utilice la siguiente referencia: "Hernández Fernández, J. y Martinez Clares, P. (1996). Propuesta metodológica para evaluar programas de orientación educativa.  RELIEVE, vol. 2, n. 2. Consultado en http://www.uv.es/RELIEVE/v2n2/RELIEVEv2n2_1.htm en (poner fecha)."


Este artículo ha sido consultado en ocasiones desde su publicación


Revista ELectrónica de Investigación y EValuación Educativa // 1996 // Volumen 2 // Número 2_1
ISSN 1134-4032 // D.L. SE-1138-94


PROPUESTA METODOLÓGICA PARA EVALUAR PROGRAMAS DE ORIENTACIÓN EDUCATIVA

por

Josefina Hernández Fernández y Pilar Martínez Clares
jhernan@fcu.um.es // pmclares@fcu.um.es

Facultad de Educación
Dpto. de Métodos de Investigación y Diagnóstico en Educación
Universidad de Murcia


RESUMEN

El presente trabajo plantea un modelo de evaluación de programas de orientación que parte del supuesto de que dicha evaluación no es un mero acto puntual, sino que ha de entenderse como un proceso que abarca todas las fases de diseño y validación del programa y ha de iniciarse en el momento en que se aborda la programación y planificación del mismo. El modelo establece cinco fases para el desarrollo de la evaluación:

1ª- De los supuestos previos o preliminares, en la que se van a fijar los supuestos teóricos-previos en los que se basará dicha evaluación ( destinatarios, receptores de la evaluación, finalidad, propósitos, objetivos de la evaluación, papel del evaluador, etc.).
2ª- Viabilidad de la evaluación, en la cual se pretenden establecer las características de la calidad formal/intrínseca del programa, la adecuación / adaptación al contexto y la aceptación en el mismo.
3ª Evaluabilidad o validación de la evaluación; en esta tercera fase se persigue específicamente responder a la cuestión básica de si el programa reúne las condiciones para poder ser evaluado.
4ª- Evaluación del Proceso, que engloba la evaluación de la implementación y la evaluación de desarrollo.
5ª- Evaluación de la Eficacia, la última fase de este modelo, en que se trata de realizar una evaluación de resultados y efectos del programa.

ABSTRACT

In this paper the authors present a model of evaluating guidance programs; it is bassed on the asumption that evaluation a) is a process designed to provide data for management decisions, b) both during the planning and the implementation stages. The model offers an approach to program evaluation on five steps and suggests the following questions to be asked in each of them:

1- Theoretical asumptions. Evaluators must state reasons for evaluation: Why and on behalf of whom the evluation will be started?
2-Program viability: What program will be evaluated? Does this program fit the needs of the target group?
3- Program evaluability: Is it really possible to evaluate this particular program?
4- Process evaluation: Were the plans implemented as designed?
5.- Product evaluation: Wich outcomes have been reached? Every step is important and must relate to each preceding an succeeding step in order to demonstrate that it is done what program designers want to be done... Accordingly to this evaluation model, it is the best way to make decissions about a program.


 

INTRODUCCIÓN

 
Nuestra propuesta es el resultado de la adaptación del modelo, presentado en el VI Seminario de AIDIPE (Asociación Interuniversitaria de Investigación Pedagógica Experimental) celebrado en Madrid en 1993, realizada a partir de la experiencia adquirida con el mismo en trabajos prácticos de carácter interno de nuestra Facultad.
 
Nuestro objetivo es delimitar las fases del proceso de evaluación de programas en el contexto de la Orientación Educativa, para lo que partimos, entre otros supuestos básicos, del entendimiento de que el proceso de evaluación y el de programación/planificación se interrelacionan y se deben producir paralelamente; es decir, la evaluación puede realizarse en cualquier etapa o fase de la programación, en un proceso de retroalimentación permanente.
 
De otra parte, damos por sentado que el programa se basa en la identificación y determinación de necesidades de la comunidad educativa, a partir de una evaluación del contexto socio-ambiental y educativo del centro escolar donde se va a desarrollar. A la vez que consideramos como finalidad general de la evaluación de programas de orientación la toma de decisiones para la mejora del proceso de intervención y del logro de resultados.
 
En definitiva, la evaluación de un programa consiste en realizar un seguimiento a lo largo de un proceso, que permita obtener información acerca de cómo se está llevando a cabo, con la finalidad de reajustar la intervención orientadora, de acuerdo con los datos obtenidos. Es necesario tener en cuenta en toda evaluación que ésta debe ajustarse a las características del contexto donde el programa se lleva a cabo.
 
La evaluación de un programa de orientación tiene una metodología concreta, que permite evidenciar si la intervención o proceso de actuación llevado a cabo es no sólo correcto sino eficaz.
 
Así, la evaluación de un programa de orientación no es un mero acto puntual, sino puesto que sirve para una mejora continuada del programa, la hemos de entender como un proceso. Este proceso de evaluación ha de estar íntimamente relacionado con la programación y planificación del programa, pudiendo de este modo efectuar una constante retroalimentación. En este sentido, en nuestra propuesta, al igual que hacen otros autores (Stufflebeam, Pérez Juste, Caride), el proceso de evaluación se puede fijar en cuatro momentos o tipos de evaluación:
 
- Evaluación de contexto - necesidades
- Evaluación de diseño - programación
- Evaluación de proceso - desarrollo
- Evaluación de resultados- producto
 
En definitiva, la finalidad general de la evaluación es tomar decisiones de cambio y mejora a lo largo del proceso y tras finalizar la intervención del programa.
Aunque nuestra propuesta va destinada inicialmente al profesional que en su práctica pretende evaluar un programa que diseña o adapta para cubrir las necesidades de un contexto concreto, en la línea de lo que hemos afirmado anteriormente de entender la evaluación como núcleo de todo el proceso de planificación y programación (y esta es la postura que defendemos), pensamos que es perfectamente aplicable en sus orientaciones generales a otras situaciones posibles en la práctica orientadora: evaluación externa, evaluación de un programa ya implementado, sólo responsabilidad en el diseño... En todos los casos el diseño de evaluación se deberá adaptar- a veces obligatoriamente- en sus cuestiones evaluativas, contenido y tipo de evaluación, a los datos de que se disponga. En la exposición de cada una de las fases, iremos especificando las posibles adaptaciones a estas situaciones.

 

FASES EN EL PROCESO DE EVALUACIÓN DE PROGRAMAS DE ORIENTACIÓN EDUCATIVA

1ª Fase: Supuestos previos o Preliminares

Antes de iniciar el diseño de la evaluación de cualquier programa de Orientación (y por tanto en el momento de iniciar la propia planificación y diseño del mismo) hay que fijar los supuestos teóricos-previos en los que se va a basar dicha evaluación. En ellos se debe especificar, entre otros aspectos:
a) finalidad
b) propósitos, objetivos de la evaluación
c) papel del evaluador: tipo de evaluación: interna, externa, mixta
d) destinatarios, receptores de la evaluación
e) tipo de información que se va a dar
f) diseño de investigación en la evaluación
g) utilidad, adecuación de la evaluación en el contexto a que va dirigido, lo que en cierta medida matizará los destinatarios y los responsables de tomar decisiones sobre el programa, teniendo en cuenta tanto la procedencia de la demanda del programa como la de la evaluación.
Estos aspectos, junto con las características del programa y las del contexto en que se va a llevar a cabo el mismo, nos servirán para determinar el modelo y tipo de evaluación en el diseño de ésta, una vez que se valide el programa y podamos pasar a precisar la metodología de evaluación.
En resumen, en esta primera pretendemos contestar a la cuestión; ¿por qué y para quién evaluamos?

 

2ª Fase: Viabilidad de la evaluación

Esta segunda fase, junto con la siguiente, corresponde al momento de evaluación del diseño del programa. Aunque algunos autores prefieren considerar a ambas como una fase única de evaluabilidad de la evaluación, nuestra experiencia en la aplicación del modelo nos reafirma en la decisión de considerarlas como dos fases con entidad propia (aunque interrelacionadas) dentro del momento de la evaluación del diseño, puesto que, al margen de aspectos metodológicos, cada una de ellas responde a una cuestión básica y secuenciada:
 
(1) ¿es un programa y un buen programa para este contexto?
(2) ¿es un programa evaluable?
 
Esta segunda fase se divide en tres aspectos o dimensiones fundamentalmente: a) características de la calidad formal/intrínseca del programa, que hace referencia al conocimiento de las características técnicas del programa, es decir, trata de responder a las siguientes cuestiones:

(a) ¿De qué programa se trata?
(b) ¿Cuáles son sus metas?
(c) ¿Quiénes son los destinatarios?
(d) ¿Cuál es la estructura y contenido del programa?
(e) ¿Qué agentes son los responsables de llevarlo a cabo?
(f) ¿Cuál es la temporalización del mismo?
(g) ¿Qué tipo de recursos requiere?
(h) ¿De qué tipo de actividades, estrategias o habilidades se trata?
(i) ¿Qué metodología requiere?

 

Esta subfase o dimensión de la viabilidad nos ofrece un conocimiento técnico del programa que se va a evaluar y trata de responder a la cuestión general ¿qué programa vamos a evaluar?, fijando la atención básicamente en la calidad de su estructura formal, pero pudiendo comprender también aspectos tales como su congruencia con el marco teórico de referencia y con el diagnóstico previo. En definitiva, permite al evaluador interno examinar (y modificar en su caso) la adecuación del diseño del programa a los requisitos mínimos de programación, a lo que se añade en el caso del evaluador externo, la posibilidad de familiarizarse con el programa a evaluar
En resumen, esta subfase de la viabilidad del proceso evaluador comprenderá el conocimiento y familiarización con todos los aspectos y factores que configuran el diseño de planificación del programa de Orientación. De ahí que sea necesario que el programa a evaluar esté escrito con especificación de los aspectos citados
La metodología de trabajo en esta subfase de evaluación será el análisis crítico del contenido del documento escrito en el que se refleja el programa, así como el análisis comparativo con otros programas emanados del mismo marco teórico y de reconocido prestigio y/o eficacia.
 
Un segundo aspecto o dimensión de esta fase es b) la adecuación y adaptación al contexto, es decir, se trata de responder a la pregunta ¿es adecuado y adaptable el programa al contexto donde va dirigido?; para ello nos planteamos una serie de cuestiones que se derivan de la general:

(j) ¿El programa a evaluar parte de un Análisis del Contexto?
(k) ¿Surge de un Análisis de Necesidades?; ¿cuál es la/s necesidad/es de partida?
(l) ¿Dispone el centro de los recursos precisos o está dispuesto a facilitarlos?
(m) ¿Permite la estructura organizativa del centro (horarios, tutoría...) la realización del programa?

 

La metodología para la evaluación de esta subfase será básicamente el examen de los datos extraídos del Análisis de Contexto y del análisis de necesidades, completado con alguna técnica de recogida de información dirigida a aspectos que no aparezcan suficientemente explicitados en el análisis de contexto (actitud ante el programa de los agentes implicados, expectativas, grado de implicación en el diseño...)
El tercer aspecto de esta fase es c) la aceptación, que trata de responder a la cuestión ¿es aceptable el programa en el contexto donde se dirige?; para responder, también nos planteamos una serie de cuestiones, entre otras destacamos las que siguen:

(n) ¿Es aceptado por todos los agentes o subsistemas de la comunidad educativa?
(o) ¿Está integrado en el Proyecto Educativo de Centro (P.E.C.)?
(p) ¿Está contemplado en la programación general del departamento de orientación?

 

La metodología básicamente la formará la consulta al Proyecto Educativo de Centro (PEC), entrevistas o reuniones con los agentes de la comunidad educativa, dinámicas de grupos, constatación con el Análisis de Contexto...
 
En cuanto a la temporalización de la fase, es decir, el momento de realizarla y tomar decisiones sobre la viabilidad del diseño del programa, variará, obviamente, según la situación o tipo de evaluación de que se trate. En el caso de que el evaluador (orientador) sea el propio diseñador de programa, el control del mismo bajo estos criterios deberá tenerse en cuenta tanto en la elaboración del programa como una vez terminada y siempre antes de su implementación y tendrá un carácter de información retroactiva para la mejora del diseño. Lo mismo cabe decir en el caso en el que el programa haya sido diseñado por otros (tutores, programas publicados...) sea cual sea el grado de compromiso del orientador (evaluador) en la implementación, siempre y cuando el programa no se haya llevado a la práctica, por lo que a las propuestas de mejora sobre el diseño se puede añadir la toma de decisión sobre la implementación o no del programa. En el caso de que el programa se haya implementado, lógicamente, la evaluación de esta fase del modelo se realizará cuando el programa esté disponible para el evaluador y tendrá un carácter sumativo, sancionador y de información para una futura mejora del diseño del programa.
 
En resumen, estos aspectos de la viabilidad nos permiten conocer las características técnicas del programa y constatar si dicha intervención es adecuada y aceptable al contexto donde se dirige. Sintetizando la fase en términos de criterios e indicadores, puede quedar esquematizada la misma en el siguiente cuadro:

VIABILIDAD

CRITERIO

INDICADORES

METODOLOGÍA

CALIDAD FORMAL

- ámbito
-tipo de programa
- objetivos
- destinatarios
- agentes
- temporalización
- recursos

ANÁLISIS DOCUMENTAL

ANÁLISIS COMPARATIVO

ADECUACIÓN

ADAPTACIÓN

- contexto
- necesidades
- estructura organizativa
- adecuación de recursos

CONSTATACIÓN
CON ANÁLISIS DE CONTEXTO
CONSTATACIÓN CON ANÁLISIS DE NECESIDADES

ACEPTACIÓN

- inclusión en el PEC
- actitud de los subsistemas
- inclusión en el programa de orientación

PEC
CONSTATACIÓN ANÁLISIS DE CONTEXTO
ENTREVISTAS
TÉCNICAS DE GRUPO

Cuadro 1: Criterios e indicadores de la viabilidad de la evaluación.

 

3ª Fase: Evaluabilidad o Validación de la evaluación

En esta tercera fase de validación de la evaluación específicamente se pretende responder a la cuestión básica de si el programa reúne las condiciones para poder ser evaluado. Si con la superación del control de la fase anterior podemos afirmar que lo que tenemos entre las manos es realmente un programa porque responde a la estructura formal de lo que se considera como tal -y no es una mera serie de actividades más o menos secuenciadas o un cúmulo de buenas intenciones o una pequeña intervención- y es adecuado y aceptable al contexto, necesidades y subsistemas a los que se dirige e implica. En esta fase se pretende comprobar que los elementos formales están diseñados de tal forma que pueden ser evaluados, que reúnen los requisitos mínimos para que puedan «pasar» aceptablemente los criterios, valoraciones, diseños y análisis propios de la evaluación de programas, si merece la pena los costes y esfuerzos de la misma, e incluso los aspectos en que se debe centrar la evaluación.
 
Las dimensiones propias de esta fase no quedan determinadas ni concretadas si no se establecen una serie de criterios de validación de evaluación; así, Berk y Rossi (1990) estiman que un programa no es evaluable si:

(1) Sus objetivos no están claramente especificados.
(2) No esta definida la estructura y componentes de forma adecuada.
(3) No se pueden predecir con un mínimo de rigor las consecuencias de su no aplicación.
(4) No se conocen los recursos reales disponibles para implantarlo.

 

En función de estos criterios sugerimos que, al menos, deberían seguirse los siguientes para la validación de un programa de orientación, que no podrá ser evaluado si:

(5) Sus objetivos no están formulados de forma operativa/conductual (si no son medibles y observables).
(6) Las actividades planificadas no son suficientes para la consecución de los objetivos planteados.
(7) No tiene delimitadas las acciones o actividades a realizar en unas coordenadas espacio/temporales.
(8) No se conocen los recursos materiales y humanos disponibles para implantar el programa.
(9) Existen graves obstáculos y/o contingencias previsibles que imposibiliten la ejecución de la evaluación.
(10) No existen en el programa procedimientos para la recogida de información de los datos de evaluación o son de muy baja calidad.
(11) Los datos previstos son de muy baja calidad.
(12) El coste previsto (esfuerzo, tiempo, recursos materiales) es superior a la utilidad y/o ventajas de la misma

 
Para que un programa sea evaluable ha de cumplir la mayoría de estos criterios (aunque no necesariamente todos) y en un nivel aceptable de cumplimiento. Ante la inexistencia de una normativa específica en este sentido, es el propio evaluador como experto, y a la luz de los supuestos previos que dirigen la evaluación (objetivos, destinatarios, utilidad...), el que debe fijar ambos aspectos: qué aspectos considera prioritarios en la validación del programa y qué nivel debe exigirse en el cumplimiento (logro) de los mismos.
 
Lo ideal sería que para cada criterio antes referido se fijara al menos un indicador acerca de la validez de la evaluación. De acuerdo con Hernández y Rubio (1992), el peso de cada criterio depende de dos factores: las concepciones y técnicas del evaluador, y las peculiaridades específicas del contexto y personas implicadas en la implementación del programa.
A su vez, los datos obtenidos además de dar respuesta a la cuestión básica de la fase, ¿es evaluable o no el programa? y por tanto servirnos, según sea la situación en que se realice la validación, para: a) proseguir o no con la evaluación del programa o b) tomar decisiones para la mejora de aquellos aspectos que resulten deficitarios en este control, nos servirá para fijar aquellos aspectos a los que se deberá prestar más atención en la evaluación y/o cuáles son aquellos que se deben obviar por no estar suficientemente validados y ser imposible su mejora en el diseño.
 
De otro lado, estos datos junto con todas las especificaciones logradas en las fases anteriores tales como utilidad, efectos, objetivos, etc, nos servirán para determinar el tipo de evaluación y los aspectos que específicamente se van a evaluar del programa, pues es éste el momento en que comienza propiamente el diseño de evaluación con la especificación del tipo de evaluación que se va a realizar, el diseño de la investigación elegido y el análisis de datos pertinente.
 
La metodología de esta fase será fundamentalmente, como en la anterior, el análisis de la documentación del programa, de los datos del análisis de contexto y de las fases previas al diseño, en el que primará la valoración cualitativa de la misma apoyada en el juicio experto del evaluador, aunque es aconsejable, en la medida de lo posible, que se pueda cuantificar y objetivar, o al menos justificar ampliamente con los datos del propio programa.
 
En lo referente a la temporalización cabe decir lo mismo que para la fase anterior.
 
La fase concluye cuando se definen estos criterios e indicadores y se comprueba que el programa a evaluar cumple con los criterios de evaluación mínimos, que se pueden se resumir en que el contexto es favorable para realizar la evaluación, el programa de orientación en sí mismo es evaluable y el evaluador (externo, interno o mixto) es capaz de realizar dicha función.
 
Proponemos a modo indicativo algunos de los criterios e indicadores que pueden ser útiles para el control de esta fase.

 

 

EVALUABILIDAD

CRITERIOS

INDICADORES

OBJETIVOS
EVALUABLES

* Medibles
* Observables

ACTIVIDADES SUFICIENTES

* Que los objetivos específicos estén recogidos por actividades concretas.
* Que las actividades hagan referencia a los objetivos.
* Que las actividades favorezcan o incrementen los objetivos propuestos.

COORDENADAS ESPACIO/TEMPORALES DE LAS ACTIVIDADES

* Especificación del tiempo.
* Adecuación del espacio.
* Secuencialización acorde.

RECURSOS ESPECIFICADOS

* Especificación de los materiales para cada actividad propuesta.
* Determinación de responsable/s para cada actividad.

OBSTÁCULOS Y CONTINGENCIAS EN LA EVALUACIÓN

* Actitud de los implicados en la evaluación
* Disponibilidad en la implicación de la evaluación
* Facilidades dadas por la organización para la evaluación

PROCEDIMIENTOS EN LA RECOGIDA DE INFORMACIÓN

* Están previstos en el programa
* Son posibles en el contexto
* Reconocida calidad
* Acordes con el tipo de datos requeridos
* Dominio de los mismos por el evaluador
* Planificada temporalización

CALIDAD DE LOS DATOS EN LA EVALUACION

* Son representativos Acordes con los objetivos del programa

COSTES DE LA EVALUACION

* Recursos humanos
* Tiempo preciso
* Coste económico
* Eficiencia

Cuadro 2: Criterios e indicadores de la evaluabilidad de la evaluación.

 

Es en este momento, como hemos afirmado antes, cuándo comienza el diseño de evaluación propiamente dicho y cuando se ha de decidir el tipo de evaluación o qué aspectos del programa se van a evaluar de acuerdo con el programa, contexto, y finalidades de la evaluación, es decir de acuerdo con las características del programa y los supuestos previos fijados en el planteamiento de la evaluación.
 
Aunque un programa de Orientación, como programa socio-educativo, puede ser sometido a distintos tipos de evaluación según sea el aspecto o pregunta que se quiera responder (Rodríguez Espinar, 1986:373), dadas las características de la mayoría de las intervenciones orientadoras desarrolladas en los centros docentes de nuestro contexto y siguiendo una secuencialización jerárquica de los distintos tipos de evaluación (Alvira, 1991), proponemos dos tipos básicos de evaluación para los programas de intervención orientadora: evaluación del proceso del programa, que englobaría a su vez la evaluación de la implementación o puesta en marcha y la evaluación del desarrollo, y la evaluación del producto o de eficacia, a las que consideramos fases necesarias para una correcta evaluación de un programa de intervención orientadora.
Otro aspecto a decidir en este momento es el diseño de investigación que se va a utilizar, si este no se ha decidido en los supuestos previos o no viene prefijado con anterioridad; diseño de investigación que, a su vez, vendrá condicionado por las decisiones tomadas en el planteamiento de la evaluación y los condicionantes en que se desarrolle la misma. Sin entrar a fondo en la cuestión de los distintos diseños de investigación, nos inclinamos por la utilización de los diseños pre-experimentales y cuasiexperimentales para los diseños intergrupos, por ser los más aplicables a las condiciones habituales en que se desarrollan los programas de orientación, si bien la elección siempre debe atenerse a los propósitos evaluativos.

 

4ª Fase: Evaluación del Proceso

En esta fase de evaluación de proceso el análisis de los datos y poder tomar decisiones. El análisis girará en torno a la marcha del programa tanto en su adecuación a la programación previa como a los aspectos dinámicos y de relación del mismo. Tiene por tanto un carácter formativo e implica la realización de evaluaciones intermedias que permitan la retroalimentación del programa. En cada una de ellas se puede distinguir como fases sucesivas, la evaluación de la implementación y la evaluación del desarrollo.

 

a) Evaluación de la implementación

Consiste en evaluar «qué» está funcionando del programa una vez que se ha puesto en marcha, es decir, la instrumentalización del programa de intervención, su puesta en práctica siguiendo las etapas y esquemas teóricos previamente concretados. El fin último de esta fase de evaluación, es contrastar si hay o no discrepancias entre el diseño y la realidad; y en caso afirmativo, realizar la adaptación pertinente, redefinir el programa para lograr su óptima y adecuada puesta en marcha.
 
En esta fase nos fijamos o centramos en cinco dimensiones o aspectos que no buscan otra cosa que la adecuación e identificación de las actividades diseñadas. A partir de estas dimensiones, especificaremos los criterios e indicadores de evaluación.
 
Las dimensiones a las que nos referimos son:

(13) Cobertura del programa: El programa se ha dirigido a los sujetos que previamente se había previsto.
(14) Realización de actividades: Se han llevado a la práctica todas y cada una de las actividades planificadas.
(15) Ejecución de la temporalización: Muy relacionada con la anterior, hace referencia que se han llevado a cabo las actividades previstas en los períodos de tiempo prefijado, es decir hay un ajuste entre la temporalización real (ejecución real) y la planificación (temporalización diseñada).
(16) Funciones de los agentes implicados: Cada agente implicado en el programa ha llevado a la práctica las actividades de las que era responsable, tal y como se diseñó.
(17) Utilización de los recursos disponibles: Se han empleado los recursos materiales y humanos que se habían previsto.

En cuanto a la metodología (instrumentos) general a utilizar en la recogida de información en esta cuarta fase será: las fichas de control de las sesiones, el propio esquema del programa, rejillas, escalas de estimación...
El análisis de resultados se realizará en base a:

(18) Un análisis meramente cuantitativo en términos de porcentajes o grados de cumplimiento de cada uno de los aspectos controlados y su comparación con los niveles de logro, ejecución o utilización prefijados con anterioridad por el evaluador. En este sentido es conveniente tener en cuenta que aunque «idealmente» se pudiera pretender un cumplimiento total (100%) del programa, el propio contexto o el punto de partida nos debe hacer «realistas» en cuanto al nivel de ejecución a lograr. Así por ejemplo en un programa dirigido a padres (o incluso a tutores) es impensable fijar un nivel de cobertura excesivamente alto cuando la participación previa en actividades ha sido muy baja; o en el caso de un programa con flexibilidad prevista en la utilización de recursos, la no utilización de todos los inicialmente incluidos en el programa puede no indicar una mala ejecución de programa. Por ello se hace preciso el análisis siguiente


(19) Análisis cualitativo sobre qué aspectos del programa no se han ejecutado de la manera prevista.


(20) Por último se realizará un análisis que:

(a) En todos los casos se dirigirá a la búsqueda de las causas, dificultades o contingencias que han impedido la ejecución diseñada, bien por deficiencias en el diseño, bien por las características del contexto o de la integración de programa en el contexto. Para ello se hace preciso que los instrumentos de recogida de información (rejillas, fichas de control, diario de sesiones...etc.) den cabida también a este tipo de información. Dependiendo de la entidad del programa (amplitud, población, tiempo, etc..), del enfoque evaluativo, o de los fines de la propia evaluación este análisis se podrá realizar en base al juicio valorativo del evaluador como experto, a los juicios y opiniones de los participantes del programa (discusión de grupos, TNG, entrevistas...) o bien, en su caso, requerir los tratamientos y análisis estadísticos pertinentes.
(b) En la misma línea, los datos obtenidos servirán en una evaluación explicativa como base de la relación entre el nivel de ejecución del programa y los resultados y efectos obtenidos.

 

En cuanto a la temporalización cabe hacer una distinción, aplicable por otra parte a las restantes fases o tipos de evaluación, desarrollo y producto. En este sentido, se debe planificar la temporalización de:

(21) La recogida de datos de información: que se hará de modo continuado a lo largo del programa y adaptandose a la naturaleza y finalidad del dato a obtener. Así se llevará un control diario del desarrollo de las sesiones en el que se tomará nota, entre otros aspectos, de las actividades realizadas, recursos utilizados, participación de alumnos, incidencias, actuación del orientador... en fin, de todos aquellos aspectos que, salvo que se haya previsto un muestreo en la recogida de datos, sea conveniente contar con el mayor número (o la totalidad) de ellos. A su vez, habrá que prefijar en qué momento del programa se utilizarán los instrumentos específicos de control del programa: cuestionarios, tests, actividades de control de logro de objetivos, entrevistas... para lo que se tendrá en cuenta, entre otros, el tipo de programa, duración, disposición a la evaluación, tipo de instrumento a utilizar...


(22)Momentos de toma de decisión: se debe prefijar en qué puntos del desarrollo del programa se van a realizar los análisis de los datos de evaluación recogidos, que nos sirvan para, de modo objetivo y documentado comprobar la marcha del programa, el cumplimiento de criterios de evaluación, el logro de objetivos... de forma que podamos tomar decisiones sobre el programa. Dependiendo del tipo, estructura y duración del mismo, de la finalidad y objetivos de la propia evaluación, de los datos recogidos etc, se determinará el número y tiempo de los momentos de toma de decisión a lo largo del programa y, obviamente, siempre habrá uno final.

 

A continuación se clarifican a modo de ejemplo e ilustrativo los criterios e indicadores en que se concretan estas dimensiones:

DIMENSIÓN

CRITERIOS

INDICADORES

Cobertura del programa

* El programa se realizará en todos los cursos programados.

* El programa se ha llevado a cabo con todos los alumnos/as previsto.

* Cursos en los que se ha llevado el programa.

* Porcentaje medio de alumnos/as que han asistido.

Actividades

* Se han realizado todas las actividaes a lo largo del programa.

* Se han realizado las actvs. de acuerdo a la metodología establecida

* Se han realizado todas las actvs. previstas con los tutores participantes.

* Nº total de actividades realizadas.

* Nº de actividades por Bloq. Contenido.

* Inclusión de alguna actividades.

* Supresión de alguna actividades.

* Modificación de alguna actividades.

* Nº total de actvs. con los tutores.

* Momentos de encuentro.

Temporalización

(Coordenadas

Espacio

Temporales )

* El programa se ha realizado en el tiempo previsto.

* El programa se ha desarrollado en el espacio planificado.

* Nº de sesiones y horas diseñadas / Nº de sesiones y horas realizadas.

* Nº espacios planificados/ nº espacios utilizados.

* Frecuencia con la que se utilizaron.

* Realización de las actvs. en el Tº previsto.

* Disminución /aumento del Tº previsto para las actividades en las sesiones.

* Puntualidad en el inicio de las actvs.

* Puntualidad en la finalización.

Funciones de los

Agentes

* Los agentes encargados de llevar a cabo el prog. responden según lo planificado.

* Nº de agentes previstos/Nº de agentes reales.

* Nº de actvs. planificadas para los agentes / Nº de actvs. ejecutadas.

Recursos

* Se han utilizado todos los recursos materiales previstos en el planificación y en el prog.

* Nº de Recursos diseñados / Nº de recursos usados.

* Frecuencia en la utilización.

Cuadro 3: Criterios e indicadores de la evaluación de la implementación.

 

En resumen, en esta cuarta fase de evaluación, se debe recoger información sobre el cumplimiento del programa en su cobertura, realización de actividades, ejecución de la temporalización implicación y cumplimiento de funciones por los agentes, utilización de recursos... Para ello se debe tener muy claro cuáles son los aspectos nucleares del programa y las unidades de análisis a utilizar (muestreo si es el caso) de modo que se pueda realizar correctamente la comparación entre lo planificado y lo realizado porque en resumen, en esta fase se quiere ver cómo se desenvuelve en la praxis y realidad diarias, el programa de intervención orientadora diseñado previamente, comparando el modelo ideal con el modelo real que se desarrolla.
Lo que realmente interesa en esta fase es evaluar la identificación y adecuación de las actividades diseñadas al contexto real, responder a la pregunta de si existe o no actividades uniformes implementadas de manera sistemática (Alvira, 1991); en definitiva queremos evaluar si las actividades que se están implementando son las adecuadas en las coordenadas espacio/temporales establecidas y se pueden desarrollar con los instrumentos, medios y recursos prefijados.

 

b) La evaluación de desarrollo

Si la evaluación de la implementación se refiere a «qué» se hace en un programa, la evaluación de desarrollo explica el «cómo» (Municio,1992:389); es decir, qué requisitos debe cumplir el proceso de puesta en marcha para que se considere adecuado, correcto, acorde con un buen desarrollo del mismo.
 
Es la fase en la que resulta más difícil definir los criterios e indicadores porque es donde más claramente entra en juego la visión subjetiva del evaluador, o si se quiere, los aspectos más cualitativos del marco teórico del evaluador, por lo que es frecuente que, mientras en las demás etapas o tipos de evaluación se logra definir los criterios de cumplimiento con mayor o menor dificultad guiandose por la propia finalidad y objetivos de la fase, la de desarrollo se presta a pretender un visión comprensiva del programa, por lo que se intenta embutir en esta fase los apectos que no quedan contemplados en otras fases, o que supuestamente quedan «limitados» por un enfoque muy cuantitivista, lo que facilita la traducción de los deseos del orientador en criterios e indicadores practicamente inaprensibles y/o en listados amplísimos, con lo que la confusión puede estar servida.
Por ello es conveniente que se aplique en esta fase con más empeño que en las demás el principio de parsimonia, de forma que es preferible fijar unos pocos criterios claros y que se traduzcan en indicadores objetivos, aunque sean, tanto en su naturaleza y en el método de recogida de información como en su tratamiento de análisis, de carácter cualitativo, (lo cual no está reñido con su carácter científico). Esto es necesario a pesar de que parezca que dejamos al margen aspectos que creamos «interesantes», pero que harían muy complejo el proceso de evaluación o que nos lleve a pretender evaluar o controlar matices claramente no evaluables por su difícil especificación. En definitiva, debido a la dificultad intrínseca que la finalidad de la fase encierra, se debe tener en cuenta estrictamente los principios de selección y fijación de criterios e indicadores.
 
Siguiendo nuestras propias recomendaciones y apoyandonos en las dimensiones revisionadas en la literatura especializada, hemos fijado como dimensiones básicas en la evaluación del desarrollo del programa:

(a) El binomio programa- factor humano
(b) Evaluación de la actuación del agente
(c) Análisis técnico del programa

 

La evaluación del proceso viene a cubrir en gran parte el binomio programa-factor humano, tanto en la faceta del modo de realización de actividades o tareas como en la de las relaciones que se establecen entre los miembros implicados en el programa (agentes y sujetos). En este sentido la evaluación de proceso nos debe de indicar la adecuación de la actuación (comportamientos) de los agentes del programa, tanto a los objetivos del mismo como a los estilos de actuación y metodologías previstos, así como las respuestas de los sujetos del programa a dichos comportamiento. En cierto modo implica, entre otros aspectos una evaluación o autoevaluación del orientador o agente.
 
De otro lado, la evaluación de desarrollo debe analizar la adecuación del formato técnico del programa (estrategias, recursos, actividades, tareas...) a los objetivos del programa, en tanto que su realización ayude al logro de los mismos, así como el papel real que dicho formato técnico juega en la realización del programa, en la línea de la evaluación de pertinencia o propiedad y de idoneidad o suficiencia que señalan Aguilar y Ander-Egg (1992:48). En otras palabras, se trata de analizar cómo se han instrumentalizado y utilizado los recursos técnicas y procedimientos del programa. Para ello es necesario además de la formulación de criterios e indicadores que nos señalen el modo y adecuación del proceso (agentes, relaciones y formato técnico), el contar con un apropiado sistema de control e información sobre la marcha del programa que permita revisiones periódicas del mismo.
 
La metodología en esta fase puede ser muy amplia, al adaptarse a la naturaleza cuantitativa o cualitativa de los indicadores. Por ello precisamente es necesario fijar con más exactitud el instrumento con que se va a medir cada uno de los indicadores en cada caso en particular (programa). De modo general, se puede indicar como instrumentos apropiados en esta fase los cuestionarios, escalas de observación, diario de sesiones, entrevistas...
En cuanto a la temporalización, si bien puede aplicarse lo dicho en la subfase anterior, cabe una mayor flexibilidad en la recogida de información, al depender de otras personas y no sólo del investigador/orientador y por tanto se hace precisa una más exacta planificación de los puntos temporales en que se va a realizar. Lógicamente, estas precisiones son aplicables en el caso en que el diseño de evaluación coincide con el diseño del programa y se pretende realizar la evaluación durante la aplicación y desarrollo del programa, tanto de modo externo como interno. En el caso de una evaluación posterior a la aplicación del programa la temporalización se adaptará a esta circunstancia.
 
De igual modo, es necesario fijar los niveles de cumplimiento de los criterios e indicadores, adaptandose a los datos concretos que se pidan en cada caso.
 
Como en las fases anteriores brindamos, a modo indicativo, algunos de los criterios e indicadores en que se pueden especificar las tres dimensiones antes dichas.

DIMENSIÓN

CRITERIOS

INDICADORES

Binomio programa/ factor humano

 

A. Motivación del programa.

 

 

 

B. Participación en el programa.

 

 

 

C. Creación del clima.

 

 

 

 

D. Aprovechamiento del tiempo.

 

 

E. Asistencia.

a.1. Los destinatarios muestran interés(formulan preguntas-cualidad).
a. 2. Realizan las actividades indicadas
a. 3. Opinión de los destinatatrios.
a. 4. Atención

b.1. Nª de intervenciones positivas.
b.2. Interacciones que se producen.
b.3. Nª de alumnos que intervienen.
b.4. Opinión.

c.1. Inexistencia de conflictos interrnos.
c.2. Confianza con el orientador.
c.3. Buena conducta y predisposición
c.4. Receptividad de los sujetos.

d.1.Presentación de las actividades asu tiempo.
d.2. Realización de actividades en el tiempo previsto.
d.3. No hay disgresiones del tema general.

e.1. Nº de asistentes.
e.2. Nº de retrasos en el inicio de las sesiones.

Evaluación y actuación del agente

 

A. Actitud positiva y motivadora durante el programa.

 

 

 

B. Adecuación técnica.

a.1. Receptividad de las intervenciones.
a.2. Facilitación de información.
a.3. Establecimiento de un buen clima.
a.4. Opinión de los destinatarios.
a.5. Lenguaje adaptado a los sujetos.

b.1. Preparación previa de las sesiones.
b.2. Preparación previa de las actividades.
b.3. Cumplimiento del horario.
b.4. Ajuste a la metodología prefijada.

Análisis técnico del programa

A. Facilidad - Asequibilidad del programa.

 

 

B. Adecuación y suficiencia de actividades.

C. Adecuación y suficiencia de materiales.

 

D. Adecuación de da temporalización.

a.1. Grado de dificultad de las actividades
a.2. Preguntas sobre lo que han de hacer.
a.3. Corrección de las "tareas" de los alumnos.
a.4. Opinión de los destinatarios.

b.1. Realización de más actividades.
b.2. Supresión de actividades programadas.

c.1. Supresión y/o inclusión de materiales.
c.2. Adaptación de materiales.

d.1. El nª de sesiones es suficiente para los contenidos, actividades y los objetivos del programa
d.2. El tiempoo previsto para cada actividad es suficiente.

Cuadro 4: Criterios e indicadores de la evaluación del desarrollo.

 

5ª FASE: EVALUACIÓN DE LA EFICACIA

Por fin, la última fase de nuestro modelo, la evaluación de la eficacia del programa de Orientación, trata de realizar una evaluación de resultados y efectos del programa, es decir, consiste como expresa Aguilar y Ander-Egg (1992) en comprobar en qué medida se están alcanzando los resultados previstos y también los efectos y resultados no previstos. En ella se trata de recoger suficiente información para saber si el programa está o no consiguiendo los resultados esperados, a través de dos preguntas principalmente:

(a) ¿Se están consiguiendo los resultados esperados?
(b) ¿Estos resultados guardan relación y concordancia con el programa diseñado?, es decir, ¿los resultados obtenidos son efecto del programa desarrollado o de otras variables o aspectos no contemplados?

 

Para contestar «eficazmente» a ellas, los objetivos y resultados esperados deben estar perfectamente identificados y tener una atribución unívoca, de modo que se pueda establecer fácilmente el nivel de logro alcanzado en la consecución de los objetivos, si el mismo es debido al diseño, implementación y proceso del programa y si se han obtenido otros efectos además de los previstos.
 
En definitiva, lo que estamos proponiendo en esta última fase es no sólo el análisis del logro de objetivos, sino una evaluación global/final del programa a partir de establecer la relación entre la consecución de resultados y las posibles causas de los mismos, ya que en ocasiones la mera evaluación de la eficacia puede resultar un dato pobre para la toma de decisiones sobre el programa.
 
Por ello puede ser necesario incluir otros tipos de evaluación que completen la de resultados. Así se puede realizar una evaluación del impacto de los resultados en el contexto en el que se desarrolla el programa y sobre los otros subsistemas a los que no iba dirigido el mismo; o bien una evaluación de efectos colaterales o de efectos no previstos, e incluso la evaluación de la eficiencia basada en la relación coste-efectividad, coste-utilidad del programa, que son las mas provechosas en Orientación, para lo que podemos establecer una serie de indicadores cuantitativos que nos permitirán evaluar los resultados del programa, como por ejemplo indicadores de demanda, de participación, de fondos...
 
La posible realización de éstos u otros tipos de evaluación se deben hacer de modo subsidiario a la finalidad de esta fase de evaluación, que no es otra que comprobar el logro de los objetivos y los efectos del programa y las posibles causas de los mismos.
 
Es primordialmente para el cumplimiento de esta fase para el que se planea el diseño de investigación y en la que cabe, desde el enfoque que nos situamos, un mayor número y complejidad de los análisis estadísticos, aun manteniendose en una evaluación de tipo descriptivo.
 
Los criterios y sus indicadores serán básicamente los de los objetivos y metas del programa (por ello no es posible dar indicaciones generales sobre ellos) y en segundo término los dirigidos a la evaluación global/final, en la que se puede incluir, como hemos visto, la evaluación de impacto, de efectos colaterales y de eficiencia.
Sobre la metodología cabe reiterar lo propuesto para las fases anteriores, si bien se debe hacer más hincapié en los instrumentos que faciliten la recogida de datos cuantitativos y objetivos.

En cuanto a la temporalización, va a depender de los propios objetivos del programa. En todos los caso habrá una evaluación al término del programa, pero dependiendo del tipo de programa y de los objetivos del mismo puede ser necesario realizar una evaluación de resultados durante la puesta en marcha del programa. Es el caso, por ejemplo, de los programas en los que sea preciso el logro del un objetivo para poder conseguir los siguientes, como ocurre con mucha frecuencia en las intervenciones de recuperación o en programas de toma de decisión vocacional en los que es necesario que los sujetos adquieran un conocimiento de sí mismo, del objeto de elección y del proceso de toma de decisión antes de poder aplicarlo al campo de toma decisión vocacional y poder lograr el/los objetivos del programa sobre la correcta toma de decisión vocacional. En otras ocasiones y dado el carácter retroalimentador del modelo de evaluación que proponemos, será conveniente, siempre que los objetivos lo permitan, realizar evaluaciones parciales del logro de objetivos que puedan indicar la continuación o modificación del programa tal y como se diseñó.

 

SÍNTESIS

El modelo de evaluación propuesto, destinado a la toma de decisiones de programas de intervención orientadora, pretende ser un esquema secuenciado y lógico, que permita a los orientadores, siguiendo la ya clásica afirmación de Herr (1976) demostrar que se ha hecho lo que se quería hacer, a lo que nosotras añadimos, de la mejor manera posible. Para ello el modelo propone las diferentes fases, que responden a las siguientes preguntas básicas:

 

(1) ¿Por qué y para quién evaluamos?
(2) ¿Qué programa vamos a evaluar?
(3) ¿Se puede evaluar ese programa?
(4) ¿Se ha llevado a cabo el programa tal y como se diseñó?; ¿Cómo ha sido esa puesta en marcha y por qué funciona el programa?
(5) ¿Se ha logrado lo que nos proponíamos y por qué?

 

A continuación ofrecemos una representación gráfica del modelo de evaluación propuesto:

REFERENCIAS BIBLIOGRÁFICAS

Aguilar, Mª.J. y Ander-Egg, E. (1992). Evaluación de servicios y programas sociales. Madrid: Siglo XXI.

Alvira, F. (1991). Metodología de evaluación de programas. Madrid: CIS-Cuadernos Metodológicos.

Berk, R.A. y Rossi, P.H. (1990). Thinking About Program Evaluation. Sage: Newbury Park.

Hernández, J. y Martínez, P. (1994). Pautas para la evaluación de un programa de orientación. Revista de Investigación Educativa, (23), 598-604.

Hernández, J.Mª y Rubio, V.J. (1992). Análisis de la evaluabilidad: paso previo de la evaluación de programas. Bordón , 43(4), 397-405.

Herr, E. L. (1976). Counseling: Accountability, reality, credibility. Journal of Counseling Services, 1, 14-23.

Municio, P. (1992). La evaluación segmentada de programas. Bordón, 43 (4), 375-395.

Rodríguez Espinar, S. (1986). Proyecto docente e investigador (Orientación Educativa). Universidad de Barcelona. (Inédito.)

 

TO KNOW MORE / PARA SABER MÁS

This article has been cited in... / Este artículo ha sido citado en...

* Gámez Requena, J.J., Márquez, A.C. (2004). Evaluación de los programas de promoción de la salud para inmigrantes. Index Enferm Digital 2004; 44-45. Disponible en http://www.index-f.com/index-enfermeria/44revista/44_articulo_51-55.php [Párrafo añadido el 10 de Abril de 2007/ Paragraph added April 10th 2007].

 

 



Volver al índice general


Volver al índice del Vol. 2 Nº 2