REVISIÓN DE MODELOS DE EVALUACIÓN DEL IMPACTO DE LA FORMACIÓN EN EL ÁMBITO SANITARIO: DE LO GENERAL A LO ESPECÍFICO

INTRODUCCIÓN

El objetivo de este artículo es lograr una definición del impacto de la formación en el desarrollo laboral de los sujetos. Para lograr este objetivo, nos hemos acercado al marco conceptual, a través de la revisión teórica de los diferentes modelos de evaluación de impacto que se encuentran en la literatura revisada. La conclusión que obtenemos de esta revisión de modelos, va encaminada a la definición de las diferentes dimensiones que componen el impacto, entendido como producto mediato de la formación, tanto desde la perspectiva individual, como desde un punto de vista social. Estas dimensiones teóricas, implicadas en los diferentes modelos analizados, son: la satisfacción de expectativas respecto a la formación (se considera uno de los productos esenciales de cualquier acción formativa), el valor añadido (entendido como el incremento en lo a que a conocimientos se refiere), y, como tercera dimensión a considerar, las mejoras que se producen en la empleabilidad. .

    Los modelos de evaluación se inscriben en un contexto de calidad concreto y, por tanto, en la primera parte de este artículo analizaremos diferentes modelos de evaluación de la calidad para, a continuación, hacer un breve repaso de los modelos de evaluación del impacto de la formación y terminar con la revisión de los modelos de evaluación del impacto de la formación en el ámbito sanitario. De esta forma, la revisión comenzará por lo más general hasta llegar a un ámbito más específico.

1. Modelos de evaluación de la calidad

1.1. Modelo de evaluación de la calidad de Le Boterf

Le Boterf, Barzucchetti y Vincent (1993) identifican tres características clave de la calidad:

1.      El control de la calidad significa dominar la calidad del conjunto de las funciones de la empresa, incluyendo funciones administrativas.

2.      El dominio de la calidad total es una búsqueda que no tiene un final determinado.

3.      La dificultad de enmendar posibles errores se incrementa en función del momento y lugar en el que se produzca.

Estas tres características se pueden implementar en el proceso de calidad de la formación teniendo en cuenta los siguientes aspectos: en primer lugar, es imprescindible tener en cuenta todas y cada una de las fases que concurren en el proceso formativo, incluyendo selección de los asistentes y planificación de la acción formativa; en segundo lugar, el grado de satisfacción de los asistentes, la evaluación de las competencias adquiridas y el índice de readaptación, considerados como feedback de la formación impartida, conducen a una búsqueda permanente de la calidad; y, en tercer lugar, los errores como el fallo en la detección de necesidades son más difíciles de corregir que los que se producen durante el proceso formativo.

A estas características generales adaptadas a la formación, podemos añadir las consideraciones que Le Boterf (1993) hace sobre el Ciclo de Deming. El Ciclo o rueda de Deming, plantea cuatro acciones fundamentales que tienen como consecuencia la calidad; éstas son: Planificar (P), Realizar o ejecutar (D), Controlar o verificar (C) y Mejorar (A).

1.2. Modelo Enfoque de Inversión de Mamolar

Como alternativa al modelo de adquisición y mantenimiento de competencias desarrollado en párrafos anteriores, encontramos un modelo que pretende ser integrador y novedoso denominado enfoque de inversión. Se trata de un modelo generado por y para la empresa que tiene como objetivo la evaluación de la formación desde una perspectiva de rentabilidad de la inversión en este terreno. Aunque aparentemente la relación con el ámbito que nos ocupa parece lejana, este modelo incorpora una serie de indicaciones y recomendaciones que parecen aptas para incorporar en el modelo evaluativo que propondremos posteriormente.

En primer lugar, la correcta definición y detección de necesidades, de esta forma el programa de formación puede considerarse adecuado a los intereses y demandas de los profesionales. En segundo lugar, este modelo propone, la especificación de las competencias, habilidades y conductas que van a adquirir los participantes y, por último, la selección de los indicadores que nos permitan recoger información que resulte relevante para poder evaluar tanto el proceso como los resultados de la formación.

Las conclusiones más relevantes de este modelo están en la línea de  resaltar la importancia de adaptar los procesos formativos, no sólo al mantenimiento de competencias, sino también a la continua transformación y adaptación de esas competencias a situaciones de continuo cambio.

1.3. Modelo de calidad orientado a la satisfacción de Martínez-Tur

En la línea de modelos de calidad orientados a la satisfacción, Martínez-Tur y Tordera de la Universidad de Valencia (1995), elaboran un modelo causal basado en modelos clásicos sobre la medida de la satisfacción. La novedad que introducen estos autores versa sobre la revisión del modelo de alta implicación (MAI), que hipotetiza relaciones causales entre la calidad, las expectativas del usuario ante el producto que consume, la desconfirmación[1], la satisfacción y las intenciones conductuales. Los resultados más relevantes de este estudio radican en la significatividad de los parámetros del modelo, una vez revisado. La revisión del MAI, con la consiguiente modificación de relaciones causales (inclusión de un efecto directo de la calidad percibida sobre la satisfacción), resulta un modelo que se ajusta a los datos, pero sin embargo tiene deficiencias apreciables que los mismos autores señalan en las conclusiones. En primer lugar, podemos destacar la unidimensionalidad de la variable satisfacción, sólo se ha utilizado una medición de esta variable y hubiese sido deseable utilizar más de un indicador. La satisfacción es un constructo multidimensional y como tal está contemplado en este trabajo. En segundo lugar, y quizá como crítica más importante, nos encontramos con la imposibilidad de generalizar los resultados a otros sectores. Esta limitación es común a muchos de los artículos revisados y viene dada por una serie de características tales como la utilización de muestras reducidas o la escasa formalización de los modelos presentados, así como la falta de adecuación de los criterios de valoración. Por último, reseñar que la metodología utilizada para intentar explicar las relaciones causales entre las variables, se ha superado ya con técnicas LISREL que permiten utilizar variables o constructos latentes multidimensionales con mayor poder explicativo que las variables observadas.

1.4. Modelo Europeo de Gestión de la calidad

Otro de los modelos de calidad revisado es el Modelo Europeo de Gestión de la calidad, que edita la Fundación Europea para la Gestión de la Calidad; en él se ven recogidas unas directrices generales que se pueden adaptar a múltiples contextos. Este tipo de modelo nace concebido para el ámbito de la empresa y,  en el caso de España, es el Ministerio de Educación Cultura y Deporte el encargado de adaptarlo al medio educativo o formativo. Adaptado a la formación el Modelo Europeo de Gestión de la Calidad se resume de la siguiente forma: la satisfacción de los usuarios del servicio Público sanitario de Formación, de los coordinadores y el impacto en la sociedad se consigue mediante un liderazgo (entiéndase como la implicación de la Administración) que impulse la planificación y la estrategia, la gestión del personal sanitario implicado, de los recursos y sus procesos hacia la consecución de la mejora permanente de los resultados. El sistema de evaluación por puntuaciones responde a una consulta efectuada a un conjunto de organizaciones europeas. A continuación repasaremos los conceptos básicos del Modelo que como se puede comprobar están estrechamente relacionados con los postulados teóricos del Modelo de Calidad Total. Estos conceptos son: orientación al cliente, relaciones de asociación con proveedores, desarrollo e involucración del personal, procesos y hechos, mejora continua e innovación, liderazgo y coherencia con los objetivos, ética y responsabilidad y orientación hacia resultados.

1.5. Modelo Relacional de Calidad de De la Orden

Otro de los modelos que puede contribuir a contextualizar las distintas teorías asociadas a los modelos de evaluación es el modelo relacional de calidad planteado por De la Orden (1988; 1990; 1997), establece las relaciones entre los distintos elementos de un sistema: objetivos y metas, recursos, procesos, entradas, contexto y productos, de estas relaciones, el autor, establece tres criterios de calidad como son la eficacia, eficiencia y funcionalidad, en función de los cruces entre elementos. La evaluación consiste en identificar las posibles deficiencias de este sistema así como los productos que se derivan del mismo dentro de un proceso continuo de retroalimentación. Cada uno de los elementos del modelo, vienen justificados por una teoría subyacente sobre la evaluación en general y sobre la evaluación de programas en particular. Se trata de un modelo sistemático y a su vez completo que puede ser “aplicado” a cualquier sistema evaluable. Permite elaborar indicadores para evaluar tres dimensiones: eficacia, eficiencia y funcionalidad, las cuales, en su conjunto,  son el reflejo de la Calidad. El profesor De la Orden define calidad como: “La Calidad aparece como un continuo escalar cuyos puntos representan combinaciones de funcionalidad, eficacia y eficiencia, mutuamente implicados. Su grado máximo, la excelencia, supone un óptimo nivel de coherencia entre todos los componentes principales representados en el modelo sistémico” (De la Orden Hoz, 1997). Los indicadores se plantean de forma diferente para cada  dimensión.

La eficiencia pone de manifiesto la relación de entradas y procesos con los productos. De la Orden (1997) afirma: “La coherencia entre, por un lado, inputs y procesos y, por otro lado, productos”. La eficacia, por su parte, supone coherencia en la relación entre entradas o inputs y productos, y por último, la funcionalidad, supone la coherencia entre metas/objetivos generales y productos.

1.6. Modelo de Evaluación de la Gestión de Olaz

Los modelos de evaluación de los procesos formativos que hemos revisado hasta el momento, no suelen establecer una metodología concreta de evaluación. Sin embargo, encontramos el modelo de Evaluación de la Gestión de Procesos en Recursos Humanos de Olaz (2000) que sí propone una metodología de análisis concreta. En este modelo se aboga por una metodología e interpretación cuantitativa de los datos obtenidos en la evaluación. Siguiendo una metodología cuantitativa, el primer paso sería establecer las variables representativas y cuantificables como elemento de referencia válido. Entre ellas, encontramos la variable que hace referencia a la formación. Esta variable trata de determinar el grado de conocimientos imprescindibles que permitirán desarrollar las tareas del proceso en términos de eficiencia operativa. En segundo lugar se propone relacionar los factores que genéricamente han sido presentados, con las variables representativas. En el caso de la formación se establecen tres factores relacionados con las técnicas, las habilidades directivas y aspectos formativos. Una vez identificadas las variables y los factores asociados, se puede construir un sistema de valoración que debe contemplar aspectos como la objetividad para conseguir fines explicativos, interpretabilidad de los datos, causalidad de las relaciones entre las variables y /o factores así como fiabilidad y representatividad de los datos con los que se pretende obtener información del proceso de evaluación. Este modelo está centrado en los procesos internos de una organización empresarial, la contribución a nuestro estudio radica en la utilización de una metodología cuantitativa y de relaciones causales entre variables.

1.7. Modelo de Barbier       

Ahondando en el tema de la evaluación de la formación, esta vez desde el énfasis en los procesos, encontramos la aportación de Barbier (1993). Este autor analiza desde una perspectiva pedagógica los procesos de la evaluación de la formación. En aras a facilitar su comprensión y justificar su utilización vamos a proceder a definir brevemente cada uno de los términos utilizados.

En primer lugar, cuando hablamos de evaluación de agentes, nos estamos a refiriendo a todas evaluación que haga referencia a adquisición de conocimientos, aptitudes, habilidades, tanto a nivel individual como de grupos u organizaciones. Por otro lado, para este autor la evaluación de acciones hace referencia a la evaluación de la metodología utilizada, las actividades, los sistemas y todo aquello que se relaciona con los procesos de formación. Por último, señalar que para Barbier (1993), la elaboración de criterios a partir de objetivos permite poner en relación los objetivos con la información relativa a la consecución de los mismos. Podemos destacar la referencia explícita al trabajo pedagógico que conlleva la formación.

En este sentido seria importante añadir qué entiende el autor por el proceso de adquisición de conocimientos, destrezas o habilidades pedagógicas. En primer lugar empezaremos por definir lo que entiende por perfil: conjunto de capacidades individuales sobre las cuales se apoya la actividad formativa. Entendemos pues que la formación debe partir de la individualidad y adaptarse a las capacidades de cada sujeto. Este proceso formativo debe contar con una serie de medios específicos, adecuados a los objetivos previstos, que faciliten la relación pedagógica, entendida como la distribución de roles en la interacción profesor-alumno. Asimismo, el proceso formativo debe contar con tres fases diferenciadas:

1.      Determinación de objetivos: Estos deben estar definidos en función  de las capacidades individuales y deben ser operativos.

2.      Construcción de mecanismos o secuencias que conduzcan el proceso de adquisición de destrezas.

3.      En una tercera fase se procede a la evaluación del proceso pedagógico, así como la consecución de  los objetivos fijados en la primera fase.

Este tipo de evaluación es lo que Barbier denomina evaluación instituida. Se trata de un tipo de evaluación donde los juicios de valor se realizan de forma explícita a través de un proceso de diseño a priori, con objetivos bien definidos, metodología científica y evaluación de resultados entendida como consecución de metas.

2. Modelos de evaluación de impacto

En este epígrafe realizaremos una revisión de algunos de los modelos utilizados en la práctica para evaluar el impacto de la formación.

La evaluación de impacto es una forma de evaluación que poco a poco ha ido ganando aceptación entre los encargados de planificar e impartir formación continua para adultos. Vamos a presentar seis modelos de evaluación del impacto de la formación. Cada uno de ellos lo comentaremos teniendo en cuenta dos aspectos: en primer lugar una descripción detallada del modelo y seguidamente un análisis crítico en base a ventajas e inconvenientes de cada uno de los modelos analizados.

2.1. Modelo de evaluación de cuatro niveles de Kirkpatrick

Descripción del modelo

El Modelo de Evaluación de Programas de Formación que plantea Kirkpatrick (1959, 1996, 1999), establece diez factores a considerar a la hora de planificar y poner en marcha cualquier acción formativa. El primero de ellos sería la detección de necesidades. Este primer paso está consolidado en esta posición como podemos comprobar en la literatura sobre evaluación revisada hasta el momento. Si la acción formativa que queremos llevar a la práctica no se adecua a las necesidades, tanto de los asistentes a la misma como de los demás grupos implicados, no conseguiremos que la formación sea de calidad ya que no cumpliría el criterio de funcionalidad. El segundo factor a tener en cuenta es el establecimiento de objetivos. En tercer lugar, la determinación de los contenidos, resulta del establecimiento de los dos factores anteriores. Además de determinar las materias a impartir, en este paso se deben jerarquizar los contenidos en función de la relevancia en base a los objetivos y las necesidades detectadas. El siguiente factor a tener en cuenta en el diseño de una acción formativa será la selección de los participantes. Esta selección debe hacerse en función de unos criterios bien definidos y explícitos, es decir que los criterios sean públicos y conocidos con anticipación por los sujetos susceptibles de participar en la formación. Los siguientes cuatro factores están íntimamente relacionados entre sí y forman parte del propio proceso. El primero de ellos es la elección del plan de trabajo a seguir, es decir determinar horarios y duración del curso. Esto debe hacerse en función de los participantes de los formadores. En segundo lugar, la selección de la infraestructura adecuada a los contenidos y al plan de trabajo. El siguiente factor es la selección y contratación del personal docente encargado de llevar a cabo la formación. Este es un punto en el que suele aparecer problemas sobre todo de índole económica. No siempre el docente con más calidad y que más se ajusta al perfil tanto de los asistentes como de los contenidos a impartir, resulta ser el más caro. Hoy muchas empresas u organismos valoran a los docentes por la cuantía de sus honorarios, sin tener en cuenta su adecuación o no a las características del curso. El siguiente factor hace referencia a la selección y preparación de materiales audiovisuales. Por último en este bloque que henos denominado de proceso, cabe destacar el papel de la coordinación de la formación. Se dan varias situaciones en este aspecto, puede que algún docente haga la función de coordinador o este papel lo desempañe otra persona.

Sobre el décimo factor, denominado evaluación, se estructura el Modelo de cuatro niveles: Reacción, Aprendizaje, Comportamientos/conductas y Resultados. En cada una de estos niveles, el autor, propone una serie de condiciones e indicadores que facilitan y estructuran la evaluación. En cuanto al primero de los niveles denominado reacción, hemos de fijar nuestra atención sobre aspectos del programa formativo relacionados con el tema, con la persona encargada de impartir la formación y con el programa en su conjunto. Reacción es básicamente medir la satisfacción de cliente. Para ello se debe construir un cuestionario de satisfacción ad hoc que contenga tanto cuestiones valorativas como la posibilidad de que el encuestado exprese su opinión personal así como comentarios y sugerencias. Este cuestionario de satisfacción debe cuantificar las reacciones inmediatas de los asistentes tras finalizar la sesión formativa. Otra de las razones para medir la reacción es la motivación y el interés de los asistentes a los cursos formativos. En cuanto al segundo nivel denominado aprendizaje, la medida se centra en la adquisición de conocimientos, mejora de las habilidades y cambio de actitudes. Este tipo de conocimientos que se adquieren durante la formación deben ser evaluados a través de pruebas post-formación y medir los logros obtenidos y el cumplimiento de objetivos fijados a priori. Normalmente el aprendizaje va acompañado de uno o más de estos indicadores. El tercer nivel se relaciona con los comportamientos o conductas que pueden medirse durante el curso o una vez finalice. Si el propósito de la formación es un cambio en las pautas de comportamiento, muchos estudios han comprobado que este tipo de cambios se producen muy lentamente y que sólo la mera adquisición de conocimientos no resulta suficiente para que los cambios resulten estables. Por último el nivel de resultados, en este nivel se van a medir los resultados finales de la formación donde se incluyen como indicadores el incremento del salario, aumento de la productividad, mayores beneficios, reducción de costos, estabilidad en el puesto de trabajo y mejora de la calidad.

Ventajas e inconvenientes

El modelo presenta varios puntos fuertes. El primero de ellos reside en su viabilidad práctica, existe un consenso entre los formadores y evaluadores en la capacidad del modelo para llevarlo a la práctica sin dificultad. Esta ventaja reside en la excelente estructuración del mismo, así como de lo pormenorizado de cada acción a seguir para evaluar un programa formativo. Otra de las ventajas de este modelo es su carácter pionero, es decir, resulta la base de la evaluación de impacto de la formación. Hace cuarenta años, la evaluación de impacto apenas estaba en sus albores, el modelo de Kirkpatrick resultó toda una revolución en este ámbito.

Del mismo modo, este modelo ha recibido varias críticas y se considera superado en muchos aspectos, de cualquier forma nos parece acertado incluirlo en esta revisión ya que sienta las bases de la implantación definitiva de la evaluación de programas formativos como herramienta de cambio y mejora de la calidad. Pasamos a señalar algunas de las críticas más comunes que se le atribuyen al Modelo de Kirkpatrick. La primera de ellas formulada por Adams (2001), considera el modelo defectuoso. Se trata, según el autor, de un modelo simplista que no cuantifica el impacto real de la formación ya que la consecuencia o resultado de la evaluación rara vez podemos observarlo como impacto. Habitualmente, en las organizaciones, la evaluación de la formación se estanca en el segundo nivel que propone Kirkpatrick (aprendizaje) y no se llega al nivel 4 donde se mide el impacto propiamente dicho. Por tanto no podemos decir que la formación ha sido efectiva. Otra de las críticas que se le hacen a este modelo (Brinkerhoff, 1987) pone de manifiesto las ventajas e inconvenientes de la utilización de modelos como el de Kirkpatrick, la primera de estas limitaciones hace referencia a la unidimensionalidad del modelo, los resultados se traducen en términos meramente económicos, dejando de lado aspectos muy importantes que no pueden definirse con estos términos. La segunda limitación se refiere a que el posible feedback de la acción formativa no es inmediato o directo. Normalmente los contenidos, habilidades y actitudes adquiridos durante la formación no se ponen en práctica de forma inmediata y es en este periodo de tiempo transcurrido donde puede perderse gran parte de la información recibida. Por último, se hace referencia a la no-adecuación de los Modelos de Análisis Económicos como modelos de evaluación de la formación en recursos humanos. En esta crítica estamos totalmente de acuerdo ya que es una forma simplista y reduccionista de los elementos que pueden estar influyendo en la calidad de esa formación. Del mismo modo no podemos medir el impacto de la formación en términos meramente económicos, ya que dejaríamos de lado los verdaderos elementos que influyen en le mantenimiento y puesta en práctica de los conocimientos adquiridos durante el proceso formativo.

2.2. Modelo de evaluación del impacto de Chang

Descripción del modelo

Modelo planteado por Chang (2000) desde un punto de vista práctico como material de apoyo a los responsables de planificar, impartir y evaluar la formación.

Describiremos cada una de las fases del Modelo IDEAMS de forma pormenorizada. La primera fase consiste en identificar las necesidades de formación (I), para ello se debe decidir si la formación puede mejorar el rendimiento laboral y como puede lograrlo. En esta fase se tendrán que definir y determinar las metas a conseguir por medio del proceso de formación. La segunda fase hace referencia a la elección y diseño (D) del enfoque de formación más adecuado a los propósitos definidos en la primera fase para, de esta forma, conseguir mejorar el rendimiento laboral de los profesionales a quienes va dirigida la formación. En la tercera fase se deben elaborar (E) las herramientas necesarias para llevar a cabo la formación o entrenamiento de los asistentes. En este punto conviene diseñar y construir tanto el material bibliográfico como audiovisual o de apoyo. En cuarto lugar nos encontramos con la fase de puesta en práctica de lo diseñado anteriormente, propiamente la fase de aplicación (A) de las técnicas de formación. Aunque se trata de un proceso flexible y abierto, no por ello hay a dejar de lado la rigurosidad a la hora de seguir los pasos que se fijan en el diseño. Cabe destacar que la improvisación en este tipo de procesos de evaluación de la formación puede llevar al fracaso y a la no-consecución de los objetivos planteados a priori. La quinta fase que plantea Chang alude a la evaluación y medición (M) de los resultados de la formación, aquí se evaluará la consecución de objetivos y los logros en la mejora del rendimiento actual. Asimismo, éste será el momento de rectificar posibles deficiencias halladas durante el proceso. Es en la sexta fase donde encontramos alusiones explícitas a la evaluación del impacto a medio y largo plazo. Mediante el seguimiento (S) y la consolidación de las adquisiciones, tanto a nivel individual como de organización, se consigue que los efectos positivos, fruto del proceso de formación, se mantengan en el tiempo.

Ventajas e inconvenientes

Como se ha podido comprobar en el desarrollo de las características fundamentales del modelo, se trata de un modelo diseñado en base a un proceso sistemático con la descripción de cada una de las fases de forma pormenorizada con lo que posee gran aplicación práctica y resulta esencial para evaluadores que se enfrenten por primera vez a la tarea de valorar un programa de formación. Por otra parte se trata de un proceso que contiene una fase de evaluación del impacto propiamente dicho y en él se describen detalladamente las acciones a lleva a cabo para que los efectos positivos que hemos conseguido con el programa se mantengan en el tiempo. Uno de los posibles inconvenientes de la aplicación de este modelo es el desarrollo detallado de cada una de las fases. Esto supone que el evaluador debe tener un gran conocimiento sobre cada una de las fases ya que no de dan claves para desarrollarlas.

2.3. Modelo de Cervero para evaluar la Formación Continua de profesionales en ejercicio

Descripción del modelo

El modelo que presentamos a continuación lo desarrollan Cervero y Rottet en 1984 y posteriormente Dimmock lo completa en 1993. El propósito fundamental del modelo es enlazar la formación continua con el desarrollo profesional de los sujetos.

El modelo de Cervero y Rotter (1984, 1986) se constituye en base a una serie de constructos o bloques que se consideran variables independientes. En primer lugar, el programa de formación continua que se diseña y planifica en función de las necesidades de los sujetos. En segundo lugar, el propio profesional en ejercicio con sus características diferenciales y propias. En tercer lugar, la naturaleza del cambio que se propone producir mediante el programa de formación y, en cuarto lugar, el sistema social de referencia de los sujetos objeto de la evaluación. Estos cuatro bloques actúan de variables independientes y como variable dependiente el desarrollo profesional del sujeto. Cada uno de esos bloques se subdivide, a su vez, en distintos indicadores.

Ventajas e inconvenientes

Aunque en la validación empírica del modelo los autores, a través de la técnica de regresión múltiple, encontraron que las cuatro variables/bloques independientes explican del 63% a 81% de la varianza de la variable dependiente, se trata de un estudio muy limitado y basado sólo en las mediciones post-test. Los autores recomiendan utilizar una muestra mayor para poder generalizar resultados y, a su vez, recomiendan el uso de técnicas estadísticas multivariantes para validar los datos obtenidos. De cualquier manera, existe un consenso que apoya la validación de este modelo y es que la evaluación del programa es una parte esencial del propio programa. Ésta es la gran conclusión o aportación que podemos destacar de este modelo junto con la adaptabilidad a cualquier profesión, en lo que a evaluación del impacto de la formación continua se refiere.

2.4. Modelo de evaluación de Grotelueschen

Descripción del modelo

Tienen su base teórica en Tyler, este autor complementa la definición que Tyler hace de evaluación incluyendo y proponiendo una serie de categorías. La primera de las categorías hace referencia a la evaluación sumativa o de rendición de cuentas. La segunda categoría se refiere a la evaluación formativa como la describe Scriven (2000). Por último, la tercera categoría hace referencia a las futuras acciones y decisiones a tomar acerca de la planificación de programas formativos.

El autor propone (Grotelueschen, 1980) tener en cuenta tres dimensiones a la hora de evaluar un programa formativo: propósito de la evaluación (esta dimensión debe estar claramente especificada y definida a priori), elementos del programa y características o componentes del programa. A su vez, estas dimensiones se concretan en ocho cuestiones fundamentales a considerar tanto en la planificación como en la evaluación de programas de formación. Estas cuestiones son: propósito de la evaluación, audiencias implicadas, usos de la evaluación, recursos disponibles, colección de evidencias, recogida de datos, análisis de la evidencia y transmisión de los hallazgos encontrados tras la evaluación.

El modelo, en líneas generales, presenta el proceso de enjuiciamiento y toma de decisiones encaminadas a, por un lado, la rendición de cuentas; y por otro, a la reestructuración o propuestas de mejoras sobre un determinado programa.

Ventajas e inconvenientes

Este modelo presenta una serie de inconvenientes que radican fundamentalmente en la falta de consideración de elementos como la detección de necesidades o el propósito/meta del programa objeto de evaluación. Estos elementos resultan esenciales en cualquier evaluación. Por otro lado, la gran ventaja que supone el modelo estriba en el carácter externo de la evaluación que, por un lado, consigue un alto grado de objetividad por parte de los evaluadores y, por otro, implica en el proceso evaluativo a los potenciales usuarios del programa.

2.5. Modelo de evaluación orientado a los resultados de Jackson

Descripción del modelo

Jackson (1994), hace un recorrido por los diferentes modelos de evaluación de impacto desarrollados en el ámbito de la empresa. En ese análisis llega a la conclusión de que los encargados de diseñar e impartir la formación a los trabajadores deben tener en cuenta los objetivos que se persiguen para poder medir los resultados obtenidos.

Las siete etapas que identifica el autor como elementos del proceso de formación son:

1)      Identificación de necesidades

2)      Análisis de las necesidades de formación

3)      Explicitar por escrito los objetivos del programa de formación

4)      Desarrollo del programa

5)      Llevar a cabo el programa

6)      Evaluación del programa

7)      Comunicación de resultados

Estas etapas nos conducen al análisis de resultados en términos de coste-beneficio en base a dos caminos diferenciados, por un lado el asesoramiento del proceso de adquisición de habilidades y por otro la medida de los resultados en términos de número de ítems completados para determinar los estándares de rendimiento.

Ventajas e inconvenientes

Los puntos fuertes de este modelo radican, por una parte, en el énfasis que se hace en la detección de necesidades formativas en un colectivo de trabajadores como primer paso y, por otro, la operacionalización del proceso y la medición del rendimiento en base a estándares autoreferenciales. Cabe destacar, asimismo, el carácter práctico del modelo y la especificación minuciosa de las diferentes fases de la evaluación, desde una evaluación diagnóstica hasta la evaluación basada en la consecución de objetivos (impacto).

Por contra, podemos encontrar asimismo algunas deficiencias en el modelo que plantea Jackson, como por ejemplo: la no inclusión en el proceso de evaluación de variables relacionadas con la cultura de la organización o empresa donde desarrollan su labor los trabajadores objeto de estudio, las habilidades de los trabajadores, o el pasado profesional de los mismos, todas ellas, como se puede observar, constructos complejos.

2.6. Modelo de evaluación del impacto de la formación de Robinson & Robinson

Descripción del modelo

Los postulados teóricos de este modelo están recogidos en el libro “Formación para el impacto” (Robinson y Robinson, 1989). Este modelo se compone de 12 fases orientadas a la evaluación de resultados y que directamente enlazan con los cursos de formación. Se podría decir que el modelo de Robinson & Robinson se concreta en la siguiente fórmula:

 Esta fórmula recoge las relaciones entre el programa de formación para profesionales en ejercicio, el contexto de aprendizaje y los resultados que se derivan de la relación anterior.  La coherencia entre los objetivos propuestos y los resultados obtenidos darán como resultado la medida del impacto en la organización. En el siguiente gráfico queda reflejado el modelo de evaluación de impacto de la formación que propone el autor:

La medida de los resultados de impacto se realiza en base a una serie de preguntas:

§         ¿Sabemos qué habilidades o destrezas se transfieren a través de la formación?

§         ¿Sabemos cuánta gente aprende?

§         ¿Son las necesidades que se detectan las que se desean satisfacer a priori?

Ventajas e inconvenientes

Las características de este modelo son al mismo tiempo su punto fuerte y su punto débil. En este sentido, se presentan como puntos fuertes del modelo la identificación de necesidades de formación en la organización y, la relación de colaboración entre los formadores, los profesionales y la persona encargada de planificar la formación. Estas características se convierten a su vez en dificultades si tenemos en cuenta que las relaciones de colaboración entre los implicados dependen de la intensidad de la relación con el cliente. Como conclusión a este modelo podemos decir que su mayor ventaja radica en su capacidad para consolidar las relaciones entre los formadores, los profesionales y el cliente.

3. Modelos de evaluación del impacto de la formación en el ámbito sanitario

  A continuación se van a analizar modelos adaptados al ámbito sanitario que están en consonancia con el objeto de estudio. Cabe señalar que la revisión de la literatura en este aspecto, aunque minuciosa, sólo aporta unos pocos modelos que están referenciados como tales, ya que en la mayoría de los casos son experiencias concretas que responden a teorías genéricas sobre evaluación o sobre adaptaciones al terreno sanitario.

3.1. Modelo SM/PI (System Model of policy indicators) 

Comenzamos esta revisión teórica de los modelos utilizados para evaluar programas de salud con el modelo que plantea el Instituto Politécnico y la Universidad del Estado de Virginia para evaluar la política de un sistema sanitario. El modelo SM/PI (System Model of policy indicators) tiene sus inicios en la década de los 70, siendo en este período donde se empieza a incorporar a las ciencias sociales en un intento de conceptualizar un proceso cíclico de inputs-outputs-feedback.

En este modelo se barajan dos tipos de sistemas de indicadores. Por un lado, el sistema de entradas basado, fundamentalmente, en las demandas y que en este modelo responde a un sistema centralizado de relación única con los sistemas locales (SWM) y, por otro, los resultados como las decisiones y las acciones a tomar. Se considera fundamental la retroalimentación o feedback ya que hace posible la consecución de los resultados. En este modelo se ha utilizado el procedimiento estadístico de regresión simple para estudiar lo que explica cada una de las variables de entrada de las variables de resultados, que en este caso son las acciones y decisiones.

3.2. Modelo QSP-INC (Fornell, Universidad de Michigan)         

En este modelo, a diferencia de otros, hacen uso de una metodología causal, en un intento de avanzar en el terreno del contraste y validación de teorías, que es esencial a la hora de establecer relaciones de causa-efecto entre la calidad, la satisfacción de los usuarios, los resultados, y el impacto.

El modelo QSP-INC para medir la calidad percibida de un servicio hospitalario lo ha desarrollado el Catedrático Fornell de la Universidad de Michigan (http://directory.umich.edu; www.cfigroup.com/bios/cfornell.htm). Este Modelo permite, en base a la metodología utilizada, elaborar modelos más concretos en función de las variables a examinar. Pondremos como ejemplo el modelo elaborado en Suecia (Modelo INC). En este modelo cada componente de calidad posee una serie de atributos concretos y medibles que van asociados a cada una de las variables: así, los atributos de la variable calidad percibida son: general, adecuación al uso y fiabilidad; de la variable valor percibido: precio dada la calidad y calidad dado el precio; de la variable expectativas: general, adecuación al uso y fiabilidad; de la variable satisfacción del usuario: satisfacción propiamente dicha, confirmar/anular  expectativas y comparación con ideal; de la variable quejas: en función del nivel de satisfacción; y de la variable lealtad a la empresa: fidelidad hacia la empresa por parte del trabajador que ha sido objeto de formación continua por parte de la  empresa.

Este modelo permite determinar la puntuación en cada uno de los atributos de calidad y a partir de estas puntuaciones estimar el impacto que tienen estos atributos sobre los componentes de calidad. Del mismo modo la puntuación de los componentes de calidad, determina el impacto que estos tienen sobre la satisfacción.

Este tipo de metodología QSP supone un avance muy importante a la hora de resolver ecuaciones estructurales de relaciones causales en cadenas largas, ya que otro tipo de metodologías como la regresión o el análisis factorial no responden al objetivo de “...medir una secuencia de percepciones que se tiene que valorar de forma simultanea con la restricción de maximizar la relación entre el índice de satisfacción y las variables de comportamiento objetivo” (Friberg, 1995).

Desde un punto de vista de la amplitud del ámbito de acción de la evaluación, podemos clasificar los enfoques de medida de la satisfacción en: enfoque macro (un sistema sanitario completo), enfoque intermedio (programa de asistencia) y enfoque micro (servicio ambulatorio u hospitalario concreto).

La metodología utilizada se establece en base a unas escalas de valoración en las que se contemplan aspectos como la accesibilidad al programa o la viabilidad del mismo. El problema asociado a este tipo de medidas radica en la imposibilidad de comparar programas ya que al incorporar expectativas no se distingue claramente si los efectos producidos se deben a las propias expectativas o simplemente a un incremento en la calidad del servicio. Para intentar subsanar este inconveniente metodológico se elabora un modelo que incorpora multitud de variables como posibles causas que influyen en la satisfacción, de manera que la tarea se centra en identificar los efectos de cada una de esas variables sobre la satisfacción y el impacto que tienen determinados programas formativos.

3.3. Modelo de Ubillos         

Retomando el tema de la problemática asociada a la evaluación de impacto de programas formativos, Ubillos (1994) analiza dos tipos de diseños quasi-experimentales para comparar el poder evaluativo de cada uno de ellos. Por un lado el diseño de grupos no-equivalentes, en el que se compara la medida post-test del grupo experimental con la medida post-test del grupo de control, se trata del diseño quasi-experimental más válido y el que posee mayor validez externa. Por otro lado los diseños quasi-experimentales de línea base no causal construida, estos diseños tienen su base en la comparación de la medida post-test del grupo de tratamiento con un grupo apareado disfuncional o funcional, es decir, se compara con una norma (en la mayoría de los casos perceptibles de una población comparable). 

conclusiones

La revisión de la literatura sobre modelos de evaluación del impacto, nos da idea de las grandes dimensiones que tienen relación con el mismo. De esta forma, y como conclusión, pasamos a definir las grandes dimensiones que explican el impacto de la formación:

Valor Añadido

El primer gran factor, común a muchos de los modelos analizados sería la adquisición de conocimientos. Es decir, el producto más inmediato de un programa de formación es, sin duda, los conocimientos adquiridos y representa un claro indicador de la calidad del programa en sí. El concepto de valor añadido se acuñó, originalmente, en términos económicos: “incremento de valor que experimenta un bien en su proceso de transformación” (Diccionario de la Lengua Española, 2001). En nuestro caso, trasladado al ámbito de la formación continua, hablaremos de valor añadido como incremento en lo que conocimientos se refiere, que experimenta un sujeto tras haber participado en un programa de formación.

Satisfacción

La satisfacción es una dimensión fundamental en la explicación del impacto de la formación. Costa Font (1999) entiende por satisfacción:

“…adecuación de sus expectativas con la percepción final del servicio sanitario (concepto que procede de la calidad percibida del servicio)” (pp. 79-80)

La satisfacción es un índice de calidad del servicio y de correcto funcionamiento, así como un indicador de resultados. En la definición del profesor Costa Font, aparece el término expectativas como un elemento fundamental a la hora de poder evaluar el grado de satisfacción del cliente. Podemos clasificar las expectativas en relación a su tipología, estas pueden ser: ideales o deseos, predecibles o basadas en la experiencia, normativas e inexistencia de expectativas. Está demostrado que la satisfacción está relacionada con multitud de variables entre ellas la calidad del servicio, la cantidad de información recibida y variables sociodemográficas (Hall y Dornan, 1988).

mejora del status profesional

La presente dimensión teórica que se plantea como efecto del programa formativo, forma parte de la mayoría de estudios sobre la rentabilidad e impacto de la formación.  Si nos hacemos eco de lo reflejado en el cuarto nivel del modelo de Kirkpatrick la adquisición de capacidades, habilidades y conocimientos sobre un tema determinado, deberían repercutir sobre la empleabilidad de un sujeto.

De esta forma quedan definidas las dimensiones que, extraídas de la revisión teórica de modelos de evaluación del impacto de programas de formación, configuran el impacto que tiene la formación en el desarrollo profesional de los sujetos que asisten a un programa de formación.

BIBLIOGRAFÍA

Adams, J. D., (1999). The formulation, development and testing of an impact evaluation model for continuing professional education. Pennsylvania: The Pennsylvania State University.

Adams, J. D., (2001). Reinterpreting Evaluation Classics in the Modern Age. Journal of Continuing Higher Education, 49, 2, 14-22.

Adams, L., et al. (2002). Promoting Health: Politics and Practice.  London: Sage Publications.

Aday, L. A., et al. (1998). Evaluating the Healthcare System:
Effectiveness, Efficiency, and Equity. University of Michigan: Health Administration Press.

Antoñanzas Villar, F. y Rovira Forns, J. (1998). El debate de la estandarización metodológica de la evaluación de Proyectos sanitarios: el caso de la tasa de descuento. Papeles de economía española, 76, 159-164.

Aragón Marín, L. (1997). Modelo Europeo de Gestión de la Calidad: Guía para la autoevaluación. Madrid: MEC.

Barbier, J. M. (1993). La evaluación en los procesos de formación. Barcelona: Paidós; Madrid: Ministerio de Educación y Ciencia, Centro de Publicaciones.

Berstein, D. J. (1999). Comments on Perrin's "Effective use and misuse of performance measurement". American Journal of Evaluation, 20, 85-93.

Blasco Sánchez, B. (1991). El control de la formación. ¿Auditoria, evaluación? Aula Abierta, 58, 59-84.

Brinkerhoff, O. (1987). Achieving Results from Training: How to Evaluate Human Resource Development to Strengthen Programs and Increase Impact. San Francisco: Jossey-Bass.

Brinkerhoff, R. O., et al. (1983). Program Evaluation. A practitioner's guide for trainers and educators. Boston: Kluver-Nijhoff Publishing.

Carballo Santaolalla, R. (1990). Evaluación de un programa de formación ocupacional. Revista de Investigación educativa, 8(15), 93-95.

Carballo Santaolalla, R. (1991). Introducción a la evaluación de programas de acción social: decisiones para su realización. Revista Complutense de Educación, 2(1), 111-126.

Carrasco, M., Mallén, D. y Escanero Marcén, J. F. (1994). Necesidades sentidas de formación continuada de los médicos de atención primaria. Madrid: Ministerio de Sanidad y Consumo, Dirección General de Ordenación Profesional.

Cervero, R.M. and Wilson, A.L. (Eds.) (1996). New Directions for Adult and Continuing Education: What Really Matters in Adult Education Program Planning, No. 69. San Francisco: Jossey-Bass.

Cervero, R.M. and Wilson, A.L. (1994). Planning Responsibly for Adult Education.San Francisco: Jossey-Bass.

Cervero, R.M. (1988). Effective Continuing Education for Professionals. San Francisco: Jossey-Bass.

Cervero, R.M., and Scanlan, C.L. (eds.) (1985). New Directions for Continuing Education. Problems and Prospects in Continuing Professional Education. No. 27. San Francisco: Jossey-Bass.

Cervero, R.M.; Azzaretto, J. F.; and other. (1990). Visions for the Future of Continuing Professional Education. Athens: University of Georgia.

Chang, E. C. (2000). Perfectionism as a Predictor of Positive and Negative Psychological Outcomes: Examining a Mediation Model in Younger and Older Adults. Journal of Counseling psychology, 47, 1, 18-26.

Costa Font, J. (1998). Técnicas de evaluación económica de programas sanitarios: ¿Qué método de evaluación económica aplicar?, Jano, LIV, 1275, 79-80.

Costa Font, J. (1998). Técnicas de evaluación económica de programas sanitarios: ¿Qué método de evaluación económica aplicar?, Jano, LIV, 1275, 79-80.

Cummings, L. E. (1993). Hospitality`s solid waste policy patchwork: A study of states´s regulatory environments. Journal of international academy of hospitality research, 16, 1-24.

De la Orden Hoz, A. (1990). Evaluación de los efectos de los programas de intervención. Revista de Investigación Educativa,  8, 16, 61-76.

Fernández-Ballesteros, R. (1996). Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud. Madrid: Síntesis.

Fink, A. (1993). Evaluation Fundamentals: Guiding Health Programs, Research, and Policy. London:  Sage pub.

Friberg, U. (1995). II Jornadas sobre Gestión y Evaluación de la Calidad en los Servicios Públicos. Madrid.

Glanz, K., Lewis, F. M., y Rimer, B. K. (1997). Health Behavior and Health Education: Theory, Research and Practice (2nd ed.). San Francisco: Jossey-Bass.

Goldie, J. (2000). Review of ethics curricula in undergraduate medical education. Medical Education, 34(2), 95-102.

Gomm, R., et al. (2000). Evaluating Research in Health and Social Care. London: Sage pub.

Green, R. S. y Newman, F. L. (1999). Total quality management principles promote increased utilization of client outcome data in behavioral health care. Evaluation and Program Planning, 22, 179-182.

Grembowski, D. (2001). The Practice of Health Program Evaluation. London: Sage Pub.

Grotelueschen, A.D. (1980). "Program Evaluation." In A.B. Knox (Ed.), Developing, Administering, and Evaluating Adult Education. San Francisco: Jossey-Bass.

Hall, J. A. and Dornan, M. C. (1988a). Meta-Analysis of satisfaction with medical care: Description of reserch domain and analysis of overall satisfaction levels. Social Science and Medicine, Vol. 27, No 6, pp. 637-644.

Hall, J. A. and Dornan, M. C. (1988b). What patients like about their medical care and how often they are asked: A meta-analysis of the satisfaction literature.” Social Science and Medicine, Vol. 27, No. 9, pp. 935-939.

Jackson, C. (1984). Evaluation studies: review annual. Beverly Hills; London: Sage pub.

Jackson, L. and Caffarella, R.S. (Eds.) (1994). New Directions for Adult and Continuing Education: Experiential Learning. No. 62. San Francisco: Jossey-Bass.

Juran, J. M. y Gryna, F. M. (1995). Análisis y planeación de la calidad: del desarrollo del producto al uso. Buenos Aires: McGraw Hill.

Katz, F. M. (1981). Pautas para la evaluación de programas de personal de salud. Washington: Organización panamericana de la Salud.

Kellaghan, T. y Madaus, G. F. (2000). Outcome evaluation. En D. L. Stufflebeam, G. F. Madaus, y T. Kellaghan (eds.). Evaluation models: Viewpoints on educational and human services evaluation (pp. 97-112). Boston: Kluwer Academic Publishers.

Kirkpatrick, D. L. (1996). Great ideas revisited. Training and Development, 50, 1, 54-65.

Kirkpatrick, D. L. (1999). Evaluación de acciones formativas: los cuatro niveles. Barcelona: Gestión 2000.

Klein, R. E. (1982). Evaluación del impacto de los Programas de nutrición y salud. Washington: OMS.

Le Boterf, G., Barzucchetti, S. y Vincent, F. (1993). Cómo gestionar la calidad de la formación. Barcelona: Gestión 2000.

Llorens Montes, J. F. (1996). Una evaluación de la relación entre calidad del servicio, satisfacción y actitud del cliente. ESIC Market, Jul-Sep, 93, 121-132.

Marzo, J.C., Martínez-Tur, V., Ramos, J. y Peiró, J.M. (2002). La satisfacción del usuario desde el modelo de la confirmación de expectativas: respuesta a algunos interrogantes. Psicothema, Vol. 14, 765-770.

Piédrola Gil, G., et al. (1991). Medicina preventiva y salud pública. Barcelona: Ediciones científicas y técnicas.

Pineault, R. y Daveluy, V. (1989). La planificación sanitaria: conceptos, métodos y estrategias. Barcelona: Masson.

RAE (2001). Diccionario de la Real Academia de la Lengua. Madrid: Espasa Calpe.

Reed, C. S. y Brown, R. E. (2001). Outcome-asset impact model: linking outcomes and assets. Evaluation and program planing, 24, 287-295.

Robira, J. (1994). Estandarización de algunos aspectos metodológicos de los análisis coste-efectividad y coste-utilidad en la evaluación de tecnologías y programas sanitarios. Madrid: Ministerio de Sanidad y Consumo.

Scriven, M. (2000). Evaluation models: viewpoints on educational and human services evaluation. Boston: Kluwer Academic Press, cop.

Stufflebeam, D. L. (2001). Evaluation Models. New Directions for Evaluation, 89 Spr.

Sussman, S. (2000). Handbook of Program Development for Health Behavior Research and Practice. London: Sage pub.

Tyler, R. (1969). Educational evaluation: new roles, new means. Chicago: The National Society for the Study of Education.

Veney, J. y Kaluzny, A. (1998). Evaluation and Decision Making for Health Services. University of Michigan: Health Administration Press.

Wade, P. (1998). Cómo medir el impacto de la formación. Madrid: Editorial Centro de Estudios Ramón Areces S.A.

Worthen, B.R., Sanders, J.R., y Fitzpatrick, J.L. (1997). Program Evaluation: Alternative Approaches and Practical Guidelines. 2d ed. New York: Longman.