1.- Introducción

La finalidad de este estudio es analizar la relación existente entre distintos constructos y el fenómeno de la reactividad. Entre las variables estudiadas se encuentran: ansiedad estado, distorsión motivacional o deseabilidad social, autoestima, ansiedad fisiológica, ansiedad motórica, y ansiedad cognitiva. Para ello se ha construido un instrumento específico (que ha sido denominado retoma). A partir de este inventario se ha realizado un análisis sobre las variables que se ven afectadas en un contexto de observación.

La necesidad de analizar la reactividad se encuentra en el hecho de que la observación es un instrumento básico en la recogida de información, sin contar con la importancia que ha adquirido en la última década como metodología. La reactividad se entiende como un sesgo que afecta a los datos procedentes de la observación. En la medida que la reactividad genera un sesgo en los datos, es importante estudiar este fenómeno para comprender la naturaleza de la información, así como su utilidad para el diagnóstico, la orientación o la propia investigación. Otro motivo importante radica en el hecho de que tradicionalmente la reactividad ha sido estudiada desde ámbitos de la medicina y la fisiología. Esto ha hecho que la mayoría de instrumentos que “miden” la reactividad, se basen en indicadores fisiológicos, lo que implica tener que recurrir a instrumentos complejos (electrogramas: electrocardiogramas, electromiogramas, electroencefalogramas, etc). Por estos dos motivos, al margen de otros de menor interés, parece justificado el afrontar el estudio de la reactividad desde la perspectiva de los métodos de investigación en educación. En ciencias sociales el sesgo reactivo se ha paliado rechazando las primeras sesiones de registro. Este y otros procedimientos no resultan operativos en ciencias de la educación, bien por complejos o bien por falta de validez demostrada.

Aunque este fenómeno no es un tópico habitual de estudio en investigación en educación, existen algunos acercamientos que son interesantes destacar. Orlowska-Danuto (1990) afirmaba que la reactividad se refiere al indicio de que la conducta de los sujetos puede ser modificada por la experiencia de ser observados. Previamente, Redman (1989) entendía la reactividad como una extensión por la cual la conducta de interés (para la investigación o diagnóstico en proceso) es alterada por la presencia de un observador o equipos de grabación.

Riba (1993) por su parte considera el término “sesgo reactivo” como error debido a un fallo de control ocasionado por la artificialidad de la situación de registro o bien a la presencia ostensible del observador. Para este autor la reactividad hace referencia a una variación no deseada. Se puede entender que reactividad y “sesgo reactivo” no son expresiones sinónimas. Así, reactividad hace referencia a un cambio comportamental como consecuencia de la observación, sin establecer ningún juicio de valor sobre la bondad de dicha alternación conductual. El adjetivo "sesgo" debería por tanto ser aplicado sólo cuando la reactividad pueda suponer una amenaza contra la validez externa del estudio en cuestión. Las definiciones de reactividad revisadas, coinciden en afirmar que ésta se caracteriza por una modificación de algunos indicadores comportamentales, tales como la frecuencia, tasa, ritmo, latencia, o duración de las conductas, entre otras posibles alteraciones.

En un contexto reactivo parecen concurrir varias condiciones: (1) la presencia de un sistema observador y otro sistema que es observado, (2) ambos conscientes de la situación, y por último, (3) existe un objetivo concreto, como puede ser la realización de una investigación, lo que supone, en cierta medida, la modificación del contexto habitual. Estas condiciones implican la presencia de dos factores:

            - Interacción observador-observado

            - Artificialidad del entorno.

La reactividad suele asociarse a otros fenómenos como la autorreactividad. En la autorreactividad el sujeto observado modifica su conducta cuando se sabe investigado ajustando sus respuestas a la imagen que tiene de sí mismo (Nelson, Lipinski, y Black, 1976). Esta imagen de sí mismo está estrechamente relacionada con la autoestima. También es posible distinguir entre reactividad positiva y reactividad negativa.

            - La Reactividad positiva: En este caso la conducta se modifica en el sentido de favorecer las hipótesis del observador, o más bien las expectativas del sujeto observado sobre las hipótesis que éste supone que guían al observador. El sesgo que se produce deriva tanto de los errores del observador (quien deja adivinar sus estados de ánimo, y con ello sus preferencias) como de la distorsión de la conducta del sujeto. Se tienen, por tanto, elementos reactivos y componentes de expectancia (Rosenthal, 1966; Westland, 1978: 22-23). La Reactividad positiva en la observación participante entraña la aceptación de interactuar con el observador y potenciarlo por parte del sujeto.

            - La Reactividad negativa: El sujeto modifica su conducta en el sentido de oposición a la hipótesis del  observador, tanto si ésta es supuesta como si es real. Stern (1979) habla de "sabotaje" al referirse al fenómeno que entraña la Reactividad negativa. En este "sabotaje" el sujeto manifestaría rechazo a la interacción, ocultación, alejamiento, falta de colaboración, distanciamiento, etc.

Una versión o variante de la reactividad, estudiada en el ámbito de la Psicología de la Empresa y más concretamente dentro del área laboral de empresas, es el efecto Hawthorne. El efecto Hawthorne es un fenómeno que puede darse en cualquier investigación donde el sujeto observado perciba al investigador como potencial árbitro o juez (Mucchielli, 1974).

Para analizar las relaciones que la reactividad mantiene con diversas variables se ha construido un instrumento. Se trata de un inventario de cuestiones que ha continuación se expone en sus características esenciales. Tras la descripción del inventario se relata con más detenimiento el diseño y el proceso seguido en la investigación.

2.- Descripción del inventario

A partir de lo expuesto, se puede entender que la reactividad está asociada con una serie de constructos o conceptos. Entre ellos se ha comentado la relación existente entre reactividad y la ansiedad, la autoestima, e incluso la deseabilidad social. La propuesta inicial de este trabajo pretende analizar la efectiva relación entre estas variables. Para ello se ha construido un instrumento específico, al cual se ha denominado RETOMA, que integra estas cuatro variables.

Se comenzó realizando una revisión de autoinformes y inventarios que medían estos constructos básicos. Entre todos los revisados se eligieron, en base a sus potenciales aportaciones, los siguientes instrumentos:: "State-Trait Anxiety Inventory -Self Evaluation Questionnaire-" (STAI) de C.D. Spielberger, R.L. Gorsuch y R.E. Lushene (1990), "Sixteen Personalyity Questioinnaire (16PF)" de R.B. Catell (1989), y el "Inventario de Situaciones y Respuestas de Ansiedad" (ISRA) de J.J. Miguel Tobal y A.R. Cano Vindel (1988).

Del STAI se extrajeron y adaptaron  ítemes que medían la ansiedad estado. El ISRA aportó ítemes para medir la ansiedad fisiológica, cognitiva y motórica. Se utilizó además la forma A del 16PF. Este inventario permitió el desarrollo de ítemes para la valoración de la Distorsión Motivacional. A partir de estos instrumentos se crearon los correspondientes ítemes que constituyen el retoma. Se añadieron algunos ítemes para valorar la autoestima, creados específicamente para la ocasión.

El retoma, es por lo tanto, un instrumento realizado a través de la integración de un conjunto de ítemes, cada uno de los cuales mide un rasgo concreto: ansiedad estado (E), distorsión motivacional (D), autoestima (T), ansiedad fisiológica (F), ansiedad motórica (M), ansiedad cognitiva (C). El factor E, se divide en dos subfactores E y -E. Este último subfactor -E, se basa en ítemes que valoran negativamente la ansiedad estado, pudiéndose entender como la dimensión que valora la “inhibición de la ansiedad estado”.

El número total de ítemes ha sido de 103, separados en dos bloques. El primer de ellos incluye ítemes que tratan de valorar la apreciación que el sujeto tiene, respecto a cada reactivo, en el momento de contestarlo. El segundo bloque trata de valorar su situación habitual. Cada ítem del retoma está expresado como una afirmación, a la cual el sujeto contesta afirmativa o negativamente. Para contabilizar la puntuación del inventario, se asigna un punto para cada ítem contestado de forma afirmativa. Las puntuaciones se suman en función de cada una de las siete variables. De esta forma se obtienen al final siete puntuaciones, cada una de ellas correspondiente a un constructo. La puntuación final de reactividad se obtiene sumando los factores D, T, F, M, C, más el resultado de la diferencia entre E y -E.

2.- Diseño de la investigación

2.1.- Introducción

El objetivo básico de la investigación es ofrecer un modelo coherente de la reactividad como constructo teórico, analizando las relaciones que mantiene con las variables indicadas anteriormente, y que forman parte del retoma. El problema que subyace a este planteamiento es el siguiente: ¿se trata la reactividad de un fenómeno simple inducido por la presencia de un observador o por el contrario es un constructo teórico de orden superior que implica la concurrencia de modificaciones en otras variables de nivel primario? Como respuesta se ha propuesto la hipótesis de que la reactividad es un constructo supraordenado cuyo origen funcional está en la modificación del entorno de los sujetos, por la intrusión de un observador, y que implica modificaciones en ciertas variables de orden inferior como la ansiedad estado, autoestima, deseabilidad social, automatismos motores, respuestas fisiológicas, respuestas orientativas y expresión verbal.

Esta hipótesis es un intento de cubrir la globalidad de relaciones que hasta el momento han establecido diversos autores (Riba, 1991; Anguera, 1991, 1993; Tójar, 1990;...) en el entorno fenoménico de la reactividad. Para valorar la plausibilidad de esta hipótesis se ha recurrido a un diseño cuasi experimental pretest- postest con un grupo control (GC) y un grupo experimental (GE). Una vez elegida la muestra y asignados los grupos, se administró el 16PF, para contrastar la homogeneidad entre el grupo control y el grupo experimental. Posteriormente se pasó el retoma siguiendo las fases de pretest y postest (esquema 1).

 

Esquema 1. Diseño de investigación

Para la primera ocasión que se administró el retoma al GE se eligió una situación de aula que fuese "normal" para los alumnos. Se trataba de un día habitual de clase, fuera de épocas de examen (se trataba del primer cuatrimestre), y donde se controló que no hubiese ningún tipo de influencia ansiógena. Era inevitable que la propia administración del inventario implique un cambio. Es una alteración difícilmente evitable, aunque para paliar en lo posible los efectos de la administración, el inventario se pasó según el siguiente protocolo, tanto en el pretest, el postest, como en el grupo control: presentación, por parte del profesor de la asignatura, del administrador de la prueba, el administrador de la prueba comenta a los alumnos que es un cuestionario voluntario que trata de valorar algunos aspectos de su personalidad y para el cual se pide su colaboración, se reparten los formularios

El retoma volvió a ser administrado una segunda ocasión al GE a los 15 días del pretest. Previo a la administración del instrumento, se situaron una los elementos reactógenos en el aula. Se trataba de una cámara de vídeo dentro del aula, manejada por un operario. Se evitó, de nuevo, que en esta ocasión coincidiese cualquier otra fuente de distorsión no controlada que influyese sobre el alumnado (como podría ser concertar la fecha de un examen). El protocolo seguido para esta ocasión fue el siguiente:

            - Junto con el profesor de la asignatura, entró el operador de la cámara. Se explica a los alumnos que esto forma parte de un estudio que se lleva haciendo desde hace algunos años, sobre la mejora de la calidad docente.

            - A los 15 minutos, entra el encuestador con los inventarios. (Se tuvo cuidado en no hacer evidente ninguna relación entre el cámara y el inventario).

            - Presentación, por parte del profesor de la asignatura, del administrador de la prueba.

            - El administrador de la prueba comenta a los alumnos que se les pide que de nuevo contesten el cuestionario para valorar si ha habido algún cambio en comparación con la primera vez.

            - Se reparten los formularios y se comienza a contestar.

El GC contestó al 16PF y el retoma en una misma sesión, en una clase normal, donde se evitó también cualquier fuente de ansiedad, que pudiese influir en el alumnado. En las tres ocasiones, el inventario fue contestado por los alumnos en unos 45 minutos aproximadamente. 

2.2.- Muestra

El estudio se realizó con dos grupos de alumnos de la Facultad de Ciencias de la Educación de la Universidad de Málaga. El grupo experimental (GE) pretest contaba con 52 alumnos. En el postest el número de sujetos fue sensiblemente inferior, con un total de 36 sujetos. El grupo control (GC) se componía de 42 sujetos.

Para el grupo control (GC) la edad de los sujetos estaba comprendida entre los 20 y los 39 años, con una media de 22,4, una mediana de 22 y una moda de 21. En el caso del grupo experimental (GE) la edad se sitúa entre los márgenes de los 20 años y los 35 años. La media es de 22,6, con una moda de 21 y una mediana de 22. En ambos casos predominan las mujeres sobre los varones (76,19% de mujeres frente al 21,42% de hombres)

Para garantizar la homogeneidad de las variables básicas, se realizó una prueba de análisis de varianza (ANOVA) sobre los datos del inventario 16PF del pretest y el grupo control, no obteniéndose una significación de la prueba F (p= 0,519), comprobándose así la similitud entre ambos grupos.

2.3.- Análisis y resultados

Los objetivos de los análisis son principalmente dos: comprobar que existen diferencias entre el pretest y postest en el grupo experimental, e identificar cuales son las variables que presentan diferencias significativas entre ambas administraciones del retoma.

Para ello se han realizado los contrastes oportunos entre momentos de medición, utilizando la prueba -t- de diferencias de medias, tomando un alfa total de referencia del 0,05. Los resultados se ofrecen en la tabla 1. Todos los contrastes han sido realizados con el programa de análisis estadístico Data Desk versión 4 (Velleman, 1994).

Comparaciones ------------- Dim`s. Retoma	GE_preinventario-GE_posinventario	GE_preinventario-GC	GE_posinventario-GC
D	t: -0,1683 p: 0,873	t:-0,315 p: 0,752	t: -0,168 p: 0,873
C	t: -0,622 p: 0,533	t: -0.310 p: 0,757	t: -0,314 p: 0,754
T	t: -2.194* p: 0,03	t: -0,610 p: 0,543	t: -1,79 p: 0,0794
M	t: -0.274 p: 0,784	t: 0,867 p: 0,388	t: -1.015 p: 0,313
F	t: -2.856* p: 0,005	t: -0,032 p: 0,974	t: -2.961* p: 0,004
E	t: -0,8431 p: 0,402	t: 0,97 p: 0,334	t: -0,083 p: 0,934
E-	t: -2,087* p: 0,04	t: 0,366 p: 0,714	t: -2,155* p: 0,034

Tabla 1. Pruebas t. Se han señalado los valores significativos con un asterisco.

Los resultados muestran que existen diferencias significativas entre el pretest y el postest para las variables autoestima (T), ansiedad fisiológica (F), e inhibición de la ansiedad estado (E-). Cuando la comparación se realiza entre el grupo control y el postest, el resultado es similar, aunque la autoestima (T), si bien presenta una probabilidad asociada muy cercana a 0,05 no llega a ofrecer diferencias significativas, quedando el valor en 0,079.

Para comprobar las diferencias significativas se ha realizado también la prueba U de Mann-Withney. En general, los resultados son similares a los obtenidos con la diferencias de medias basados en la prueba t. Sin embargo, con la escala de autoestima (T), el valor de Mann-Withney obtiene una probabilida asociada de 0,00202 (excluyendo “ties”). Si bien la prueba -t- no sugiere diferencias significativas, la prueba -U- manifiesta que esta variable puede interpretarse con diferencias relativas respecto al grupo control (tabla 2).

Dim. Retoma	GE_preinventario-GC	GE_posinventario-GC
D	p: 0,62	p: 0,625
C	p: 0,803	p: 0,80
T	p: 0,356	p: 0,02*
M	p: 0,867	p: 0,499
F	p: 0,529	p: 0,03*
E	p: 0,311	p: 0,901
E-	p: 0,629	p: 0,019*

Tabla 2. Pruebas U de Mann-Withney

 

Las medias de las escalas que presentan diferencias importantes, excluyendo la escala de inhibición de la ansiedad estado (E-) muestran un aumento de puntuación en el momento de la intervención (situación de observación) como puede observarse en la tabla 3.

 

GRUPO	Preinventario	Posinventario2	Grupo control
Autoestima	21.13	23.25	21.46
Ansiedad fisiológica	4.15	5.61	4.22

Tabla 3. Medias de autoestima y ansiedad fisiológica

 

Se ha realizado también un estudio de los factores de mayor peso en la varianza. El resultado indica que escala T tiene una mayor presencia, con un coeficiente beta de 15,19, seguido del grupo formado por la diferencia entre E-E (eta y beta igual a -7,21). La escala F, por el contrario, muestra un valor de -2,05 (tabla 4).

 

M U L T I P L E   C L A S I F I C A T I O N   A N A L Y S I S
EVALUACI by FACTOR GRUPO
Grand  Mean= 6.64
Adjusted for Idenpendents Variable+Category			N	Dev'n Eta		Dev'n Beta
		FACTOR
		1	129	1.36	1.36
		2	129	-2.95	-2.95
		3	129	15.19	15.19
		4	129	-4.33	-4.33
		5	129	-2.05	-2.05
		6	129	-7.21	-7.21
				.96	.96
		GRUPO
		1	312	-.18	-.18
		2	216	.39	.39
		3	246	-.11	-.11
			.03	.03
Multiple R Squared			.927
Multiple R		.963

Tabla 4. Análisis de los factores de la varianza (SPSS 4.0, 1990) 

Conclusiones

La revisión bibliográfica demuestra suficientemente que la presencia de un observador, provoca una situación reactógena, siempre que cumpla las dos condiciones:

1.- La presencia de los sujetos en un entorno que es perceptiblemente artificial.

2.- Existencia de un observador conocido por el sujeto, o por la misma existencia de la investigación de la que el sujeto sabe que forma parte.

En el diseño realizado se han establecido estas dos condiciones. Por lo que puede estimarse que se ha inducido una situación reactógena. Los resultados obtenidos evidencian, una modificación de ciertas variables en estas condiciones que se han visto alteradas destacando la autoestima, la ansiedad fisiológica, y la ansiedad estado, aunque sólo en la inhibición de dicha ansiedad. Por el contrario, variables que se suponían a priori relacionadas directamente con la reactividad, no han presentado diferencias importantes, como por ejemplo la deseabilidad social, o la ansiedad motórica.

A partir de estos resultados puede afirmarse que la hipótesis inicial es plausible en parte. La reactividad sería un concepto supraordenado o de segundo orden, asociado con otra serie de variables. De las variables aquí analizadas sólo tres parecen ser importantes al respecto. Esto sugiere plantearse una serie de líneas de investigación a seguir que se comentarán en el siguiente epígrafe. Por el momento es destacable que los resultados obtenidos sugieren que los contextos potencialmente reactivos afectan a las tres dimensiones indicadas, y que por lo tanto, la reactividad está vinculada a estas dimensiones. Planteándose así, un modelo básico que podría expresarse como sigue: “la reactividad está estrechamente relacionada con la autoestima, la ansiedad fisiológica y la inhibición de la ansiedad estado”.

Otra importante conclusión es la relacionada con el instrumento creado para medir cada variable. Tradicionalmente, como se apuntaba en la introducción de este informe, la reactividad se controla en función de las medidas tomadas durante una fase de no-observación. Sin embargo, en la mayoría de la ocasiones no es posible una determinación de la línea base sin observar la situación en concreto. Esto implica que en las investigaciones simplemente no consideren como válidas las primeras sesiones observadas. No obstante, este método no garantiza que los datos registrados después de varias sesiones, sean válidos. Por ejemplo, en el caso de que se establezca un nivel de interacción nuevo y permanente, como consecuencia de la incorporación de un observador. De esta forma los registros no coincidirán en ningún caso (a pesar de desechar las primeras sesiones) con los previos a la observación.

El instrumento creado ha sido sensible a los cambios producidos en una situación reactógena. Puede afirmarse por tanto, que instrumentos de este tipo pueden usarse para valorar el grado de reactividad provocado ante la observación, así como determinar cuando se alcanza el nivel base. El retoma no obstante deber ser tomado como una sugerencia que sirve de base para la construcción de un instrumento con las suficientes garantías científicas para mediar la reactividad.

Limitaciones del estudio

Las limitaciones de este estudio son múltiples. Si bien es posible afirmar que los objetivos básicos del informe se han conseguido (análisis operativo de la reactividad, identificación de las variables implicadas, y el diseño de un instrumento capaz de valorar los efectos en condiciones reactógenas), es necesario afirmar que los resultados han generado más preguntas en el autor que respuestas ha obtenido.

En primer lugar hay que considerar que el tamaño de la muestra, aunque suficiente para esta investigación exploratoria, debería ser aumentado sustancialmente para confirmar o no los resultados aquí obtenidos, permitiendo además un mayor grado de generalización. Otra importante limitación la constituye el mismo instrumento creado. El retoma, como aquí se ha venido llamando, ha sido construido a partir de ítemes adaptados de otros instrumentos. Las condiciones de fiabilidad y validez, se han dejado al margen confiando en los índices de cada uno de los inventarios de origen. Sin embargo, esta situación es conveniente corregir para próximas investigaciones. En este sentido, el retoma sólo puede considerarse como una propuesta de instrumento que ha de ser mejorado, incluyendo el estudio de sus características científicas esenciales.

Respecto a las líneas a seguir, son varias. Una de ellas consiste en analizar la validez y utilidad del modelo presentado. Consistiría en estudiar el tipo de relaciones que mantienen entre sí las variables que parecen implicadas en la reactividad. Se trata de conocer si esta relación es recíproca o unidireccional. Deberá además, profundizarse en analizar hasta que punto la reactividad no es más que un término conceptual, que hace referencia exclusivamente a la manifestación de ciertos fenómenos que concurren en un contexto observacional.

Como se apuntaba más arriba, también es importante explorar y buscar otras variables que pueden estar relacionadas en la manifestación del fenómeno reactiva, y que aún no han sido identificadas.

Existe por último, una línea de investigación, que se antoja fructífera. Esta línea se inicia a partir de los resultados aquí obtenidos. El problema consiste en conocer el efecto de la observación en la autoestima. Los cambios observados en esta dimensión hacen prever una relación importante entre ser observado y el grado de autoestima. Esta línea de trabajo puede  asociarse el efecto Hawthorne. De esta forma será trabajo de investigaciones futuras valorar la relación que establecen entre sí la observación, la autoestima y el rendimiento en la ejecución de las tareas, trasladando los resultados obtenidos en las empresas e industria, al ámbito de la formación y la educación. 

Bibliografía

Anguera, M.T. (1981). La observación I y II. En Ballesteros y Carrobles (Eds). Evaluación Conductual (pp 292-363). Madrid: Pirámide.

Anguera, M.T. (1983). Manual de prácticas de observación. México D.F.: Trillas.

Anguera, M.T. (1985). Metodología de la Observación en las CC.HH. Madrid: Cátedra.

Anguera M.T., (Ed.) (1991). Metodología observacional en la investigación psicológica.  Fundamentación (1). Barcelona: PPU.

Anguera M.T. (Ed.) (1993). Metodología observacional en la investigación psicológica.  Fundamentación (2). Barcelona: PPU.

Bauman, K. E., Dent, C. W. (1982). Influence of an objective measure on self-reports of behavioral. Journal of Applied Psychology, 67, 5, 623-628.

Cacciopo, J., Rourke, P., Marshall-Goodell, et all. (1990) Rudimentary Physiological Effects of Mere Observation. Psychophysiology, 27, 2, 177-186.

Campbell, D.T., y Stanley, J.C. (1963) Experimental and Quasi-Experimental Designs for Research. Chicago: Rand McNally.

Catell, R.B. (1989). Sixteen Personality Questionnaire (16PF). Madrid: TEA.

Christesen, A., Hazzard, A. (1983). Reactive Effects during Naturalistic Observation of Families. Behavioral Assesment, 5, 349-362.

Johnson, S.M. y Bolstand, O.D. (1975) Reactivity to home observation: a comparasion of audio recorded behavior with observers present or absent. Journal of Applied Behavior Analysis, 8, 181-185.

Johnston, J.M. y Pennypacker, H.S. (1980) Strategies and Tactics of Human Behavioral Research. Hillsdale (N.J.): Erlbaum.

Kazdin, A. E. (1979). Unobstrusive measures in behavioral assesment. Journal of Applied Behavior Analysis, 12, 713-724.

Kazdin, A.E. (1980) Research Design in Clinical Psychology. New York: Harper and Row.

Mercatoris, M., y Craighead, W.E. (1974) The effects of non-participant observation on teacher and pupil classroom behavior. Journal of Educational Psychology, 66, 512-519.

Monterrey, A.L., González, J.L., Cuevas, C., y Rogz, F. (1991). El índice de reactividad al estrés (IRE). Revista de Psiquiatría de la Facultad de Medicina de Barcelona. 18,1,23-27.

Miguel Tobal J.J., y Cano A.R. (1988). Inventario de Situaciones y Respuestas de Ansiedad, ISRA. Madrid: TEA.

Mucchielli, R. (1974). L'observation psychologique et psychosociologique. París: Librairies Tec., ESF.

Neisser, V. (1967). Cognitive Psychology. New York: Appleton-Century-Crafts.

Nelson, R.O., Lipinski, D.P., y Black, J.L. (1976). The relative reactivity of external observation and self-monitoring. Behavioral Therapy, 7, p. 314-321.

Orlowska-Danuto. (1990). Staff Reactivity to Observation. The British Journal of Mental Subnormality. 36, 2, 71.

Patterson, D.R., y Sechrest, L. (1983). Nonreactive Measure in Psychotherapy. Clinical Psychology Review, 3, 391-416.

Peiró, J. (1984). Psicología de las organizaciones. Madrid: Uned.

Postic, M. y De Ketele, M. (1988). Observar en las situaciones educativas. Madrid: Narcea.

Riba, C., Hernández, F., y Remesar, A., (1984). Interacciones ambientales y agrupaciones especiales en el patio de una guardería: análisis de un registro fotográfico. En Pol, Morales y  Muntoñala (Eds.). Hacia un Mejor Entorno Escolar (pp. 77-97). Barcelona: Universidad de Barcelona.

Riba, C. (1991). El método observacional: Decisiones básicas y objetivos. En Anguera (Ed.) Metodología observacional en la Investigación Psicológica (pp. 29-114). Barcelona: PPU.

Rodriguez Santos, J.M. (1987) Psicología Cognitiva. Málaga: UMA.

Rosenthal, R. y Fode, K.L. (1963) The effect of experimenter bias on the performance of the albina rat. Behavioral Science, 8, 183-189.

Rosenthal, R. (1966). Experimenter effects in behavior research. New York: Appleton Century.

SPSS (1990). SPSS for the Macintosh v. 4. 0. Chicago: SPSS Inc.

Spielberg C.D., Gorsuch R.L., y Lushene R.E. (1990). State-Trait Anxiety Inventory (Self Evaluation Questionaire) STAI. Madrid: TEA

Tójar, J. C.(1990). Momentos de una investigación observacional en el aula. Revista de Investigación Educativa, 8, 16, 305-307.

Vellemam, P.F. (1997). Data Desk 6. Ithaca: Data Description Inc.