|
Aliaga F. y Orellana, N. (2001). Análisis de estabilidad del Journal Citation Report y su implicación
como requisito para la evaluación de la calidad de las publicaciones sobre
investigación educativa: problemas y limitaciones. Comunicación
presentada al X Congreso Nacional de
Modelos de Investigación Educativa. La Coruña, Septiembre. Publicado en
AIDIPE, Investigación y evaluación
educativas en la Sociedad del Conocimiento., pp. 339-344. La Coruña:
AIDIPE. Disponible en http://www.uv.es/~aliaga/curriculum/Evolucion_JCR.htm |
Análisis de la
estabilidad del Journal Citation Report y
su implicación como requisito para la evaluación de la calidad de las
publicaciones sobre investigación educativa: problemas y limitaciones
Francisco
M. Aliaga Abad (Francisco.Aliaga@uv.es)
Natividad
Orellana Alonso (Natividad.Orellana@uv.es)
La Ley de Reforma Universitaria contemplaba la
evaluación del profesorado, tanto en su vertiente docente como en la
investigadora. Sin embargo, los procedimientos en los que este tipo de
evaluaciones se han plasmado en la práctica han sido objeto de una amplia
polémica (vid. Aliaga y Orellana,
1999)
En concreto, la normativa actualmente vigente para la evaluación de la
investigación, que es la que vamos a tratar en el siguiente trabajo,
(resolución de 6 de noviembre de 1996, BOE 280/96) establece los criterios que
han de regir la evaluación de las publicaciones en los distintos campos
científicos y humanísticos. En concreto el punto dos indica que "Se valorarán preferentemente las
aportaciones que sean artículos en revistas de prestigio reconocido, aceptándose
como tales las que ocupan posiciones relevantes en los listados por ámbitos
científicos en el "Subject Category Listing" del Journal Citation
Reports del Social Sciences Citation
Index (Institute of Scientific Information, Philadelphia, PA, USA)".
En el ámbito de las ciencias
duras este procedimiento parece relativamente válido, a pesar de sesgos
evidentes como un porcentaje de errores y confusiones muy alto en esa base de
datos, que se ha calculado en torno al 25% del total (Rice et al., 1989), hay
notables sesgos en el método para medir el impacto (Nederhof y Zwaan, 1991;
Nederhof et al., 1989; Bellavista et al, 1997), el impacto de un trabajo no es
necesariamente sinónimo de calidad –a veces incluso lo contrario- (Tainer,
1991), o que los temas de investigación
que incumben a un grupo relativamente pequeño tiene siempre un número de citas
bajo, independientemente de su calidad (Gómez Caridad y Bordóns, 1996). A pesar
de estos problemas, en general, el objeto de estudio es de interés común para
toda la comunidad científica, y las normas
y medios de publicación están bastante arraigados.
El
problema, sin embargo, ha surgido de manera más evidente respecto a la
adecuación de estos procedimientos de evaluación a otros ámbitos,
particularmente el de las Ciencias Humanas y Sociales (Gómez y Bordans 1996).
En este caso, puesto que el objeto de estudio es claramente dependiente de
aspectos culturales, se presentan unos problemas añadidos a los nombrado
anteriormente para tales procedimientos
de evaluación. Así, por ejemplo, se ha verificado frecuentemente que los temas
de interés "local" están infrarepresentados (Fernández Cano, 1997,
Aliaga y Orellana, 1999), como por otra parte reconoce explícitamente el propio
Institute of Scientific Information
en sus criterios para aceptar que una publicación periódica sea aceptada en el Journal Citation Reports (JCR). Además, el JCR, como su propio nombre indica, sólo se ocupa de publicaciones periódicas, cuando es bien sabido que
en las Ciencias Sociales la mayor parte de las aportaciones se realiza mediante
libros (entre el 50% y el 60%), teniendo también una notable importancia los
informes de diverso tipo (entre el 15% y el 25%). Las contribuciones que se
canalizan a través de revistas apenas representan, dependiendo de las distintas
disciplinas, entre un 10% y un 35% del total (Piñero y Terrada, 1992a).
La conclusión que buena parte de los investigadores, a la luz de los
anteriores argumentos, hemos alcanzado han sido bien expresados por Maltrás,
Quintanilla y Vidal, (1998, p. 147) al indicar "la imposibilidad de
utilizar estas bases de datos como criterio de calidad", y mucho menos
como referente prescriptivo.
Estas posturas han hecho reflexionar al legislador que, modificando
posturas previas, indica "No
obstante, en diversos ámbitos científicos correspondientes a este Campo[1],
la base de datos mencionada es incompleta en el entorno europeo y la Comisión
Nacional podrá ampliar estos listados reconociendo la calidad de otras
revistas". A pesar de este reconocimiento, sigue vigente la exigencia
de que "como norma general, para
obtener una evaluación positiva las cinco aportaciones del curriculum vitae
abreviado deberán cumplir lo descrito en los puntos anteriores y, al menos,
una de ellas cumplir lo prescrito en el punto 2” (es decir, que se haya
publicado en una revista incluida en el JCR, los subrayados son nuestros).
Entendemos que el mantenimiento de esta exigencia parte del supuesto de que
aparecer en tales listados es una garantía de calidad e internacionalización de
la investigación. En un trabajo anterior (Aliaga y Orellana, 1999) hemos
verificado que, al menos por lo que respecta al ámbito educativo, el JCR no es
sinónimo de internacionalización, sino que, más bien al contrario, está imbuido
por un poderosísimo sesgo anglosajón (apenas aparecen dos revistas de países no
anglosajonas, una alemana y otra china -aunque escrita en inglés. Ninguna
revista en español).
Entendemos que el mantenimiento del requisito de que, al menos una de las publicaciones, se haya editado en revistas que aparezcan en el JCR como un intento de atender a criterios objetivos de calidad utilizados internacionalmente. Ya hemos comentado, sin embargo, que dicho "reconocimiento internacional" es más que discutible en el caso del JCR de Ciencias Sociales, y sin duda mucho menos apropiado que en el de Ciencias (donde el objeto de estudio es común a todos los países, al igual que las conclusiones alcanzadas, algo que no ocurre en las Ciencias Sociales y Humanas). Pero lo que queremos analizar en este trabajo es más bien la otra vertiente, es decir, la de considerar el JCR como una medida objetiva de calidad. En este sentido, y como todas las medidas, cabría esperar que cumpliese ciertos criterios de bondad clásicos, tales como la fiabilidad y la validez. Respecto a la validez, remitimos a la amplia bibliografía que se ha desarrollado en el ámbito de la bibliometría, algunos de cuyos trabajos se citan en la introducción a este trabajo (Ver, para una revisión más amplia, Fernández Cano, 1995). Es sin embargo respecto a la fiabilidad, entendida como estabilidad de la medida, sobre la que nos queremos centrarnos en esta ocasión.
Hemos analizado la evolución de las revistas que aparecen en el JCR en
un periodo de 5 años, desde 1995 hasta el año 1999 (último del que se tenían
datos en el momento de escribir este trabajo). Por centrarnos más en nuestro
ámbito de interés, nos hemos circunscrito exclusivamente a las revistas de las
categorías "Special Education"
y "Education & Educational
Research". Estas son las dos únicas categorías del JCR exclusivamente
educativas, aunque evidentemente existen otros campos relacionados, tales como
rehabilitación o psicología.
Conjuntamente, en los dos apartados anteriormente mencionados hay en
total 136 revistas diferentes citadas en los cinco años analizados. A lo largo
de los años se han producido abundantes modificaciones en el listado del JCR.
Así, hay 111 revistas que cumplen todos los requisitos en 1995, 114 en 1996,
123 en 1997, 120 en 1998 y 121 en 1999, es decir, una media de algo menos de
118 revistas por año.
Para comprender mejor esta variación, hemos de indicar que no sólo
cambia el número de revistas, sino también las revistas que aparecen cada uno
de los años. Así, hay cinco revistas que sólo aparecen un único año (4 sólo en
1995 y otra sólo en 1999), ocho revistas que sólo aparecen dos años (6 en el
95-96, 1 en 96-97 y otra en el 98 y 99), dieciocho revistas aparecen sólo en
tres de los cinco años (15 en los tres últimos años analizados, tres en la
tríada inicial) y once aparecen en cuatro años del lustro analizado (ocho de
ellos en el periodo 1996-1999). Quedan por tanto un total de 94 títulos de
revistas (el 69,12%) que aparecen durante los cinco años que estamos
considerando, es decir, que están plenamente estabilizadas según los criterios
del JCR.
Esta
estabilidad ha de entenderse tan sólo en el sentido de permanencia en la lista,
ya que los puestos que ocupan según su índice
de impacto sufren grandes oscilaciones. Así, por ejemplo, la revista que
ocupa el primer lugar en 1995 y en 1996 (Educational
Research) pasa a ocupar el lugar 116 (del total de 123 incluidas en el JCR
de ese año) en 1997, es decir, pasa de ser la más valorada a estar
prácticamente excluida del listado de revistas más relevantes y de mayor
impacto en un solo año.
Ante
esta falta de estabilidad de este modo de medir calidad de las revistas sobre
educación, es decir, medidas con los criterios del JCR), y a la vista de la
obligación legalmente establecida se plantean diversas dudas. Para saber si una
revista en la que se publica va a considerarse como de calidad, y dado que un
porcentaje significativo (más del 30%) aparece y desaparece del listado, ¿cuál
es el año de referencia que habrá de tomarse para consultar el JCR?. Son varias
las respuestas posibles:
a) cuando se envió el manuscrito:
Cuando un autor decide enviar su manuscrito a una revista que pretende que sea
de prestigio e impacto internacional, el único referente que tiene es el de
consultar el JCR, que siempre es retrospectivo. Se podría dar el caso, no
obstante, de que por razones ajenas a dicho autor esa revista desapareciese en
años posteriores, algo imposible de predecir. ¿Deberíamos considerar que una
publicación en esa revista ya no tiene el impacto suficiente para ser considerada
de “calidad internacional” y por
tanto considerar que no cumple los requisitos legales?. Ante la notable
variación existente, esta interpretación dejaría en estado de indefensión
absoluta a los investigadores, que serían evaluados por la evolución,
completamente ajena a sus trabajos, de
una publicación sobre la que no tiene control. Si por el contrario se considera
de “calidad” una publicación aunque se produzca en un medio no incluido ya para
esa época en el JCR se estaría haciendo una interpretación ciertamente forzada
de la prescripción legal.
b) el año en que se publica:
Sabemos que en no pocas editoriales hay una gran lista de espera para publicar,
lo que se traduce en demoras notables (en algunos casos de hasta dos años -
Carrol, 2001), lo que ha propiciado la costumbre de que muchas revistas
incluyan la fecha de recepción y aceptación de manuscritos cuando los publican.
La presencia de una revista en el JCR se hace atendiendo a las citas recibidas
por dicha publicación periódica a artículos anteriormente publicados, es decir,
en las que el trabajo concreto evaluado no habrá podido en modo alguno
contribuir. Puesto que sabemos que la calidad de la publicación no garantiza en
la calidad de los trabajos en ella publicados, ni siquiera su impacto individual
(Tainer, 1991), sólo nos queda el argumento de que los métodos de selección de
manuscritos sean tan rigurosos que pasen a ser editados los trabajos de
calidad. Sin embargo, no son pocos los casos de artículos que se publican en
revistas de gran impacto y que no reciben atención por parte de la comunidad
científica o académica (Bellavista et al. 1997). De hecho, el 75% de los
artículos incluidos en el Social Science
Citation Index (tan bien del ISI)
no reciben ninguna cita en los cinco años posteriores a su publicación (cif. Gómez y Bordons, 1996). Por tanto,
proponer de nuevo criterios de calidad que ni dependen ni pueden ser conocidos
previamente por el investigador que remite su manuscrito a la editorial parece
manifiestamente injustos.
c) el año en el que se hace la evaluación:
Los miembros del tribunal que ha de evaluar los sexenios de investigación
pueden consultar la base de datos del JCR relativa al año en el que se hace la
evaluación. La idea es que al ser de años posteriores a la publicación puede
recoger la aportación hecha (las citas recibidas) por el artículo en cuestión. Puede pero, como hemos visto, no
necesariamente es así. Podría darse la situación de que se envía un manuscrito
a una revista que el autor ha visto, en su momento, reflejada en el JCR, pero
que desaparezca poco después ya que otros artículos que aparecen en la misma
revista no reciben citas. En esas circunstancias un artículo podría no conseguir cumplir con el requisito impuesto, a
pesar de recibir diversas citas en revistas prestigiosas, por circunstancias de
nuevo ajenas a las posibilidades reales del investigador.
d) En cualquiera de los últimos años
(desde antes de la publicación hasta el momento de la evaluación): A nuestro
entender, el principal problema del criterio "internacional" tal y
como se plantea actualmente es de procedimiento, de tal modo que con una medida
tan grosera de impacto como es la utilizada por el JCR (que no analiza el
impacto de los trabajos individuales, sino del promedio de la revista). Al no
analizar los artículos de manera individualizada, sino conjuntamente con los
publicados en la misma revista, pueden darse casos paradójicos como que un
artículo que jamás sea citado se considere de “impacto y calidad internacional”
según nuestra legislación, mientras que otros trabajos de gran interés social
para nuestro país se consideren “insuficientes”, por no cumplir el “requisito
JCR.
Como conclusión global podemos decir que el procedimiento actualmente vigente, que pretende garantizar una cierta "proyección internacional" de la investigación, y que en la práctica no es más que una mimesis de los procedimientos usuales en las "ciencias duras", no se justifica ni por el objeto, ni por la tradición, ni por entorno cultural, ni por las prioridades sociales, ni por la propia lógica del procedimiento. A nuestro entender debería someterse a un proceso de revisión profunda el método utilizado, eliminándose el requisito de publicar en revistas incluidas en el JCR y promoviéndose, como método alternativo, la creación de una Base de Datos alternativa que cubra de una manera más adecuada las características de la investigación educativa europea y española, como venimos defendiendo (Aliaga y Orellana, 1999), coincidiendo con autoridades en la materia como Garfield (1979) o López Piñero y Terrada (1992b).
Bibliografía
Aliaga, F. y Orellana, N. (1999). La utilización de
las bases de datos del ISI para la
evaluación de la calidad de las publicaciones sobre investigación educativa en
España: argumentos para un debate. En AIDIPE, Nuevas realidades educativas, nuevas necesidades metodológicas, pp.
29-34. Málaga: CEDMA.
Bellavista, J. , Guardiola, E., Méndez, A. y
Bordóns, M. (1997). Evaluación de la
investigación. Madrid:CIS
Carrol, R.J. (2001) Review times in Statistical Journals:
Tilting at windmilles?. Biometrics, vol 57, n 1, p 1-6.
de Miguel, M. (1997). La evaluación de la actividad
investigadora del profesorado universitario en el ámbito de las Ciencias de la
Educación. Revista de Investigación
Educativa, vol 15 (1), pp. 171-186.
Fernández Cano, A (1995). Métodos para evaluar la investigación en psicopedagogía. Madrid:
Síntesis
Fernández Cano, A (1997). Evaluación de la
investigación educativa española: una revisión integrativa de realizaciones en
25 años. Revista Española de Pedagogía,
nº 207, pp. 279-301.
García Garrido, J.L., Buj, A., González Anleo, J.
Ibañez Marín, J.A., de la Orden Hoz, A. y Rodriguez Diéguez, J.L. (1998). Elementos para un diagnóstico del Sistema
Educativo Español. Informe Global. Madrid: INCE
Garfield, E. (1979). Citation indexing. Its thory and application in science, technology and
humanities. Nueva York: Wiley
Gomez Caridad, I. y Bordons, M. (1996). Limitaciones
en el uso de los indicadores bibliométricos para la evaluación científica. Política Científica, nº 46, pp 21-26.
López Piñero, J.M. y Terrada, M.L. (1992a). Los indicadores bibliométricos y la evaluación de la actividad médico científica.(II). La comunicación científica en las distintas áreas de las ciencias médicas. Medicina Clínica, vol 98, 101-106.
López Piñero,
J.M. y Terrada, M.L. (1992b). Los indicadores
bibliométricos y la evaluación de la actividad médico científica.(III). Los
indicadores de producción, circulación y dispersión, consumo de la información
y repercusión. Medicina Clínica, vol
98, 142-148.
Maltrás, B., Quintanilla, M.A. y Vidal, J. (1998).
Indicadores bibliométricos en la evaluación de la investigación. Revista de Educación, nº 315, pp.
141-151.
Rice, R., Borgman, C. y Bednarski, D. (1989).
Journal-to-journal citation data: issues of validity and reliability. Scientometrics, vol. 15, pp. 257-282.
Tainer, J.A. (1991). Science, Citation, and Funding.
Science, vol 251, p. 1408.
Velho, L. y Krige, J. Publication and citation practices of Brazilian
agricultural scientists. Social Studies
of Science, vol. 47, pp. 23-27.
|
Aliaga F. y Orellana, N. (2001). Análisis de estabilidad del Journal Citation Report y su implicación
como requisito para la evaluación de la calidad de las publicaciones sobre
investigación educativa: problemas y limitaciones. Comunicación
presentada al X Congreso Nacional de
Modelos de Investigación Educativa. La Coruña, Septiembre. Publicado en
AIDIPE, Investigación y evaluación
educativas en la Sociedad del Conocimiento., pp. 339-344. La Coruña:
AIDIPE. Disponible en http://www.uv.es/~aliaga/curriculum/Evolucion_JCR.htm |
[Volver a Página Principal] [Volver a Índice del curriculum]
[1] Recordemos que el Campo 7 incluye Ciencias Sociales, Políticas, del Comportamiento y de la Educación