|
Aliaga F. y
Orellana, N. (1999). La utilización de
las bases de Datos del I.S.I. para la evaluación de la calidad de las
publicaciones sobre investigación educativa en España: Argumentación para un
debate. Comunicación presentada al IX
Congreso Nacional de Modelos de Investigación Educativa. Málaga, Octubre.
Publicado en AIDIPE, Nuevas realidades
educativas, nuevas necesidades metodológicas., pp. 29-34. Málaga: Centro
de Ediciones de la Diputación Provincial de Málaga. Disponible en http://www.uv.es/~aliaga/curriculum/Revistas-ISI.htm |
LA UTILIZACIÓN DE LAS
BASES DE DATOS DEL ISI PARA LA
EVALUACIÓN DE LA CALIDAD DE LAS PUBLICACIONES SOBRE INVESTIGACIÓN EDUCATIVA EN
ESPAÑA: ARGUMENTOS PARA UN DEBATE
Francisco
Aliaga Abad[1]
Natividad
Orellana Alonso[2]
En años todavía
recientes, la normativa ha impuesto un modelo de evaluación prácticamente
generalizada de la actividad investigadora de los profesores universitarios. En
el ámbito de las Humanidades, los sistemas implantados han creado no poca
polémica (cif. De Miguel, 1998). El presente trabajo pretende aportar algunos
datos que permitan sustentar mejor algunos de los argumentos utilizados en
dicha polémica, a partir del análisis de la realidad existente.
En la normativa
actualmente vigente (resolución de 6 de noviembre de 1996, BOE 280/96) se
establecen unos criterios de evaluación que han de regir la evaluación de las
publicaciones en los distintos campos. En concreto el punto dos indica que "Se valorarán preferentemente las
aportaciones que sean artículos en revistas de prestigio reconocido,
aceptándose como tales las que ocupan posiciones relevantes en los listados por
ámbitos científicos en el "Subject Category Listing" del Journal
Citation Reports del Social Sciences
Citation Index (Institute of Scientific Information, Philadelphia, PA, USA)".
La utilización
de esta base de datos (al igual que, en general, las del ISI) para ámbitos de
Ciencias Sociales y Humanidades se ha visto reiteradamente sometida a críticas.
Así, por ejemplo, Gómez y Bordans (1996) argumentan que mientras la ciencia básica
"es la ciencia internacional", la ciencia aplicada, entre la que
podemos encuadrar la Pedagogía, "puede encontrar un buen vehículo de
transmisión en las revistas de carácter nacional. Esto es aún más cierto para
muchas áreas de las Ciencias Sociales y Humanidades, en las que se realiza
investigación claramente local".
El hecho de que
el ISI utilice, como criterio fundamental (aunque no el único) para seleccionar
las revistas, el número de citas recibidas produce un conjunto de sesgos muy
marcados y conocidos desde hace tiempo (Nederhof y Zwaan, 1991; Nederhof et
al., 1989; Bellavista et al, 1997):
·
Sus bases de datos tienen un porcentaje de errores y
confusiones muy alto, que se ha calculado en torno al 25% del total (Rice et
al., 1989)
·
Puesto que las disciplinas aplicadas se citan menos
que las básicas, las investigaciones de este tipo (como son la mayoría de las
educativas) tienden a ser menos citadas y, por tanto, a estar menos
representadas.
·
Los temas de interés "local" están
infrarepresentados, aun en el caso de que generen investigación de gran calidad
y fuerte impacto social. Pensemos por ejemplo en las investigaciones sobre la
implantación de la LOGSE o en la evaluación del sistema educativo español
(García Garrido et al., 1998). Además, el concepto de "local" sólo se
aplica a investigaciones de fuera de los países anglosajones, lo que fomenta un
cierto "colonialismo cultural" (Fernández Cano, 1997)..
·
Sólo se consideran publicaciones periódicas, a pesar
de que una parte fundamental de la comunicación científica en Ciencias Humanas
se realiza a través de otros medios, fundamentalmente libros (entre un 50% y un
60%) u otro tipo de informes (entre el 15% y 25%), frente a un modesto 10% a
35% que representan las revistas (cif. López Piñero y Terrada, 1992a).
·
El número de veces que se cita una publicación no es
una buena medida de su calidad (Tainer, 1991).
·
Existe un sesgo notable a favor de revistas
generalistas. Las revistas especializadas, sobre todo si lo son en temas muy
novedosos, tienen poca probabilidad de aparecer, independientemente de la
calidad de sus publicaciones.
·
Temas de investigación que incumban a un grupo
relativamente reducido de investigadores (ya sea metodología de investigación o
técnica aeroespacial, pongamos por caso) tendrán un número de citas bajo,
independientemente de su calidad o el avance que supongan en su disciplina
(Gómez Caridad y Bordóns, 1996).
Todas estas
críticas han llevado a diversos autores (por ejemplo, Maltrás, Quintanilla y
Vidal, 1998) a concluir tajantemente "la imposibilidad de utilizar estas
bases de datos como criterio de calidad" (p.147). El propio legislador
viene a reconocer implícitamente las limitaciones de esos instrumentos afirmar:
"No obstante, en diversos ámbitos
científicos correspondientes a este Campo[3],
la base de datos mencionada es incompleta en el entorno europeo y la Comisión
Nacional podrá ampliar estos listados reconociendo la calidad de otras
revistas". Sin embargo, en la normativa vigente, este reconocimiento
de las limitaciones geográficas y temáticas del JCR viene muy matizado por el
hecho de que, de todas formas, se exige que "Como
norma general, para obtener una evaluación positiva las cinco aportaciones del
curriculum vitae abreviado deberán cumplir lo descrito en los puntos anteriores
y, al menos, una de ellas cumplir lo prescrito en el punto 2".
Es decir, aunque se reconoce que dichas bases de datos son inadecuadas, aún así
se sigue requiriendo que al menos alguna publicación esté incluida en la misma,
en lo que se nos antoja una contradicción (¿si no es adecuada por qué seguir
utilizándolo como criterio imperativo?).
Para saber si
el JCR es realmente una base de datos "incompleta", no ya para el
entorno europeo, sino más específicamente para el español, hemos acudido a la
versión de 1995 (última que tenemos disponible en formato digital), y hemos
analizados las revistas que se publican en nuestro país (independientemente de
la temática) y que se incluyen en el JCR. Los resultados se muestran en la
Tabla 1.
Tabla 1 -
Revistas publicadas en España incluidas en el JCR de Ciencias Sociales (1995)
|
TITULO REVISTA |
Total Citas 1995 |
Factor de Impacto |
|
EUROPEAN JOURNAL OF PSYCHIATRY
|
45 |
0,281 |
|
PSICOTHEMA
|
17 |
0,105 |
Como podemos comprobar, únicamente dos de las
revistas incluidas en el JCR de Ciencias Sociales son editadas en España. De
ellas, una es de Psiquiatría y la otra de Psicología, es decir, que ninguna de
ellas cubre temas específicamente educativos. Estos datos confirman los
obtenidos en años anteriores (ver Fernández Cano, 1997). A la luz de estos
resultados, decir que la JCR es "incompleta" nos parece, al menos con
respecto a España y al tema de Educación, casi un eufemismo. Tal y como se
plantean contundentemente Velho y Krige (1984 tomado de López Piñero y Terrada,
1992b) "¿Cómo puede un repertorio que ignora la mayoría de las revistas que
se publican en una zona proporcionar conclusiones válidas sobre la ciencia que
se cultiva en ellas?".
Desde nuestro
punto de vista, las limitaciones que plantea la utilización del JCR como
criterio de calidad para las publicaciones periódicas no sólo tiene
limitaciones geográficas y culturales muy grandes (tal y como acabamos de ver).
Sus, limitaciones temáticas también la
hacen inadecuada en el ámbito educativo en general y, más específicamente, en
el de la "Investigación Educativa", cuyo fomento es, no lo olvidemos
el fin principal de la Asociación Interuniversitaria de Investigación
Pedagógica -AIDIPE-, según el artículo 2 de sus Estatutos, además de ser el
área de trabajo de la mayoría de sus socios. La razón de esta limitación
temática son varias. Por un lado, la distintos hábitos de publicación de las
Ciencias Sociales en general y de la Pedagogía en particular, respecto a las
Ciencias duras (Nederhof y Zwaan,
1991; Nederhof et al., 1989; Sáchez Valle, 1987; Fernández Cano, 1997). A esto hay que añadir los distintos
hábitos que también respecto a las citas que tienen las distintas disciplinas,
y que, por ejemplo, se plasma en la desigual aplicabilidad de la Ley de Lotka y la Ley de Bradford a las distintas disciplinas educativa (Calatayud y
Sala, 1984, 1992; Escrihuela y Benavent, 1988).
Para analizar
la adecuación del JCR a nuestro ámbito hemos revisado las revistas incluidas en
el JCR que se enmarcan bajo el rótulo de "Education & Educational
Research", que es el ámbito de trabajo en el que se mueve una buena parte
de los socios de AIDIPE. Los resultados se muestran en la Tabla 2, ordenadas
las revistas por índice de impacto:
Tabla 2 - Revistas sobre Education & Educational Research
incluidas en el JCR (1995)
|
1.
EDUCATIONAL RESEARCH
|
47.
EDUCATION AND URBAN SOCIETY |
|
2.
REVIEW OF EDUCATIONAL RESEARCH |
48.
COMPUTERS & EDUCATION |
|
3.
REVIEW OF RESEARCH IN EDUCATION |
49.
EDUCATIONAL TECHNOLOGY RESEARCH AND DEVELOPMENT. |
|
4.
READING RESEARCH QUARTERLY
|
50.
BRITISH JOURNAL OF EDUCATIONAL STUDIES
|
|
5.
AMERICAN EDUCATIONAL RESEARCH JOURNAL
|
51.
CURRICULUM INQUIRY |
|
6.
HARVARD EDUCATIONAL REVIEW |
52.
YOUNG CHILDREN
|
|
7.
SOCIOLOGY OF EDUCATION
|
53.
JOURNAL OF EDUCATIONAL RESEARCH |
|
8.
RESEARCH IN THE TEACHING OF ENGLISH |
54.
J. OF EDUCATIONAL COMPUTING RESEARCH |
|
9.
EDUCATIONAL EVALUATION AND POLICY ANALYSIS |
55.
JOURNAL OF EXPERIMENTAL EDUCATION |
|
10.
AIDS EDUCATION AND PREVENTION |
56.
J. OF EDUCATIONAL & BEHAVIORAL STATISTICS |
|
11.
JOURNAL OF EDUCATIONAL STATISTICS |
57.
COMPARATIVE EDUCATION REVIEW |
|
12.
LANGUAGE LEARNING
|
58.
READING TEACHER
|
|
13.
TESOL QUARTERLY
|
59.
JOURNAL OF LAW & EDUCATION
|
|
14.
BRITISH JOURNAL OF SOCIOLOGY OF EDUCATION
|
60.
JOURNAL OF EDUCATION FOR LIBRARY AND INFORMATION SCIENCE |
|
15.
JOURNAL OF RESEARCH IN SCIENCE TEACHING
|
61.
OXFORD REVIEW OF EDUCATION
|
|
16.
AMERICAN JOURNAL OF EDUCATION
|
62.
HIGHER EDUCATION
|
|
17.
JOURNAL OF READING BEHAVIOR
|
63.
JOURNAL OF COLLEGE STUDENT DEVELOPMENT
|
|
18.
ELEMENTARY SCHOOL JOURNAL
|
64.
URBAN EDUCATION
|
|
19.
READING AND WRITING
|
65.
JOURNAL OF READING
|
|
20.
QUEST
|
66.
JOURNAL OF NEGRO EDUCATION
|
|
21.
JOURNAL OF HIGHER EDUCATION
|
67.
JOURNAL OF CURRICULUM STUDIES
|
|
22.
HEALTH EDUCATION RESEARCH
|
68.
STUDIES IN HIGHER EDUCATION
|
|
23.
EDUCATIONAL ADMINISTRATION QUARTERLY
|
69.
ADULT EDUCATION
|
|
24.
JOURNAL OF TEACHING IN PHYSICAL EDUCATION
|
70.
EDUCATIONAL GERONTOLOGY
|
|
25.
JOURNAL OF SCHOOL HEALTH
|
71.
EDUCATIONAL LEADERSHIP
|
|
26.
SCIENCE EDUCATION
|
72.
ZEITSCHRIFT FUR PADAGOGIK
|
|
27.
PHI DELTA KAPPAN
|
73.
EDUCATIONAL & TRAINING TECHNOLOGY INTNAL |
|
28.
JOURNAL OF LEGAL EDUCATION
|
74.
INTNAL. JOURNAL OF SCIENCE EDUCATION
|
|
29.
APPLIED LINGUISTICS
|
75.
EDUCATIONAL REVIEW
|
|
30.
ANTHROPOLOGY & EDUCATION QUARTERLY
|
76.
TEACHING OF PSYCHOLOGY
|
|
31.
JOURNAL OF EDUCATION FOR SOCIAL WORK
|
77.
AAUP BULLETIN-AMERICAN ASSOCIATION OF UNIVERSITY PROFESSORS
|
|
32.
TEACHING AND TEACHER EDUCATION
|
78.
JOURNAL OF MORAL EDUCATION
|
|
33.
JOURNAL OF ECONOMIC EDUCATION
|
79.
JOURNAL OF EDUCATION FOR TEACHING
|
|
34.
TEACHERS COLLEGE RECORD
|
80.
CANADIAN MODERN LANGUAGE REVIEW-REVUE CANADIENNE DES LANGUES
VIVANTES
|
|
35.
FOREIGN LANGUAGE ANNALS
|
81.
AUSTRALIAN JOURNAL OF EDUCATION
|
|
36.
NEW ZEALAND J.. OF EDUCATIONAL STUDIES
|
82.
ALBERTA JOURNAL OF EDUCATIONAL RESEARCH
|
|
37.
EDUCATIONAL POLICY |
83.
IRAL-INTERNATIONAL REVIEW OF APPLIED LINGUISTICS IN LANGUAGE
TEACHING
|
|
38.
RESEARCH IN HIGHER EDUCATION
|
84.
JOURNAL OF EDUCATIONAL TELEVISION |
|
39.
JOURNAL OF TEACHER EDUCATION |
85.
INTNAL. J. OF EDUCATIONAL DEVELOPMENT |
|
40.
J. OF GEOGRAPHY IN HIGHER EDUCATION |
86.
INSTRUCTIONAL SCIENCE |
|
41.
TEACHING SOCIOLOGY |
87.
INTERNATIONAL REVIEW OF EDUCATION |
|
42.
BRITISH J. OF EDUCATIONAL TECHNOLOGY |
88.
EDUCATION FOR INFORMATION
|
|
43.
EDUCATIONAL STUDIES
|
89.
COMPARATIVE EDUCATION
|
|
44.
HISTORY OF EDUCATION QUARTERLY
|
90.
COLLEGE AND UNIVERSITY
|
|
45.
J. FOR RESEARCH IN MATHEMATICS EDUCATION
|
91.
CHINESE EDUCATION AND SOCIETY
|
|
46. COMMUNICATION
EDUCATION
|
Como podemos
comprobar, existe bajo el epígrafe indicado un total de 91 revistas indexadas.
De ellas, prácticamente todas son de procedencia anglosajona excepto una
alemana (nº 72) y otra china (la nº 91). Parece difícil aceptar que un
investigador educativo no encuentre ninguna vía de publicación de calidad en
España, Francia o Italia, países que culturalmente están mucho más próximos a nuestros
intereses, legislación o nivel de desarrollo, sí quiere cumplir con el
requisito de publicar en revistas incluidas en el JCR.
Para ser
exhaustivos hemos revisado el listado de todas las revistas que están en el JCR
bajo algún epígrafe de educación ya que, aunque lo más adecuado para un
investigador educativo sería publicar en revistas que versaran sobre
"Education & Educational Research", también podría hacerlo en
otras distintas, fundamentalmente (aunque no de manera exclusiva) en las de
temática educativa. Además de ese epígrafe existe en el JCR de Ciencias
Sociales otra categoría relacionada directamente con la citada temática:
"Education, Special". El listado de las revistas incluidas bajo este
epígrafe aparece, ordenado por índice de impacto, en la tabla 3:
Tabla 3 - Revistas de Education, Special
incluidas en el JCR de CCSS.(1995)
|
1.
LEARNING DISABILITY QUARTERLY
|
11.JOURNAL OF EARLY
INTERVENTION
|
|
2.
EXCEPTIONAL CHILDREN |
12.EDUCATION AND TRAINING IN
MENTAL RETARDATION & DEVELOPMENTAL DISABILITIES
|
|
3.
JOURNAL OF LEARNING DISABILITIES
|
13.AMERICAN ANNALS OF THE
DEAF
|
|
4.
AMERICAN JOURNAL OF MENTAL DEFICIENCY
|
14.GIFTED CHILD QUARTERLY
|
|
5.
ANNALS OF DYSLEXIA
|
15.TOPICS IN EARLY CHILDHOOD
SPECIAL EDUCATION
|
|
6.
MENTAL RETARDATION
|
16.BRITISH J. OF DEVELOPMENTAL DISABILITIES
|
|
7.
JOURNAL OF FLUENCY DISORDERS
|
17.JOURNAL FOR THE EDUCATION OF
THE GIFTED
|
|
8.
J. OF INTELLECTUAL DISABILITY RESEARCH
|
18.FOCUS ON EXCEPTIONAL
CHILDREN
|
|
9.
JOURNAL OF SPECIAL EDUCATION
|
19.TEACHER OF THE DEAF
|
|
10.REMEDIAL AND SPECIAL
EDUCATION
|
20.VOLTA REVIEW
|
A la vista de
los datos anteriores, hemos de concluir que utilizar el JCR de Ciencias
Sociales como referente de calidad de las publicaciones, al menos en el ámbito
de la Investigación Educativa (y muy probablemente de la Educación en general),
es un elemento distorsionador y completamente inadecuado, que impide considerar
apropiadamente los intereses sociales en ese ámbito, los temas de dicha
investigación o los hábitos de publicación de la disciplina. Proponemos, por
tanto, que se elimine la exigencia imperativa de tener publicaciones en las
revistas recogidas en dicha Base de Datos que impone la normativa vigente sobre
evaluación de la actividad investigadora, y que se promueva la creación de una
Base de Datos alternativa que cubra de una manera más adecuada las
características de la investigación educativa europea y española.
Bibliografía
de
Miguel, M. (1997). La evaluación de la actividad investigadora del profesorado
universitario en el ámbito de las Ciencias de la Educación. Revista de
Investigación Educativa, vol 15 (1), pp. 171-186.
Escrihuela
y Benavent, J.A. (1988). La orientación educativa en la Revista de Ciencias de
la Educación, antigua Revista Calasancia (1955-1985): un estudio bibliométrico.
Revista de Ciencias de la Educación, 135, pp. 400-416.
Fernández
Cano, A (1997). Evaluación de la investigación educativa española: una revisión
integrativa de realizaciones en 25 años. Revista Española de Pedagogía, nº 207,
pp. 279-301.
García
Garrido, J.L., Buj, A., González Anleo, J. Ibáñez Marín, J.A., de la Orden Hoz,
A. y Rodríguez Diéguez, J.L. (1998).Elementos para un diagnóstico del Sistema
Educativo Español. Informe Global. Madrid: INCE
Gomez
Caridad, I. y Bordons, M. (1996). Limitaciones en el uso de los indicadores
bibliométricos para la evaluación científica. Política Científica, nº 46, pp
21-26.
López
Piñero, J.M. y Terrada, M.L. (1992a). Los indicadores bibliométricos y la
evaluación de la actividad médico científica.(II). La comunicación científica
en las distintas áreas de las ciencias médicas. Medicina Clínica, vol 98,
101-106.
López
Piñero, J.M. y Terrada, M.L. (1992b). Los indicadores bibliométricos y la
evaluación de la actividad médico científica.(II). Los indicadores de
producción, circulación y dispersión, consumo de la información y repercusión.
Medicina Clínica, vol 98, 42-148.
Maltrás,
B., Quintanilla, M.A. y Vidal, J. (1998). Indicadores bibliométricos en la
evaluación de la investigación. Revista de Educación, nº 315, pp. 141-151.
Rice,
R., Borgman, C. y Bednarski, D. (1989). Journal-to-journal citation data:
issues of validity and reliability. Scientometrics, vol. 15, pp.
257-282.
Tainer,
J.A. (1991). Science, Citation, and Funding. Science, vol 251, p. 1408.
Velho,
L. y Krige, J. Publication and citation practices of Brazilian agricultural
scientists. Social Studies of Science,
vol. 47, pp. 23-27.
|
Aliaga F. y
Orellana, N. (1999). La utilización de
las bases de Datos del I.S.I. para la evaluación de la calidad de las
publicaciones sobre investigación educativa en España: Argumentación para un
debate. Comunicación presentada al IX
Congreso Nacional de Modelos de Investigación Educativa. Málaga, Octubre.
Publicado en AIDIPE, Nuevas realidades
educativas, nuevas necesidades metodológicas., pp. 29-34. Málaga: Centro
de Ediciones de la Diputación Provincial de Málaga. Disponible en http://www.uv.es/~aliaga/curriculum/Revistas-ISI.htm |
[Volver a Página Principal] [Volver a Índice del
curriculum]