Introducción

   RELIEVE, la decana de las revistas electrónicas españolas (Rodríguez, 2005), está a punto de cumplir su primer sesquidecenio de existencia. Durante este tiempo no ha dejado de desarrollarse y crecer, en todos los aspectos que denotzn su calidad: demanda, accesos, citaciones, internacionalización, número de manuscritos, etc. En diversos textos anteriores (Aliaga y Suárez, 2002, 2007) hemos analizado algunas de estas dimensiones. En el presente queremos analizar con detalle la repercusión científica que va obteniendo nuestra revista.

    Para intentar conceptualizar la noción de repercusión científica de una publicación se puede, y se debe, atender a diversos y variados indicadores. Nosotros utilizaremos para organizarlos fundamentalmente lo planteado en uno de los textos más actualizados y comprehensivos que existen sobre el tema, el de Delgado, Ruiz-Pérez y Jiménez-Contreras (2006). Ellos consideran que dicho concepto abarca diversos factores, que analizaremos con más detalle:

1. Calidad de la publicación

 Hemos de señalar para empezar que el concepto de repercusión es distinto a otros utilizados frecuentemente para analizar las publicaciones científicas, como pudiera ser el de calidad. Ambos conceptos son claramente diferentes (Bosch, López-Bescós y Vallés Belsué, 2001) y no deberían confundirse. Pueden existir artículos de gran calidad, publicados en revistas también de calidad, que sean de interés fundamentalmente local y por ello no produzcan un gran impacto (más que en su propia y limitada comunidad). También existen artículos de muy baja calidad y gran repercusión (recuérdese el artículo sobre la “fusión fría”, que provocó una gran repercusión social y mediática, además de un gran impacto –medido en número de citas recibidas-, pero que resultó basarse en una falsedad y por tanto de mala calidad científica).  

Aunque no hay ni una relación lineal ni biunívoca entre los conceptos de calidad y repercusión, sí es cierto que se espera que una revista (o un artículo, si se trata de analizar información más detallada) de buena calidad tienda a tener, en igualdad de condiciones (de temática, alcance geográfico, tipo de disciplina, etc.), mayor repercusión. Por ello vamos a analizar primeramente la calidad de la revista RELIEVE. 

La Fundación Española para la Ciencia y la Tecnología, FECYT, creada por acuerdo del Gobierno Español del 27 de abril de 2001, es una entidad dependiente del Ministerio español de Ciencia e Innovación. La FECYT, a través del departamento de Apoyo a la Política Científica y Tecnológica, actúa, según su definición legal, como soporte técnico y administrativo de los órganos de decisión de la política científica y tecnológica española en materia de investigación e innovación. Desde la Fundación se potencia la coordinación, seguimiento, evaluación y planificación de las actividades de I+D+I. Además, la FECYT es la interlocutora para España de las Bases de Datos ISI (ahora denominadas oficialmente Thompson-Reuters), que se encarga de contratar para todas las universidades españolas. Entre sus líneas de trabajo la FECYT ha realizado durante 2007 (y parte de 2008) la Iª Evaluación de calidad de las revistas académicas españolas (se puede consultar la documentación en http://recyt.fecyt.es/index.php/index/recyt/resolucion). De las 275 revistas académicas españolas que iniciaron el proceso sólo superaron las tres fases eliminatorias consecutivas de evaluación de calidad un total de treinta y tres (el 18 %), obteniendo la evaluación final positiva, lo que da idea de la dureza del proceso. Las áreas de más éxito fueron la de Ciencias de la Educación (con 7 revistas evaluadas positivamente) y las de Economía (con 6 revistas evaluadas positivamente). Pues bien, entre esas 7 revistas educativas, las de más calidad de España, se encuentra precisamente RELIEVE. Otra de las revistas es la Revista de Educación, publicada por el Ministerio de Educación y que acaba de ser admitida en las bases de datos ISI. 

Otro aval adicional a los criterios de calidad de RELIEVE lo podemos comprobar en el catálogo internacional Latindex (Índice Latinoamericano de Publicaciones Científicas Seriadas), que se ha convertido en un referente de calidad para las revistas latinoamericanas (se utiliza, por ejemplo en DICE, en RESH, en MIAR, etc.). Su Directorio incluye más de 17.000 títulos de revistas. Latindex ha desarrollado, además, un Catálogo de revistas, mucho más restrictivo, que han sido evaluadas según unos criterios de calidad cada vez más exigentes. Sólo las revistas que demuestran cumplir al menos 25 de esos criterios de calidad de Latindex pueden formar parte de dicho Catálogo selectivo. Pues bien RELIEVE tiene reconocido cumplir con 33 de dichos criterios de calidad. Como podemos comprobar en la base de Datos DICE (Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas), del Consejo Superior de Investigaciones Científicas, de las revistas asociadas al área de Métodos de Investigación y Diagnóstico en Educación-MIDE (a la que pertenece este recurrente) sólo RELIEVE y otras dos alcanzan ese nivel máximo, de un total de 15 revistas. De las 165 revistas de educación incluidas en DICE sólo 11 alcanzan ese nivel de calidad medido por los criterios Latindex. 

Parece evidente, a la vista de estos datos que RELIEVE está plenamente acreditada por diversas agencias tanto internacionales como nacionales del máximo prestigio. 

2. Encuestas de opinión entre la comunidad científica

Un segundo criterio vinculado al impacto de una revista en la comunidad académica y científica es la opinión de los profesionales sobre esa publicación. En España sólo se ha hecho una investigación sistemática sobre la opinión de los profesores universitarios funcionarios (que ciertamente no son todos los investigadores, pero sí una parte sustancial) respecto a la calidad de las revistas en Ciencias Sociales. Se trata de las distintas oleadas que, para diferentes disciplinas, realizó el equipo dirigido por Alcaín desde 2001 y que en 2002 abarcó a las áreas de Ciencias de la Educación, Ciencia Política y Sociología (Alcain, 2002).). En este estudio, y por error, no se incluyó la revista RELIEVE en listado de revistas sobre las que se preguntaba a los investigadores. Aún así, RELIEVE fue la revista que más veces fue añadida a mano (por lo tanto, sus puntuaciones no son comparables con el resto), un número de veces superior incluso a revistas de la categoría y el reconocimiento de Infancia y Aprendizaje (que, también por error, estaba ausente del listado y que actualmente se encuentra incluida en el Social Science Citation Index del ISI).  

Para ver la valoración que merecían las distintas revistas a la comunidad académica de la que procede, podemos analizar las respuestas dadas por los investigadores perteneciente al área MIDE en ese estudio de Alcaín (2002). Veamos las 10 revistas mejor valoradas: 

Tabla 1 - Valoración de revistas por parte de profesores funcionarios españoles pertenecientes al Área de conocimiento de 'Métodos de Investigación y Diagnóstico en Educación'

Elaborada a partir de los datos de Alcain (2002), ordenados por proporción de respuestas “A” (las que consideraban a la revistas como ”Muy buena, fundamental para la disciplina”). En cursiva las revistas no incluidas en el listado propuesto originalmente a los investigadores.

 Resaltamos especialmente que RELIEVE estaba en 2002 en un honroso sexto puesto entre las revistas más valoradas por los profesores del área MIDE, a pesar de no haber participado en igualdad de condiciones en el estudio (no aparecía en el listado de revistas a valorar). Obsérvese también que todos los investigadores que valoran a RELIEVE la consideran como “muy buena, fundamental para la disciplina” o “buena, interesante para la disciplina”, y ni uno solo la considera meramente en las categorías C (“de interés general“) o D (“sin interés para la disciplina“). 

Como una medida adicional de la opinión e interés que despierta RELIEVE en la comunidad científica quisiéramos resaltar que su Comité Científico es, probablemente, el que tiene una mayor proporción de integrantes internacionales de entre todas las revistas españolas de educación. Este Comité cuenta con autoridades de primera línea en la materia procedentes de diversos países como Gene Glass (antiguo presidente de la American Educational Research Association y director de dos importantes revistas educativas), A. Artiles, de la Universidad de California Los Ángeles (UCLA), S. Kemmis (de la Universidad de Deakin, en Australia), A. Salem (Universidad de París III), R. Floden (Universidad del Estado de Michigan), David Hamilton (Universidad de Liverpool), Nina Talyzina (Universidad Estatal de Moscú), Felipe Martínez Rizo (Director del Instituto Nacional de Evaluación Educativa de México) y algunos otros. Entre los miembros nacionales del citado Comité Científico se encuentra un amplio abanico de catedráticos y profesores de reconocido prestigio de numerosas universidades españolas. Que todas estas prestigiosísimas personas hayan decidido asociar su nombre al de la revista RELIEVE da una muestra muy evidente de su buena opinión sobre la misma y es un motivo de orgullo para quienes la realizamos. 

3. Análisis cuantitativo de las demandas que recibe

Este criterio se refiere al número de solicitudes que se reciben desde servicios de documentación y bibliotecas. Sin embargo, en cuanto a tal este criterio está obsoleto, habida cuenta de que la revista a la que nos referimos, RELIEVE, es una revista electrónica de Acceso Libre –Open Access- (de hecho, la pionera en España dentro de este movimiento de creciente influencia en el mundo científico). Esto quiere decir que cualquier persona interesada puede acceder a cualquiera de los textos publicados por la revista de manera libre y gratuita, cuando quiera (a cualquier hora de cualquier día) y desde donde quiera (con el único y simple requisito de estar conectado a Internet). Por tanto, las personas interesadas no necesitan tener como intermediarios a servicios de documentación ni a bibliotecas, de modo que no hay datos fiables al respecto. Sin embargo, sí podemos afirmar que la investigación disponible (ver, por ejemplo Harnad, 2006) ha demostrado claramente que proporcionar Acceso Libre a una publicación académica, como es el caso de RELIEVE, aumenta su impacto en las citas recibidas entre un 50% y un 250% respecto a otras equivalentes que no participen de este principio. 

4. Análisis de las citas recibidas

Una de las escasas posibilidades de aproximación a este tipo de datos que, a pesar de sus escasos recursos, permite hacer un análisis del impacto en algunas otras revistas (aunque sólo a nivel español) es INRECS (http://ec3.ugr.es/in-recs). Pues bien, RELIEVE se encuentra por índice de impacto (citas por artículo) como la quinta revista de educación con mayor índice de impacto en 2007 y, para confirmar la tendencia a largo plazo, está en el primer cuartil de todas las revistas de educación en el acumulado de datos entre 1994 y 2007.  

Hay que tener en cuenta que INRECS no contabiliza (debido a su precariedad de medios) las citas recibidas en publicaciones que no sean españolas, que es precisamente donde RELIEVE alcanza su mayor repercusión (ya que el 80% de los accesos a la revista se hacen desde fuera de España). 

5. Indicadores vinculados a Internet

La especial circunstancia de que RELIEVE sea una revista electrónica permite aportar indicios adicionales sobre la repercusión o impacto de los artículos que se publican en ella, atendiendo a diversos factores 

5.a. Número de accesos 

Este criterio puede aplicarse tanto a la revista (como forma de evaluar su repercusión entre la comunidad) como, dado que nos encontramos en el caso particular de una revista electrónica, sobre los propios artículos individualmente. El análisis de los accesos es una medida que ha demostrado estar correlacionada significativamente con el impacto o repercusión de los artículos, medido en número de citas  (ver Perneger, 2004). 

Por lo que hace referencia a la revista RELIEVE, cuenta con una doble contabilidad del acceso a su página principal. Por un lado un contador institucional de la Universidad de Valencia (donde está alojada) y otro realizado por una empresa auditora externa de carácter internacional (Motigo Webstats). Han de tenerse en cuenta, no obstante, algunos hechos a la hora de interpretar estos datos. El primero es que no todos los lectores que acceden a leer algún artículo entran por la página principal, por lo que pueden acudir directamente al texto de su interés y no contabilizar su visita. También hay que considerar que los artículos de RELIEVE se encuentran duplicados en diversos repositorios a texto completo (Redalyc, ScientificCommons, Quaderns Digitals, etc.), por lo que el número de lectores que acceden a sus textos es sin duda mucho mayor que el indicado por estos contadores instalados en los servidores locales.  

A pesar de los limitadores anteriormente citados RELIEVE ha recibido más de 650.000 accesos en su página principal desde Febrero de 1997 (los primeros años no había contador disponible). Se trata de un número que muestra el enorme interés despertado por RELIEVE en la comunidad educativa. Ha de señalarse que, en un proceso crecientemente acelerado, los dos últimos años el número de visitas ha superado las 100.000 por año.  

Como complemento a los datos del contador de visitas institucional de la Universidad de Valencia se instaló en Febrero de 2003 otro de la empresa Motigo Webstats, que es fácil y públicamente accesible desde el botón que hay al final de la página principal de la revista. Desde ese momento se han contabilizado por parte de esta auditora más de 470.000 accesos a la página principal de la revista. Esta empresa realiza un análisis detallado de estos accesos, entre cuyos detalles destaca el carácter internacional de la demanda. Veamos los datos disponibles: 

Tabla 2 - Zonas geográficas desde las que se produce el acceso a la revista RELIEVE

Fuente: Motigo Webstats (Fecha: 22-Julio-2008) 

Como puede comprobarse existe un fuerte componente de proyección internacional en RELIEVE, de tal modo que casi el 80% de los accesos a la revista proviene de fuera de Europa. Estos datos avalan no sólo una gran internacionalización de la revista, sino que su repercusión traspasa fronteras. 

5.b.     Número de enlaces al artículo o a la revista 

El número de enlaces (hiperenlaces) establecidos hacia una revista son una muestra del interés que despiertan en la comunidad, especialmente en la académica, por lo que puede considerarse una medida complementaria de la repercusión de la publicación. 

En el caso de RELIEVE son muchísimas las instituciones académicas internacionales (por no enumerar la práctica totalidad de las españolas) que tienen enlaces permanentes a la revista. Veamos algunas de ellas, aunque sin ánimo de ser exhaustivos por razones de espacio:

A los ejemplos anteriores hemos de añadir la presencia de la revista en diversos consorcios nacionales de bibliotecas académicas (Reino Unido, Italia, Dinamarca, USA, Canadá, etc.: vid. infra en el apartado 6.c). Como podemos ver, la revista RELIEVE despierta un amplio interés en una gran variedad de instituciones internacionales y en centros de investigación y universidades de decenas de países. Está por tanto presente en multitud de bibliotecas de todo el mundo en un nivel que, con  toda probabilidad, sea incomparablemente mayor que cualquier revista académica de educación impresa. 

Como podemos comprobar, la revista RELIEVE obtiene una gran proyección, fundamentalmente internacional.  

6. Difusión y audiencia: visibilidad y accesibilidad

En palabras de Delgado, Ruiz-Pérez y Jiménez-Contreras (2006) “La difusión de una revista debe entenderse como la capacidad que ésta tiene de ser visible para la comunidad científica a la que se dirige. La primera y principal finalidad de una revista científica, como medio de comunicación que es, consiste en transmitir información” (p.67). En este sentido, y a la vista de los datos mostrados anteriormente, parece más que evidente que RELIEVE tiene una gran difusión y más amplio que la mayoría de las revistas académicas impresas de educación (ver, por ejemplo, los apartados 3 y 5 de este texto).  

Son varios los indicadores en que podemos fijarnos para determinar la difusión de un medio de comunicación académico, fundamentalmente circulación, presencia en bases de datos y bibliotecas o hemerotecas y visibilidad en Internet. Alguno de estos indicios no son directamente aplicables a la publicación a la que nos referimos y en otros casos ya hemos presentado parte de la información. Veámoslo en detalle  

6.a. Circulación 

Al tratarse RELIEVE de una revista electrónica de acceso abierto no son aplicables datos como la tirada, las suscripciones y ventas o el intercambio con otras revistas. A cambio pueden utilizarse las estadísticas sobre accesos que hemos presentado en el apartado [5.a] 

6.b.  Presencia en bases de datos 

Entre otras bases de datos, RELIEVE está incluidas en las siguientes bases de datos (casi todas internacionales): 

·       EBSCOhost (USA): Agrupa más de 150 bases de datos diferentes que se proporcionan a miles de bibliotecas universitarias de todo el mundo, lo que representa millones de usuarios finales. Uno de los principales empresas del mundo en la especialidad.

·       ERA (Educational Research Abstracts) (Reino Unido). Base de datos sobre investigación en educación. Creada por la editora Routledge, del grupo Taylor & Francis.

·       DOAJ: Directory of Open Access Journals (Suecia): Principal base de datos internacional de revistas de Acceso Libre (Open Access). Proporciona datos directamente a cientos de bibliotecas universitarias de todo el mundo.

·      LATINDEX: Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe, España y Portugal. Incluidos en el selectivo "catálogo".

·      REDALYC (México): Es actualmente una de las principales bases de datos (y hemeroteca virtual) de toda Iberoamérica.

·       ISOC (España): Es la principal base de dos sobre publicaciones de Ciencias Sociales en España.

·       IRESIE  (México): Índice de Revistas de Educación Superior e Investigación Educativa

·       Fuente Académica (USA): Una de las bases de datos de EBSCO

·       NSDL  (Holanda): National Science Digital Library.

·       e-REVISTAS Base de datos de revistas electrónicas con un sistema de calidad normalizado y validado por el CSIC (España)

·       ICAAP (Canada): Consorcio Internacional para el Avance de la Publicación Académica

·      UNESCO: Social and Human Sciences Documentation Centre (Social and Human Sciences Online Periodicals).

·       INTITUTE-Social Sciences(UK): Portal de Información  sobre Ciencias Sociales.

·      NewJour: the Internet list for new journals and newsletters available on the Internet (from University of California, San Diego - USA).

·       Electronic Journal Miner, de la Colorado Alliance of Research Libraries (The Alliance) (USA)

·       J-Gate  (India)

·       BiblioSHS (Francia): del Institut de l’Information Scientifique et Technique du CNRS (Centre Nacional de la Recherche Scientifique)  

De hecho, de las 165 revistas vinculadas a Ciencias de la Educación en la base de datos DICE ('Difusión y Calidad Editorial de las Revistas Españolas de Humanidades yCiencias Sociales y Jurídicas') sólo hay dos que estén vinculadas a más bases de datos  que RELIEVE, lo que es, ciertamente, una difusión muy notable comparada con el  grupo de referencia de su entorno. 

6.c. Presencia en bibliotecas nacionales e internacionales 

Además de los datos presentados en el apartado 5.b, RELIEVE está presente en las siguientes Asociaciones o Consorcios de Bibliotecas:

• COPAC: the UK and Irish Academic and National Library catalogue

• HEAL-Link - Greece

• Danmarks Electronic Research Library - Denmark

• California Digital Library, University of California - USA

• OCUL: Ontario Council of University Libraries - Canada

• OhioLINK (Ohio Library and Information Network) - USA

• Stichting eIFL.net - Italy

• National Library of Luxembourg - Luxembourg

• Consortium of Academic Libraries of Catalonia (CBUC) - Spain

• UKB - Dutch Consortium of University Libraries and National Library - Netherlands

• ABM-utvikling - Norway

• Swedish Library Association - Sweden

• SUNCAT: UK union catalogue of serials

• Open J-Gate: India

• DIALNET (España)

• REBIUN  (España) Catálogo Colectivo de Red de Bibliotecas Universitarias Españolas de la CRUE (Conferenca de Retores de Universidades Españolas).

Todo ello le garantiza una distribución institucional que tiene difícil parangón con cualquier revista impresa no ya española, sino de cualquier parte del mundo. 

6.d.     Visibilidad en internet 

Remitimos a los datos ya presentados en el apartado [5.a]. Queremos resaltar tan sólo la vinculación entre visibilidad e impacto hallada por autores como King y Tenopir o Harnad (2006) 

7. Capacidad de atracción de la revista

A fin de mostrar que una revista tiene en la comunidad académica a la que se dirige suficiente repercusión y atractivo debe verificarse los datos sobre el número de trabajos recibidos y sobre la tasa de rechazo (da una idea de la posibilidad de elegir que tiene la revista para poder publicar sólo aquellos artículos que tengan suficiente grado de calidad). 

7.a.  Número de trabajos recibidos  

Debido a que estos datos son publicados por la revista conjuntamente con otros que comentaremos a continuación, analizaremos este apartado en el siguiente epígrafe.

7.b.     Tasas de aceptación-rechazo

En el caso de la revista RELIEVE se publican periódicamente los datos de edición en su página web, por lo que los incluimos a continuación, informando así de los dos indicadores clasificados como 7a y 7b simultáneamente: 

Tabla 3 - Estadísticas de edición de la revista RELIEVE

 Como podemos comprobar, las tasas de rechazo son extraordinariamente altas para el ámbito de las Ciencias Sociales, más propias de revistas de Ciencias Naturales de gran impacto. Muestran que la revista es un medio de expresión muy atractivo para los autores del área educativa y que puede seleccionar sus artículos entre una amplia variedad de propuestas. Es una buena muestra de que la repercusión entre la comunidad académica hace que RELIEVE resulte un medio que atrae una gran atención también de los autores. 

7.c. Procedencia geográfica de los autores 

Se trata de otro indicio de lo atractiva que resulta una publicación. Según los datos publicados anteriormente (Aliaga y Suárez, 2007) “RELIEVE puede enorgullecerse de haber recibido (y en su caso publicado) artículos provenientes de España, México, Argentina, Chile, Venezuela, Colombia, Estados Unidos, República Sudafricana, Brasil, Guatemala, Holanda, Puerto Rico, Cuba, Turquía, Uruguay, Portugal, Austria y Nigeria”.  

Ciertamente se trata de un elenco muy amplio y variado, lo que muestra una vez más esa repercusión internacional de RELIEVE. 

Conclusión

 Sea cual sea el indicador que utilicemos para medir la repercusión de RELIEVE encontramos datos que nos señalan que la que ya posee actualmente es ciertamente muy notable, caracterizándose fundamentalmente por una gran difusión internacional y por ser un medio atractivo tanto para lectores como para autores. 

 La inclusión de RELIEVE en una gran cantidad de bases de datos, agregadores, bibliotecas y otros servicios a los usuarios, muchos de ellos con altos grados de exigencia de calidad, son un respaldo evidente a la repercusión y difusión de la revista. 

Nos queda profundizar en esta línea  de trabajo para, junto con las aportaciones de autores, revisores y lectores, conseguir aún mayores cotas de calidad, difusión y repercusión. 

Bibliografía 

Alcain, M.D. (2002). Valoración de las Revistas Españolas De Humanidades y Ciencias Sociales: Filosofía, Geografía, Historia del Arte, Literatura Española, Ciencia Política, Ciencias de la Educación y Sociología. http://www.cindoc.csic.es/info/revsocinf.pdf.

Aliaga, F. y Suárez Rodríguez, J (2002). Tendencias actuales en la edición de revistas electrónicas: nueva etapa en RELIEVE. RELIEVE, v. 8, n. 1. Consultado en http://www.uv.es/RELIEVE/v8n1/RELIEVEv8n1_0.htm el 22 de Diciembre de 2008.

Aliaga, Francisco M. y Suárez-Rodríguez, Jesús M. (2007). Internacionalidad de las revistas académicas: Estudio de caso con RELIEVE. RELIEVE, v. 13, n. 1. http://www.uv.es/RELIEVE/v13n1/RELIEVEv13n1_0.htm. Consultado el 22 de Diciembre de 2008.

Bosch X, López-Bescós L, Vallés Belsué F. (2001). Calidad y repercusión internacional de los estudios publicados. Dos conceptos distintos que deben promocionarse por un igual. Rev Esp Cardiol , 54: 131-132

Delgado,E., Ruiz-Pérez, R. y Jiménez-Contreras, E. (2006). La edición de revistas científicas: directrices, criterios y Modelos de Evaluación. Madrid: FECYT

Harnad, S. (2006) Publish or Perish - Self-Archive to Flourish: The Green Route to Open Access. ERCIM News, 64 . Disponible  en http://eprints.ecs.soton.ac.uk/style/images/fileicons/application_pdf.png.

King, D.W. y Tenopir, C.(2000). Scholarly journal and digital database pricing: threat or opportunity?. En J. Mackie-Mason y W. Lougee (eds.), Bits and Bucks:Economics and Usage of Digital Collections. Cambridge, MA: MIT Press.

Perneger, Th. (2004). Relation between online “hit counts” and subsequent citations: prospective study of research papers in the BMJ. BMJ; 329:546–7.

Rodríguez Gómez, Gregorio (2005). RELIEVE cumple 10 años, pero… ¿cómo fue el primero?. RELIEVE, v. 11, n. 2. http://www.uv.es/RELIEVE/v11n2/RELIEVEv11n2_1.htm. Consultado el 22 de Diciembre de 2008.