Referencia:

Reference:

de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo.  RELIEVE, v. 16,  n. 1. http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htm 

  

This article in English version

 

  Hits:  Hit counter - Contador de visitas Visitas  

LA EVALUACIÓN DE TESIS DOCTORALES. PROPUESTA DE UN MODELO 

[The evaluation of doctoral thesis. A model  proposal]

 

  In artículo en pdf format

by / por

  En formato artículo en pdf

 
 

Article record

About the authors

Print this article

de-Miguel, Mario (mario@uniovi.es

Ficha del artículo

 Sobre los autores

Imprimir el artículo

 

 

Abstract

 The aim of this work is the development of a model that can be used as a framework for evaluators and PhD tribunal members, either during the previous administrative processing phase or at the actual exposition and viva on doctoral dissertations. To this end, once reviewed the existing literature and normative, a new proposal is laid out on the main aspects and criteria to be analysed and assessed from any given scientific work, thus introducing a tool that facilitates and specifies this work. Our model is intended to be an open proposal on which we would welcome any contribution and suggestion.

 

Resumen

El objetivo del presente trabajo es la elaboración de un modelo que pueda ser utilizado como marco de referencia por los evaluadores y miembros de tribunales de las tesis doctorales tanto en la fase previa a la tramitación administrativa como en el acto de exposición y defensa de la misma. Para ello, una vez revisada la literatura y la normativa vigente al respecto, efectuamos una propuesta sobre los principales aspectos y criterios que deben ser objeto de análisis y valoración en todo trabajo científico, y presentamos una herramienta que facilita y precisa esta tarea. Nuestro modelo constituye una propuesta abierta sobre la que esperamos aportaciones y sugerencias

Keywords

  Doctoral thesis,  Doctoral dissertations evaluation, Doctoral thesis quality, doctoral dissertations evaluation model

 

Descriptores

  Tesis doctoral, evaluación de tesis doctorales, calidad de las tesis doctorales, modelo de evaluación de las tesis doctorales

 



Comentar este artículo


Artículos relacionados:

Gargallo et al (2009). El cuestionario CEVEAPEU. Un instrumento para la evaluación de las estrategias de aprendizaje de los estudiantes universitarios


Volumen 16, n. 1


  1. Introducción

  Una de las tareas que frecuentemente tenemos que asumir los profesores universitarios es la evaluación de trabajos que se presentan como tesis doctorales - más allá de los trámites formales – con el fin de asegurar la calidad de los mismos. No es habitual que las universidades dispongan de protocolos detallados para que se pueda realizar esta tarea siguiendo una serie de criterios que se consideran a priori fundamentales para la elaboración de los informes preceptivos. Lo normal es utilizar impresos poco estructurados donde los evaluadores formulan sus juicios de acuerdo con su lógica particular sobre lo que debe ser y cómo se debe presentar un trabajo científico para que pueda ser defendido como tesis doctoral. Esta carencia de un marco de referencia claro y común sobre los criterios que deben ser utilizados a la hora de evaluar un trabajo de estas características  determina que los informes que se emiten al respecto sean imprecisos y poco prácticos a la hora de tomar decisiones.

    El resultado de esta falta de precisión a la hora de emitir las valoraciones sobre las tesis es conocido: la mayoría de los informes preceptivos  para la tramitación administrativa de las tesis son positivos – no llega al uno por ciento el número de tesis rechazadas – y la gran mayoría de ellas alcanzan la máxima calificación - aproximadamente el 92 % de las tesis defendidas – a pesar de que la calidad de muchas sea dudosa (Valcárcel, 2002).  Esta distribución atípica de los resultados de las evaluaciones sobre las tesis doctorales pone de manifiesto que los protocolos utilizados no son adecuados  o que las valoraciones no se efectúan con el rigor científico que sería deseable. 

   Desde una perspectiva técnica el problema radica en que no existen unos criterios claros y explícitos que necesariamente deban ser tenidos en cuenta a la hora de formular los juicios requeridos. La última normativa española al respecto -  Real Decreto 1393/2007, de 29 de septiembre – determina que "la universidad establecerá procedimientos con el fin de garantizar la calidad de las tesis tanto en su elaboración como en el proceso de evaluación" (art. 21, 2). En el mismo texto se señala que "la tesis doctoral se evaluará en el acto de defensa que tendrá lugar en sesión pública…y que el tribunal emitirá un informe y la calificación global concedida a la tesis de acuerdo con la siguiente escala." ( art. 21, 6, 7). El sentido de la norma es claro: los procedimientos y criterios para evaluar las tesis constituyen un problema interno de las universidades que deberán reglamentar de forma explícita [1]. 

  Hasta la fecha los reglamentos establecidos por las distintas universidades sobre los programas de doctorado y las tesis suelen incidir más sobre las cuestiones administrativas que sobre las técnicas. No es frecuente que en estos reglamentos las universidades establezcan de forma detallada los criterios y procedimientos  que van a utilizar para evaluar la calidad de los procesos que implica el desarrollo de un programa de doctorado como de los productos que genera; es decir,  las tesis doctorales.  Lo habitual es centrar toda la evaluación de los programas de doctorado sobre la utilización de estadísticos e indicadores cuantitativos entre datos de entrada y salida sin analizar los procesos y las causas que provocan el abandono o un retraso considerable en el progreso de los alumnos (De Miguel, 2010). Tampoco suelen precisar los criterios específicos que deberán tenerse en cuenta para valorar la calidad de una tesis como  aportación al conocimiento científico sobre un determinado objeto de investigación o a la solución de problemas prácticos de la realidad social. 

  Como ya hemos señalado en otro momento (Valcárcel, 2002), este último tipo de evaluación – centrada sobre la calidad de las tesis - se realiza  a través de un proceso en el caben señalar tres etapas o momentos distintos, a saber: la evaluación previa que establece cada universidad  para autorizar la tramitación administrativa, la evaluación que se efectúa en el momento de la exposición y defensa pública de la tesis, y la evaluación que se puede hacer posteriormente de las publicaciones y aplicaciones derivadas de la misma a efectos de premios, becas, proyectos y otros méritos. Como es lógico, el trabajo a realizar en cada una de estas fases tiene finalidades distintas por lo que requiere criterios y procedimientos de evaluación diferentes. Procede, por tanto, clarificar las distintas formas de abordar estas evaluaciones en función de los datos y el tipo informe que debe emitir el evaluador en cada caso.   

  Este es el objetivo que pretendemos abordar con este trabajo: presentar un modelo que pueda constituir  como marco de referencia del trabajo a realizar por los evaluadores que sean requeridos para valorar tesis doctorales. Para ello hemos efectuado una revisión de la literatura pertinente sobre la naturaleza y finalidad de las tesis doctorales con el  fin de sintetizar y estructurar los principales parámetros y criterios que  definen la calidad de este tipo trabajos y su contribución al progreso del conocimiento científico. A partir de dicha revisión hemos elaborado un modelo compresivo sobre los distintos criterios a tener en cuenta en la evaluación de una tesis que permita objetivar los juicios que se formulen a respecto y que pueda ser utilizado global o parcial en función de tipo o finalidad de la evaluación requerida en cada caso. 

2.- Evaluación previa del Informe de Tesis  

  De acuerdo con la normativa citada, el texto legal sólo especifica que "en el proceso de evaluación y previo al acto de defensa, la universidad garantizará la publicidad de la tesis doctoral finalizada de forma que otros doctores puedan remitir observaciones sobre su contenido" (art. 21.4). Hasta la fecha, los procedimientos implementados en las distintas universidades para llevar cabo esta evaluación previa son muy diversos aunque pocas veces se efectúan mediante una evaluación rigurosa e independiente que determine con objetividad la calidad del trabajo realizado y sus aportaciones al conocimiento científico. Igualmente tampoco es frecuente disponer de un protocolo adecuado para realizar esta evaluación previa de forma comprensiva y objetiva  a fin de tomar las decisiones pertinentes sobre su tramitación. Ante la falta de un rigor de los procedimientos evaluativos previos el resultado es previsible: la gran mayoría de las tesis superan este trámite por lo que acaba siendo más un ritual que una auténtica evaluación. 

  A este respecto proceder recordar que la tramitación de una tesis requiere la conformidad del director para proceder a su lectura, el informe o informes oportunos establecidos por el departamento que presenta la tesis, un periodo de exposición pública para que los doctores interesados puedan efectuar alegaciones pertinentes y, finalmente, la aprobación a trámite por la Comisión de Doctorado de la Universidad. Todos estos procesos pueden ser considerados como  acciones o estrategias evaluadoras aunque en la práctica su operatividad sea muy pequeña. Una vez que el director otorga su conformidad lo habitual que la Comisión de Doctorado conceda su placet y ratifique el tribunal propuesto. Lo cual significa que a priori la garantía de calidad de una tesis depende del prestigio que tiene la universidad, el departamento implicado, el  programa de doctorado cursado y, sobre todo, del reconocimiento que tiene como científico el director de la misma (López Yepes y otros, 2008). 

Aunque este suele ser el procedimiento habitual, no obstante existen otras formas de proceder en otros campos científicos que conviene conocer y valorar ya que, en la medida que constituyen alternativas interesantes, pueden contribuir a resolver el problema que nos ocupa. Nos centraremos sobre algunas de ellas: 

1.- Evaluación vinculada al  grupo o equipo de investigación.- Algunos departamentos universitarios exigen que todo el proceso de elaboración de una tesis – desde la elaboración del proyecto a la redacción del informe - sea supervisado de forma colegiada por un grupo o equipo de investigación formado al menos por tres investigadores competentes en el campo o especialidad que constituye objeto de estudio. La evaluación previa queda así condicionada al informe favorable de los investigadores que han sido nombrados – conjuntamente con el director - para tutelar y velar el proceso de elaboración ya que conocen de cerca el proyecto y el trabajo realizado por el doctorando así como la calidad de los resultados obtenidos. Las ventajas que aporta la utilización de esta estrategia son indudables tanto para el doctorando, ya que le permite  contar con las valoraciones y aportaciones que le facilita su director y el resto de miembros que constituyen en grupo supervisor, como de garantía para la institución. 

2.- Evaluación vinculada a una sesión de prelectura de la tesis.- En el caso de grupos muy consolidados e institutos de investigación es frecuente que una vez hayan concluido la tesis los doctorandos efectúen una presentación de la misma a todos los investigadores del grupo o instituto relacionados con el tema con el fin de conozcan su trabajo y recabar sus opiniones y sugerencias. Esta presentación previa o prelectura de las tesis no solo permite intercambio de informaciones sino también ampliar las posibilidades de conexión y difusión del trabajo en redes científicas nacionales e internacionales. En ocasiones, además de esta sesión de prelectura, se establece la obligatoriedad del informe externo de dos investigadores. 

3.- Evaluación mediante informes de expertos externos.- Últimamente varias universidades han establecido como requisito previo para la tramitación de una tesis contar con el informe favorable de dos evaluadores externos. Aunque la medida debe considerar muy positiva lo cierto es que los procedimientos arbitrados para su implementación  no  han contribuido a demostrar la eficacia que se esperaba de esta alternativa. Resulta necesario replantear con rigor los factores críticos que tiene esta opción – sistema de elección de los evaluadores, competencia y anonimato de los mismos, protocolo de criterios a cumplimentar, grado de vinculación de los informes, etc. – ya que en muchas ocasiones acaba siendo un trámite más que una auténtica evaluación. En definitiva, no basta con establecer un sistema de evaluación externa ya que también hay que resolver los problemas que determinan que esta estrategia sea más o menos eficaz (Valcárcel, 2002). 

4- Evaluación vinculada a criterios de calidad específicos.- El hecho de que actualmente cada vez se vincula más la calidad de un trabajo científico al número y  tipo  las publicaciones derivadas del mismo ha dado lugar que algunos departamentos universitarios hayan establecido como condición para otorgar un informe favorable en esta evaluación previa que el doctorando haya publicado dos o más  trabajos sobre el tema de la tesis en revistas de impacto o presentado ponencias y/o comunicaciones en Congresos o Jornadas relativos al ámbito de la especialidad científica. Generalmente cuando esta condición se cumple no se procede a la prelectura de la tesis ni a su revisión por expertos externos. Ahora bien, esta alternativa que implica una nueva concepción del trabajo a presentar como tesis no es muy frecuente ya que en algunos ámbitos académicos se considera que éstas deben ser inéditas y que lo habitual es efectuar su difusión una vez hayan sido defendidas (Sánchez Rodríguez, 2002; López Yepes y otros, 2008). 

  El propósito común de  las opciones comentadas es garantizar unos mínimos de calidad de la investigación que se pretende defender como tesis doctoral. Ante la habitual falta de respuesta de los doctores durante el periodo de exposición pública establecido reglamentariamente y la escasa operatividad de la Comisión de Doctorado a estos efectos, las universidades deben establecer  algún tipo de "filtro" que les ofrezca la garantía necesaria para proceder a dar trámite a las tesis. Quizás la opción de contar con la evaluación previa de dos expertos externos a la universidad, que no formen parte del tribunal que posteriormente ha de juzgar su  defensa, sea la más oportuna siempre y cuando la elección de los mismos se haga con las suficientes garantías y sus valoraciones se efectúen mediante un protocolo normalizado en el que se expliciten los juicios de forma objetiva y con carácter vinculante. 

            3.- Evaluación de la Exposición y Defensa Pública 

   La normativa citada tampoco incluye grandes novedades sobre la composición de los tribunales que han de juzgar las tesis en el acto de defensa pública. El texto legal establece que "el tribunal que evalúe la tesis se compondrá de acuerdo con las normas que establezca la universidad. Todos los miembros deberán tener el título de doctor y experiencia investigadora acreditada. En todo caso sólo podrán formar parte del tribunal dos miembros de la Universidad responsable de la expedición del título". Se señala, además, que cuando se opta a un título de doctor con "mención europea" deberá formar parte del tribunal un experto externo con título de doctor perteneciente a alguna institución de educación superior o centro  de investigación de un Estado miembro de la Unión Europea distinto de España.  

   Como se puede deducir de lo anterior, las universidades siguen teniendo la última palabra a la hora de seleccionar y nombrar a los miembros que van a formar parte del tribunales que han de valorar la tesis. Por ello serán ellas las que tienen que establecer un procedimiento para el nombramiento de los miembros del tribunal que tenga credibilidad y que permita su independencia a la hora de valorar los trabajos. Hasta la fecha, dado que los sistemas arbitrados en la mayoría de las universidades para nombrar los tribunales parten de las propuestas que formula el propio director de la tesis, estos no pueden considerarse totalmente independientes dadas las redes que se establecen entre los investigadores en el ámbito universitario. El recurso establecido de que las propuestas sean avaladas adjuntando un breve currículo de los candidatos no ha resultado demasiado  útil para justificar la pertinencia y competencia de muchos de los miembros de los tribunales nombrados. 

  Tampoco existe una normativa específica sobre los criterios de  evaluación  que deberán utilizar los tribunales seleccionados y los procedimientos para otorgar la calificación. La norma solamente establece que "el tribunal emitirá un informe y la calificación global a la tesis de acuerdo con la siguiente escala: no apto, aprobado, notable y sobresaliente. El tribunal podrá otorgar la mención <cum laudem> si la calificación global es de sobresaliente y se emite en tal sentido el voto por unanimidad" (art. 21.7). Lo habitual es que los miembros de un tribunal de tesis realicen antes del acto de la defensa una valoración de la misma de acuerdo con su lógica particular sobre las condiciones que debe reunir un trabajo de estas características y  establezcan un primer juicio sobre la tesis, al tiempo que concretan  las cuestiones que están poco claras o que les ofrecen dudas – de acuerdo con el ritual al uso -  pero sin entrar en un cuestionamiento del trabajo realizado en función de unos criterios específicos previamente establecidos. 

  En relación al propio acto de la defensa de la tesis existen diversas normas y criterios a tener en cuenta que deberán igualmente ser objeto de evaluación. De una parte, diversos autores insisten en la necesidad de que el doctorando exponga con claridad y rigor el contenido de su trabajo utilizando un lenguaje preciso y adecuado a la materia sobre la que versa utilizando para ello - si procede - técnicas de apoyo gráfico y esquemático con el fin de que su mensaje llegue tanto a los miembros de tribunal como al público presente en la sala  (García de la Fuente, 1994; Sierra Bravo, 1999). De otra,  dado que se trata de una comunicación científica, lo pertinente es que argumente adecuadamente la defensa  de sus hallazgos, de los nuevos conocimientos obtenidos y las soluciones a los problemas planteados. En definitiva, el doctorando debe mostrar como investigador su dominio y rigor científico, dato que especialmente se puede constatar en las respuestas a las objeciones formuladas, la valoración crítica que realiza de su propio trabajo y las propuestas efectuadas sobre nuevas líneas de investigación sobre el tema (Carreras Panchón, 1994; Desantes y López Yepes, 1996).  

  Procede recordar que la defensa de una tesis doctoral constituye la parte fundamental de un acto académico cuya finalidad es comprobar la capacidad investigadora del doctorando. En este momento el tribunal representa a la comunidad científica y como tal debe juzgar el trabajo realizado por el doctorando y formular las objeciones oportunas con el fin de que este se defienda aportando las pruebas necesarias para que podamos admitir los conocimientos que aporta su investigación al tiempo que manifiesta públicamente su capacidad como investigador. De ahí que no pueda ser considerada la defensa como un acto protocolario ya que su significado debe entenderse  como juicio público que otorga la comunidad tanto a la tesis presentada como a la formación científica del propio doctorando. Sin embargo este enfoque no suele ser el habitual ya que la defensa de las tesis se considera un acto más social que científico. 

   Tampoco existe una normativa precisa sobre el procedimiento para emitir la calificación de una tesis. Al margen de los comentarios y críticas – más o menos oportunas – realizadas por los miembros de los tribunales las calificaciones no suelen ser discriminativas. Los datos obtenidos a través de otros trabajos (De Miguel, 2010) reflejan una distribución atípica de las calificaciones otorgadas ya que la mayoría de las tesis obtienen la máxima calificación dato que debería ser objeto de revisión.  Desde nuestro punto de vista el problema radica en el que las universidades no requieren a los tribunales juicios precisos utilizando protocolos detallados en los que se recojan todas  las cuestiones que es necesario evaluar sobre una tesis. Ello determina que en la práctica la mayoría de los informes se elaboren de forma muy genérica eludiendo los aspectos más críticos. En ocasiones, se emite el informe una vez acordada la calificación para evitar contradicciones. De ahí la conveniencia de que los juicios sobre  cada uno de los criterios a considerar se formulen mediante un sistema de escalas o rangos cuantitativos y cualitativos dada su utilidad a la hora de tomar las decisiones sobre la calificación.  

  En resumen consideramos que el proceso de evaluación de una tesis debe ser reconducido tanto en lo que respecta al procedimiento para nombrar a los miembros que formarán el tribunal con el fin de lograr la máxima idoneidad e independencia  como introduciendo criterios de racionalidad en los protocolos de evaluación a utilizar para elaborar los informes preceptivos sobre las tesis en la fases de tramitación y defensa. La utilización de protocolos donde los criterios se presenten de forma objetiva mediante escalas cuantitativas y/o cualitativas permitiría un mayor ajuste entre las valoraciones y las calificaciones otorgadas - corrigiendo así la distribución atípica que actualmente existe - y facilitaría la elaboración de informes razonados caso de que se detecten deficiencias. 

4.- Evaluación de las publicaciones derivadas de las tesis   

   Ya hemos señalado que es necesario efectuar una evaluación a posteriori sobre las tesis con el fin de estimar  su contribución real al conocimiento científico y a la resolución de problemas prácticos, para lo cual  resulta necesario efectuar un seguimiento  a lo largo del tiempo de las aportaciones y aplicaciones derivadas de la misma mediante publicaciones, patentes, protocolos, ponencias y proyectos. Aunque esta evaluación sobre el impacto de una tesis no es una tarea fácil debería considerarse como un objetivo prioritario a tener en cuenta ya que es el criterio fundamental a la hora de proceder al reconocimiento científico de la labor desarrollada tanto por los autores como por los directores de las tesis con motivo de la concesión de premios extraordinarios, adjudicación de proyectos, becas u otros méritos. También es importante  esta evaluación sobre las aportaciones de las tesis  a efectos  de consolidar los sistemas de garantía y aseguramiento de la calidad de los estudios de doctorado (De Miguel, 2010). 

   No obstante, algunos autores consideran que esta evaluación sobre el impacto debe ser tenida en cuenta en el acto de la defensa  en la medida que partes esenciales de la misma hayan sido publicadas o estén aceptadas para su publicación en revistas de prestigio. Igualmente  consideran necesario valorar  la difusión realizada de los hallazgos obtenidos a través de las comunicaciones presentadas en congresos, seminarios impartidos  o invitaciones procedentes de centros nacionales y extranjeros (Sánchez Rodríguez, 2002). Con esta finalidad se solicita al doctorando que adjunte su currículum en el acto de defensa para que el tribunal pueda estimar la repercusión que ha tenido la tesis hasta la fecha y el impacto que cabe esperar en el futuro. Procede, por tanto, efectuar en el momento de la defensa una primera valoración sobre el impacto de las tesis aunque lógicamente este tipo de evaluación debería efectuarse de forma sistemática sobre todas las tesis después de un periodo determinado de tiempo (ej. cinco años).  

  Entre los posibles medios para difundir las aportaciones de una tesis el canal más inmediato son las publicaciones científicas, considerando como tales “aquellas que constituyen una contribución real al progreso del conocimiento científico o al desarrollo técnico y que han sido difundidas a través de un medio adecuado dentro de la comunidad científica” (De Miguel, 1997). Conviene resaltar que una publicación para que pueda ser considerada científica debe contribuir al progreso del conocimiento sobre una disciplina o problema social y tiene que ser difundida a través de un medio que está sometido al control interno de expertos de forma anónima e independiente. De esta forma el Comité Científico del medio utilizado – revista, editorial, etc. – es quien avala la calidad de un trabajo para su publicación. De ahí que no todas las publicaciones tienen la misma relevancia científica.  

  En el campo de las Ciencias Sociales y de la Educación se valoran preferentemente las aportaciones publicadas en revistas de reconocido prestigio, aceptando como tales las que ocupan posiciones destacadas en bases de datos como el Journal Citation Report del Social Sciences Citation Index (Institute of Scientific Information, Philadelphia, PA, USA). El indicador utilizado por este organismo para estimar la calidad de una publicación es el "factor de impacto" que se construye a partir de la media de citas que recibe una publicación en una revista determinada. Se calcula por años contando el número de citas por año de una publicación en una determinada revista utilizando para su cálculo los dos años anteriores. Se admite que, cuanto mayor es ese factor de impacto mayor es la calidad de una publicación (De Miguel, 1997). 

  La utilización de este indicador, muy reconocido y utilizado en las áreas científicas, genera dificultades a la hora de aplicarlo al campo de las ciencias sociales y de la educación dadas las peculiaridades de la investigación en este campo, la diversidad de publicaciones existentes y la carencia de bases de datos especializadas e informatizadas. Aunque últimamente hemos avanzado mucho en esta línea, dado que actualmente ya contamos con algunas bases que recogen las publicaciones en el ámbito de la educación, debemos reconocer que aún estamos lejos de lo que sucede en otros ámbitos científicos en los que todo el mundo sabe cuáles son las bases de datos y publicaciones de prestigio y qué requisitos debe tener un trabajo para que sea aceptada su publicación. 

  Debido las dificultades que  genera la utilización de este indicador actualmente se emplean  otros que también nos pueden ofrecer una estimación sobre la calidad de una tesis. Entre estos procede señalar los siguientes: número total de trabajos derivados de la tesis (Np), número total de citas a trabajos de la tesis (Nc), citas por trabajo o ratio entre Nc y Np, número de trabajos significativos (Ns),  número de citas a los trabajos más citados (Cq), número de trabajos que tienen al menos una cantidad de citas igual o superior a dicho número (Índice h de Hirsch). Todos ellos nos permiten en mayor o menor grado evaluar la calidad de una publicación y  pueden ser igualmente utilizados con los trabajos derivados de una tesis. 

   Finalmente queremos decir que, aunque existen otros medios a través de los cuales podemos estimar el impacto generado por una tesis  en el ámbito de la investigación, lo verdaderamente importante es  su contribución a la construcción de conocimientos que permitan intervenir y resolver problemas, en nuestro caso educativos. Por ello no se puede aceptar que en muchas tesis no exista una intencionalidad declarada de proceder a su publicación. Lamentablemente buena parte de lo que se denomina literatura gris en las ciencias sociales y de la educación está formada por tesis inéditas. Actualmente con los soportes digitales y los recursos que ofrece Internet las posibilidades de difusión y accesibilidad a las tesis han aumentado considerablemente aunque se generen otros problemas (propiedad intelectual, derechos de autor, etc.) que  será necesario resolver (Moralejo Álvarez, 2000; Merlo Vega y Sorli Rojo, 2002; Orea, 2003).  

5.- Propuesta de un modelo para evaluar tesis doctorales 

   Una vez que hemos analizado los distintos informes que conlleva  la evaluación de una tesis doctoral procede avanzar la propuesta de un modelo que pueda constituir marco de referencia para el trabajo a realizar por los evaluadores en los diferentes  momentos o etapas de este proceso. Con esta finalidad hemos elaborado  un modelo comprensivo que incluye las principales cuestiones que deben tener en cuenta los evaluadores a la hora formular sus  juicios  sobre las tesis doctorales. Nuestro propósito ha sido construir un instrumento que puede constituir, de una parte, una guía que recoja las principales cuestiones que deben ser objeto de análisis y valoración y, de otra, una herramienta que permita plasmar y contrastar las valoraciones cuantitativas y cualitativas que se formulan al respecto los distintos evaluadores. En todo caso queremos dejar constancia que consideramos nuestro modelo como una  propuesta  abierta que cada evaluador deberá adaptar en cada caso. 

   Para la elaboración del modelo hemos utilizado como marco teórico de referencia literatura específica sobre elaboración de tesis doctorales (Alcina, 1994; Sierra, 1999; Blaxter, L., Hughes, C. y Tight, M., 2000, López Yepes, J., Fernández Bajón, M.T. y Prat, J., 2005, Úriz y otros, 2006)), así como algunas propuestas concretas realizadas recientemente por otros investigadores de campos afines (López Yepes y otros 2008). Como procedimiento hemos utilizado una técnica sencilla: plantear algunas de las preguntas o interrogantes que debe formular el evaluador  sobre los aspectos o cuestiones básicas que debe reunir una tesis como trabajo científico especificando en cada caso los criterios de evaluación que utilizamos para emitir los juicios de valor.  

5.1.- Criterios para la evaluación del informe sobre la tesis  

   Cuando un evaluador se encuentra ante un informe de tesis las preguntas que lógicamente se debe formular para proceder a su valoración son muy sencillas y se concentran sobre las cuatro grandes dimensiones o apartados que se deben especificar de forma precisa en este tipo de trabajos: la definición del problema, la especificación de la metodología de investigación, el análisis de los resultados y la adecuación del informe que se presenta como tesis. Sobre cada una de estas dimensiones deberá emitir su valoración utilizando para ello los criterios de evaluación propios de los trabajos científicos. 

            A.- El problema objeto de la investigación.- 

1.     Preguntas: ¿cuál es el problema que es objeto de la investigación? ¿reúne las características necesarias para ser objeto de una investigación científica? ¿está formulado de forma adecuada y clara? ¿se específica correctamente la hipótesis y objetivos? ¿es original? ¿enlaza con los conocimientos disponibles hasta el momento? ¿se ha efectuado una buena revisión de la literatura? ¿está actualizada? ¿la teoría en la que se fundamenta tiene consistencia interna y externa? ¿se puede comprobar? ¿es pertinente realizar este tipo de investigación en este momento y en este contexto? ¿se encuadra dentro  del programa de doctorado y las líneas de trabajo del  grupo de investigación? ¿es relevante? ¿aborda un problema importante desde el punto de vista científico?, etc. 

2.     Criterios de evaluación: claridad, originalidad, pertinencia y  relevancia del problema.     

B.- Metodología de investigación utilizada.- 

1.     Preguntas: ¿qué metodología de investigación se utiliza? ¿es coherente con los objetivos?  ¿es oportuna? ¿es la más adecuada en este momento y contexto? ¿se especifican todos los pasos de forma correcta? ¿se cuestiona la utilización de métodos alternativos? ¿cómo han sido seleccionadas las muestras? ¿los instrumentos utilizados reúnen las condiciones necesarias? ¿se utilizan adecuadamente las técnicas de análisis? ¿presenta métodos o técnicas novedosas? ¿se ha aplicado de forma parsimoniosa?¿ ¿se presentan todos los datos necesarios que justifican las conclusiones? ¿presenta índices adecuados de fiabilidad y validez de los resultados? ¿es replicable el trabajo?, etc. 

2.     Criterios de evaluación: metodología adecuada, correcta, parsimoniosa y replicable. 

           C.- Análisis de los Resultados.-  

1.     Preguntas: ¿qué resultados aporta la tesis? ¿se presentan adecuadamente? ¿se justifican a partir de los datos obtenidos? ¿son comprensibles? ¿existe algún tipo de sesgo? ¿son significativos para el progreso del conocimiento? ¿son novedosos? ¿reafirman o contradicen conocimientos previos? ¿pueden ser útiles? ¿son transferibles? ¿se exponen de forma crítica? ¿se avanza otras cuestiones  a investigar? ¿procede su difusión?, etc. 

2.     Criterios de evaluación: resultados comprensibles, significativos, novedosos y útiles. 

            D.-  Aspectos formales del Informe.-  

1.     Preguntas: ¿el informe de tesis reúne las condiciones necesarias como trabajo científico? ¿se presentan las cuestiones de forma clara? ¿es riguroso? ¿está bien redactado? ¿utiliza un estilo adecuado? ¿se entienden bien todos los datos que se incluyen? ¿se especifican las fuentes con claridad? ¿está bien documentado? ¿incluye referencias actualizadas? ¿se ajusta a las normas sobre trabajos científicos?, etc. 

2.     Criterios de evaluación: claridad del informe, rigor en el contenido, documentación  adecuada y ajustado a  las normas científicas. 

5.2.- Criterios para evaluar la  exposición y defensa de la tesis 

   Como ya hemos avanzado, los miembros de los tribunales de las tesis también deberán evaluar la exposición y defensa que realiza el doctorando durante el acto organizado con tan fin. Las preguntas y criterios que procede utilizar para realizar esta evaluación son los siguientes:  

1.     Preguntas: ¿ha expuesto de forma clara y comprensible el contenido de su trabajo para el público asistente al acto? ¿ha centrado su intervención sobre los aspectos fundamentales del mismo? ¿los medios técnicos utilizados han contribuido eficazmente a la exposición? ¿el doctorando ha sido receptivo ante las críticas, observaciones y sugerencias pertinentes formuladas? ¿ha contestado de todas las cuestiones importantes teóricas y metodológicas planteadas en relación con su trabajo? ¿sus respuestas han sido adecuadas y correctas?, etc. 

2.     Criterios de evaluación: Claridad en la exposición del trabajo y adecuación de la defensa realizada. 

5.3.- Criterios relativos al impacto de la tesis 

   Aunque ya hemos dicho que la evaluación del impacto generado por una tesis debe ser evaluada después de un periodo de tiempo, en el momento del acto de la defensa podemos utilizar  algunos indicadores que ya permiten avanzar juicios respecto a las aportaciones al conocimiento científico que cabe esperar del trabajo realizado. De ahí que proceda efectuar una evaluación inicial sobre el impacto de la tesis en estos términos: 

1.     Preguntas: ¿ha tenido algún tipo de proyección hasta la fecha el trabajo realizado? ¿se han generado a partir de la tesis nuevas líneas y proyectos de investigación? ¿aporta metodologías de interés para los investigadores? ¿impacto en la comunidad del trabajo realizado? ¿tipo de publicaciones efectuadas? ¿presentaciones en Congresos y Seminarios? ¿invitaciones recibidas? ¿difusión de la tesis en la comunidad científica?, etc. 

2.     Criterios de evaluación: Proyección en el ámbito de la investigación e impacto de las aportaciones en la comunidad científica.  

   De acuerdo con todo lo anterior hemos elaborado los protocolos que se incluye en el anexo en el que se presentan de forma práctica las dimensiones y criterios que consideramos deben tener en cuenta los evaluadores de las tesis para emitir su valoración personal. En ellos se especifican los criterios que hemos señalado como oportunos para la elaboración del informe previo a la tramitación tanto por los evaluadores externos como por los miembros del tribunal nombrado al efecto (I),  los relativos a la exposición y defensa de la tesis por el doctorando en el acto público (II) y los que se pueden utilizar en una primera valoración sobre el impacto previsible  del trabajo realizado (III), aunque lógicamente éstos últimos deberán ser desagregados y matizados en función de la finalidad que justifica en cada caso una evaluación a posteriori de una tesis. Proponemos a su vez una doble escala de valoración -cuantitativa y cualitativa-  sobre los veinte criterios establecidos ya que consideramos facilita  la formulación del juicio global sobre la tesis, la propuesta sobre la calificación a otorgar y la elaboración de los informes preceptivos.  

   El protocolo que adjuntamos para la elaboración del informe (IV) – especialmente la tabla resumen- puede resultar útil para el intercambio y diálogo entre los miembros del tribunal en el momento de establecer la valoración conjunta y  determinar si procede  su aprobación y, en su caso, la calificación oportuna. Tal como establece la norma "el tribunal emitirá un informe y la calificación global a la tesis de acuerdo con la siguiente escala: no apto, aprobado, notable y sobresaliente. El tribunal podrá otorgar la mención < cum laudem> si la calificación global es de sobresaliente y se emite en tal sentido el voto por unanimidad" (art. 21.7). Consideramos que la utilización de escalas como la que aquí presentamos contribuye a introducir criterios de racionalidad en las evaluaciones de las tesis y, de manera especial, en los procesos de toma de decisiones sobre las calificaciones. 

   Finalmente queremos insistir en que el modelo que presentamos constituye un protocolo abierto a la comunidad científica  que puede ser objeto de discusión y mejora añadiendo o matizando los  aspectos y criterios establecidos. Como en todo trabajo personal somos conscientes de sus limitaciones pero entendemos que puede constituir una propuesta inicial para la construcción de una herramienta útil y práctica para el objetivo que nos ocupa. La utilización de la tabla resumen que adjuntamos de forma ponderada puede contribuir eficazmente a ello. No obstante  serán los evaluadores y miembros de los tribunales quienes juzgarán si los criterios establecidos son oportunos en la medida que  facilitan su tarea a la hora de formular observaciones y juicios sobre la tesis y, en consecuencia, tomar decisiones  sobre la calificación pertinente.  

Referencias

Alcina, J. (1994). Aprender a investigar: métodos de trabajo para la redacción de tesis doctorales (Humanidades y Ciencias Sociales). Madrid: Compañía Literaria.

Blaxter, L., Hughes, C. y Tight, M. (2000). Cómo se hace una investigación. Barcelona: Gedisa.

Carreras Panchón, A. (Coord.) (1994). Guía práctica para la elaboración de un trabajo científico. Bilbao: CITA, Publicaciones y Documentación.

De Miguel, M. (1997). La evaluación de la actividad investigadora del profesorado en el ámbito de las ciencias de la educación. Revista de Investigación Educativa, 15 (1), 171-186.

De Miguel, M. (2010). La evaluación y mejora de los estudios de doctorado. Revista de Educación, 352, 569-581.

Desantes, J. y López Yepes, J. (1996). Teoría y técnica de la investigación científica. Madrid: Síntesis.

García de la Fuente, O. (1994). Metodología de la investigación científica. Madrid: Ediciones CEES.

López Yepes, J., Fernández Bajón, M.T. y Prat, J. (2005). Las tesis doctorales: Producción, evaluación y defensa. Madrid: Fragua.

López Yepes, J., Fernández Bajón, M.T., Orera, L., Sánchez Vigil, J.M., Martínez Montalvo, E., Hernández Pacheco, F., Prat, J. y Sanchez, C.M. (2008). Criterios para la evaluación de tesis doctorales. Revista General de Información y Documentación, 18, 295-322.

Merlo Vega, J, y Sorli Rojo, A. (2002). Bases de datos y recursos en Internet sobre tesis doctorales. Revista española de documentación científica, 25 (1), 95-106.

Ministerio de Educación y Ciencia. Real Decreto 1393/2007, de 29 de octubre, por el que se establece la ordenación de las enseñanzas universitarias oficiales. (BOE, 30 de Octubre 2007, núm. 260, 44.037-44.048)

Moralejo Álvarez, M. (2000). Las tesis doctorales de las universidades españolas: control bibliográfico y acceso. Revista General de Documentación e Información, 10 (1), 235-243.

Orea, L. (2003). La edición digital de tesis doctorales: hacia la resolución de problemas de accesibilidad. Revista interamericana de Bibliotecología, 26 (1), 11-35.

Sierra Bravo, R. (1999). Tesis doctorales y trabajos de investigación científica (5ª edición). Madrid: Paraninfo.

Sánchez Rodríguez, E. (Coord).  (2002). Estudios de tercer ciclo en España. Programas de doctorado, tesis doctorales, indicadores de calidad del tercer ciclo. MEC/ Dirección General de Universidades, Programa Estudios y Análisis.

Úriz, Mª J., Ballestero, A., Viscarret, J.J. y Ursúa, N. (2006) Metodología para la investigación. Pamplona: Ediciones, Eunate.

Valcárcel, M. (Direct.) (2002). El doctorado en las universidades españolas. Situación actual y propuestas de mejora. Cordoba: MEC/Dirección General de Universidades, Programa Estudios y Análisis.


NOTAS

[1] Recientemente (Marzo de 2010) la Secretaria General de Universidades del Ministerio de Educación de España ha difundido un borrador relativo a un Proyecto de Real Decreto para regular las enseñanzas oficiales de Doctorado. Aunque el texto aún no es definitivo la normativa específica a evaluación y defensa de la tesis no aporta grandes novedades salvo la propuesta de que la mención de “cum laude” no supere anualmente el 20% de las tesis defendidas.


ANEXO 1

 

I.- PROTOCOLO PARA  EVALUAR EL INFORME SOBRE LA TESIS

 

CRITERIOS

PREGUNTAS

1[2]

2

3

4

VALORACIONES

A: El problema objeto de la investigación

Claridad

¿Cuál es el problema objeto de la investigación? ¿Reúne las características necesarias para ser objeto de una investigación científica? ¿Está formulado de forma adecuada y clara? ¿Se especifica correctamente la hipótesis y objetivos? ¿Tiene una buena fundamentación teórica?, etc.

 

 

 

 

 

Originalidad

¿Es original? ¿Son adecuadas las fuentes de información y documentación utilizadas? ¿Se ha efectuado una buena revisión crítica de la literatura? ¿Está actualizada? ¿Enlaza con los conocimientos disponibles hasta el momento? ¿Utiliza métodos de análisis novedosos?,etc.

 

 

 

 

 

Pertinencia

¿Es pertinente realizar este tipo de investigación en este momento? ¿Responde a necesidades del contexto social? ¿Se inscribe dentro de las líneas del programa de doctorado y/o grupo de investigación? etc.

 

 

 

 

 

Relevancia

 ¿Es relevante? ¿Constituye un problema importante a resolver en el ámbito educativo? ¿Se justifica adecuadamente? ¿Se espera que aporte conocimientos útiles? ¿Responde a demandas importantes de la comunidad científica?, etc.

 

 

 

 

 

 

 

CRITERIOS

PREGUNTAS

1

2

3

4

VALORACIONES

B: Metodología de investigación utilizada

      Adecuación       metodológica

¿Qué metodología de investigación se utiliza? ¿Existe coherencia entre el marco teórico y el metodológico?  ¿Se justifica adecuadamente? ¿Es la más coherente para lo que se pretende hacer? ¿Introduce alguna aportación novedosa?,etc.

 

 

 

 

 

      Coherencia del  diseño

¿El diseño, las variables, las muestras, los procedimientos de recogida de información y las técnicas de análisis de datos se exponen de forma detallada y adecuada? ¿Se especifican todos los pasos de forma correcta? ¿Los instrumentos presentan índices razonables de fiabilidad y validez?,etc.

 

 

 

 

 

   Aplicación

   parsimoniosa

¿Se ha aplicado la metodología de forma parsimoniosa? ¿Se especifica paso a paso el proceso investigador? ¿Son rigurosos los procesos de análisis de los datos? ¿Se presentan todos los datos necesarios que justifican las conclusiones?,

etc.

 

 

 

 

 

   Replicabilidad   metodológica

¿Es replicable? ¿El diseño y procedimientos utilizados pueden ser replicados con otros proyectos? ¿Existen otros trabajos que pueden ser utilizados como réplicas? ¿Se citan estos trabajos?,etc.

 

 

 

 

 

  

 

CRITERIOS

PREGUNTAS

1

2

3

4

VALORACIONES

C: Análisis de los Resultados

 Comprensibilidad

¿Qué resultados y conclusiones aporta la tesis? ¿Se presentan de forma adecuada? ¿Son comprensibles? ¿Se justifican a partir de los datos obtenidos? ¿Responden a las hipótesis y objetivos planteados? ¿Existen discrepancias entre las conclusiones?,etc.

 

 

 

 

 

 

    Significación

 

¿Son importantes para el progreso del conocimiento? ¿Reafirman o contradicen conocimientos previos? ¿Contribuyen a la resolución de problemas específicos?,etc.

 

 

 

 

 

  Novedad

¿Son novedosos desde el punto de vista teórico y metodológico? ¿Se presentan de forma crítica? ¿Cuáles son las limitaciones del estudio? ¿Se avanza otras cuestiones pendientes a investigar?,etc.

 

 

 

 

 

   Utilidad

¿Pueden ser útiles? ¿Para quiénes pueden ser útiles? ¿Se presentan avales al respecto? ¿Procede su difusión? ¿Se efectúan propuestas y recomendaciones de aplicación inmediata?,etc.

 

 

 

 

 

 

 

CRITERIOS

PREGUNTAS

1

2

3

4

VALORACIONES

D: Aspectos formales del Informe

Claridad

 

¿Tiene una estructura adecuada? ¿Se presentan los contenidos de forma clara? ¿Está bien escrito el informe? ¿Utiliza un estilo adecuado? ¿Se entienden bien todos los datos, cuadros tablas y gráficos que se incluyen?,etc.

 

 

 

 

 

Rigor

¿Existe coherencia interna entre la parte teórica y la práctica? ¿Utiliza un discurso lógico? ¿El informe es riguroso? ¿Está elaborado de forma sistemática? ¿Se utiliza el lenguaje científico?,etc.

 

 

 

 

 

 Calidad de la           documentación

 

¿Está bien documentado? ¿Se especifican las fuentes utilizadas? ¿Incluye referencias actualizadas? ¿Las citas y referencias son pertinentes? ¿Se ajustan al texto?,etc.

 

 

 

 

 

Ajuste a normas científicas

 

¿El informe tiene una presentación formal adecuada? ¿La tesis reúne las condiciones necesarias como trabajo científico? ¿Su redacción se ajusta a las normas sobre trabajos científicos? ¿Es publicable?,etc.

 

 

 

 

 

 

II.- PROTOCOLO PARA  EVALUAR LA EXPOSICIÓN Y DEFENSA DE LA TESIS

 

CRITERIOS

PREGUNTAS

1

2

3

4

VALORACIONES

E: Evaluación de la Exposición y Defensa Pública

Claridad en la exposición

¿Ha expuesto de forma clara y comprensible el contenido de su trabajo para el público asistente? ¿Ha insistido sobre los aspectos fundamentales del mismo? ¿Los medios técnicos utilizados han contribuido eficazmente a la exposición realizada?,etc.

 

 

 

 

 

Adecuación de la defensa

¿El doctorando ha manifestado receptividad ante las críticas y observaciones pertinentes realizadas por el tribunal? ¿Ha contestado a todas las cuestiones teóricas y metodológicas planteadas en relación con su trabajo? ¿Sus respuestas han sido adecuadas y correctas?, etc.

 

 

 

 

 

 

III.- PROTOCOLO PARA  EVALUAR EL IMPACTO DE LA TESIS

 

CRITERIOS

PREGUNTAS

1

2

3

4

VALORACIONES

F: Evaluación del Impacto

Proyección en el ámbito de la investigación

¿Se proponen nuevas líneas de  investigación en torno al problema objeto de estudio? ¿Aporta metodologías  interesantes para los investigadores? ¿La tesis ha tenido proyección en otros proyectos e investigaciones? ¿Ha generado o puede generar modelos o herramientas valiosas para utilizar en otros proyectos?, etc.

 

 

 

 

 

Aportaciones al conocimiento científico

¿Se ha efectuado algún tipo de difusión del trabajo realizado a nivel científico: publicaciones, seminarios, comunicaciones, etc.? ¿Existe intencionalidad de su publicación? ¿Ha generado algún tipo de modelo o patente? ¿Qué impacto cabe esperar de las aportaciones de la tesis?, etc.

 

 

 

 

 

 

RESUMEN

IV. PROTOCOLO PARA ELABORAR EL INFORME SOBRE LA TESIS 

DATOS DE LA TESIS DOCTORAL

Título

 

Autor

 

Director

 

Departamento

 

Universidad

 

  

DATOS DEL EVALUADOR

Nombre

 

Institución

 

Nombramiento[3]

 

 


 

 

DIMENSIONES A EVALUAR

PUNTUACIÓN

VALORACIONES

VALORACIÓN DE LA TESIS

A: El problema objeto de la investigación

 

 

B: Metodología de investigación utilizada

 

 

C: Análisis de los Resultados

 

 

D: Aspectos formales del Informe

 

 

E: Evaluación de la Exposición y Defensa Pública

 

 

F: Evaluación del Impacto

 

 

CALIFICACIÓN GLOBAL

 

 

 

OBSERVACIONES Y COMENTARIOS : __________________________________________________________________

 

Fecha y Firma:

 

 


NOTAS DEL ANEXO


[2] 1= Deficiente                  2= Suficiente                     3= Bueno                           4= Superior

[3] Indicar si es interno o externo al Departamento/Universidad en la que se presenta la Tesis Doctoral. Si es miembro o no del Tribunal propuesto y, en caso de serlo, el cargo que ocupa.


ABOUT THE AUTHORS SOBRE LOS AUTORES

de-Miguel, Mario (mario@uniovi.es): Catedrático de Métodos de investigación en educación de la Universidad de Oviedo. Está integrado en el área de Métodos de investigación y diagnóstico en educación (MIDE). Su dirección postal es: Departamento de Ciencias de la Educación. C/ Aniceto Sella s/n. 33005-Oviedo (España). Buscar otros artículos de este autor en Google Académico / Find other articles by this author in Scholar Google

 


ARTICLE RECORD / FICHA DEL ARTÍCULO

Reference /

Referencia

de-Miguel, Mario (2010). La evaluación de tesis doctorales. Propuesta de un modelo.  RELIEVE, v. 16,  n. 1. http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htm 

Title / Título

La evaluación de tesis doctorales. Propuesta de un modelo. [The evaluation of doctoral thesis. A model  proposal].

Authors / Autores

  de-Miguel, Mario

Review / Revista

RELIEVE  (Revista ELectrónica de Investigación y EValuación Educativa / E-Journal  of  Educational  Research, Assessment  and  Evaluation), v. 16, n. 1.

ISSN

1134-4032

Publication date /

Fecha de publicación

 2010  (Reception Date:  2009 September 16; Approval Date: 2010 April 20; Publication Date: 2010 April 20).

Abstract / Resumen

   The aim of this work is the development of a model that can be used as a framework for evaluators and PhD tribunal members, either during the previous administrative processing phase or at the actual exposition and viva on doctoral dissertations. To this end, once reviewed the existing literature and normative, a new proposal is laid out on the main aspects and criteria to be analysed and assessed from any given scientific work, thus introducing a tool that facilitates and specifies this work. Our model is intended to be an open proposal on which we would welcome any contribution and suggestion.

   El objetivo del presente trabajo es la elaboración de un modelo que pueda ser utilizado como marco de referencia por los evaluadores y miembros de tribunales de las tesis doctorales tanto en la fase previa a la tramitación administrativa como en el acto de exposición y defensa de la misma. Para ello, una vez revisada la literatura y la normativa vigente al respecto, efectuamos una propuesta sobre los principales aspectos y criterios que deben ser objeto de análisis y valoración en todo trabajo científico, y presentamos una herramienta que facilita y precisa esta tarea. Nuestro modelo constituye una propuesta abierta sobre la que esperamos aportaciones y sugerencias.

Keywords / Descriptores

 Doctoral thesis,  Doctoral dissertations evaluation, doctoral thesis quality, doctoral dissertations evaluation model.

 Tesis doctoral, evaluación de tesis doctorales, calidad de las tesis doctorales, modelo de evaluación de las tesis doctorales

Institution / Institución

Departamento de Ciencias de la Educación, Universidad de Oviedo - (España).

Publication site / Dirección

http://www.uv.es/RELIEVE 

Language / Idioma

Español & English version (Title, abstract and keywords in English & Spanish)

 

Volumen 16, n. 1

 

© Copyright, RELIEVE.  Reproduction and distribution of this article  is authorized if the content is no modified and its origin is indicated (RELIEVE Journal, volume, number and electronic address of the document).

© Copyright, RELIEVE.  Se autoriza la reproducción y distribución de este artículo siempre que no se modifique el contenido y se indique su origen (RELIEVE, volumen, número y dirección electrónica del documento).

[ ISSN: 1134-4032 ]

Revista ELectrónica de Investigación y EValuación Educativa

E-Journal  of  Educational  Research, Assessment  and  Evaluation

 

  http://www.uv.es/RELIEVE

 relieve@uv.es

Statistics  Free counter and web stats  Estadísticas