LA NOTICIA

El conocimiento es la base del pesimismo; y el sentido crítico, la maldición del lúcido. Viajar es conocer, sobre todo cuando se hace libre de prejuicios, pues solo entonces te impregnas de realidades distintas de la propia. También te hace dolorosamente crítico.

Lo poco que he viajado me ha permitido conocer universidades excelentes y, por comparación ineludible, comprender cuán bajo es el nivel de las universidades españolas -con escasas y honrosas excepciones. Por eso, me ha sorprendido sobremanera la noticia que mi universidad, la Universidad Politécnica de Madrid (UPM), publicó el 29/07/2010 en su web (véase la figura 1). El título de la noticia era La UPM, entre las mejores universidades en el Ranking Web. La primera línea del texto afirma que

"la UPM se afianza como una de las universidades más prestigiosas del mundo" (sic).

Figura 1: la noticia.

¿Del mundo? Me froté los ojos con violencia, dada la mayúscula incredulidad, y volví a leer, esta vez, sí, con profunda atención. La frase, terca, estaba allí, erecta como un roble. Me froté los ojos de nuevo, pero solo conseguí que me saliesen chiribitas. Ya nada veía, pero mi sentido crítico y mi experiencia me decían que estaba delante de un monumento a la fantasía.

La noticia en cuestión provenía de una clasificación ^[1] publicada por la revista digital Cybermetrics del CSIC. Según esa clasificación, la UPM ocupa el lugar 184. Ese número, tan sospechosamente alto, y mi experiencia en la UPM durante 20 años me decían que había gato encerrado, que algo olía mal.

 

CLASIFICACIÓN DE LAS UNIVERSIDADES

La cuestión de la clasificación de las universidades es a la vez delicada y compleja. Delicada por las implicaciones académicas subyacentes, porque debería haber un sistema de clasificación lo más objetivo y consensuado posible; pero ese no es el caso. Compleja, por la identificación de los factores relevantes y su peso.

Se pueden encontrar en la bibliografía especializada varias medidas para producir clasificaciones. Haremos un breve repaso de las más importantes.

La clasificación ARWU

ARWU es el Academic Ranking of World Universities, una clasificación publicada por Shanghai Ranking Consultancy ^[2]. Los creadores de la metodología de clasificación ARWU fueron Liu y Cheng [LC]. Las variables y pesos de esta clasificación se pueden ver en la tabla de abajo:

INDICADOR	PESO
Premios Nobel y medallas Field obtenidos por los alumnos	10%
Premios Nobel y medallas Field obtenidos por los profesores	20%
Investigadores más citados	20%
Artículos publicados en Science y Nature	20%
Indice de citas en ciencias y ciencias sociales	20%
Rendimiento académico	10%

La clasificación ARWU se publicó en 2005 e inicialmente fue acogida con entusiasmo, quizás porque fue la primera (véase [W] y las referencias mencionadas ahí). No cabe duda de que algunas variables de la clasificación ARWU son arbitrarias y hasta irrelevantes. ¿Es el número de profesores premios Nobel un indicador de la excelencia de una universidad? ¿Qué pasa cuando una universidad contrata a un premio Nobel que lo ganó hace 15 años? De golpe, esa universidad sube en la clasificación. ¿Y si la UPM contrata a un premio Nobel? Aún más, ¿por qué es relevante publicar en Science y en Nature? En otros campos las revistas importantes no son esas. Estas objeciones constituyen defectos metodológicos graves de la clasificación. Quizás lo más preocupante es el artículo publicado en la revista Scientometrics por Razvan [Raz], quien no pudo reproducir los resultados de la clasificación ARWU a partir de los datos.

En esta clasificación la UPM no aparece en ningún lugar.

No aparece en la clasificación general, que comprende 500 universidades, ni en la específica de ingeniería, que está formada por las 100 mejores universidades.

La clasificación de TIMES HIGHER EDUCATION

La revista inglesa de educación Times Higher Education publica anualmente una clasificación de universidades (la THE). Su metodología es más elaborada y equilibrada que la de ARWU. Se definen 13 indicadores que entran en las siguientes categorías:

1. Docencia, con medidas relativas a la reputación de la facultad, premios recibidos, número de matriculados, etc.; tiene un 30% de peso.
2. Investigación, medida por el volumen, resultados y reputación. Tiene un 30% de peso.
3. Citas, esto es, influencia de la investigación, con el 32,5%.
4. Ingresos por proyectos con empresas (innovación y transferencia de conocimiento), con un 2,5%.
5. Presencia internacional, tanto de alumnos como de profesores, con un 5%.

En el gráfico de abajo, tomado de la página web de la revista, se muestran las variables y los pesos detallados de la fórmula de clasificación.

Figura 1: la clasificación THE.

Para algunos indicadores, como la reputación en la docencia, se realizaron encuestas. El uso de las encuestas ha creado polémica, pues pueden acarrear sesgos indeseables con demasiada facilidad.

Entonces:

La UPM no aparece en la clasificación de 2010 ni en las 200 primeras mundiales, ni en la clasificación de las universidades europeas.

Las únicas universidades españolas que aparecen en esta clasificación son la Universidad de Barcelona (puesto 142, con 52,1 puntos) y la Pompeu Fabra (puesto 155, con 51,1 puntos).

La clasificación QS

Quacquarelli Symonds (QS) es una compañía que se dedica a la educación y, en particular, a organizar estudios en el extranjero. Las razones por las que esta compañía publica su clasificación son obvias. La fórmula de QS está compuesta por cinco factores, a saber:

1. Actividad académica evaluada por iguales, con un peso del 40%. Se usa un sistema de encuestas, que ha generado bastante controversia, para determinar las mejores universidades del mundo.
2. Evaluación de los empleadores, con un peso del 10%. Con una metodología similar al punto anterior, se obtiene información de los empleadores de universitarios.
3. Proporción profesores/alumnos, con un peso del 20%.
4. Número de citas de investigación por profesor, con un peso del 20%.
5. Carácter internacional de la universidad, con un peso del 10%.

Esta clasificación ha sido bastante contestada, especialmente por el sistema de encuestas y por los pesos en sí mismos (muchas críticas vienen del alto peso que recibe la evaluación de la actividad académica).

En esta clasificación de 500 universidades la UPM no aparece en ningún lugar.

Otras clasificaciones

Otras clasificaciones se basan en distintos criterios que normalmente son más limitados en su alcance y metodología. Por ejemplo, el factor G cuenta el número de enlaces desde otras universidades. El recuento se hace a través del motor de búsqueda de Google. Obviamente, la clasificación es muy restringida y da resultados muy limitados. Otro indicador es el HEEACT, que está especializado en la clasificación de universidades de acuerdo al número y calidad de los artículos de investigación. Un indicador similar a éste es el RPI, que extrae sus resultados de la exploración de la base de datos Scopus.

La clasificación web de Cybermetrics

Por último, vamos a la clasificación web que aupó a la UPM al puesto 184. Según el artículo original de Aguillo y coautores [AOFU], la clasificación se basa en indicadores obtenidos a partir de los documentos publicados por las universidades en sus páginas web. Trata de emular el factor de impacto de las revistas tradicionales, pero en términos de la presencia web. Los autores, muy honestamente, reconocen que su trabajo es todavía preliminar. Entre otras dificultades, señalan que "desafortunadamente, todavía no existen estándares para el uso de los indicadores" (página 478, tercer párrafo) y que "se necesita una primera generación de medidas del acceso a repositorios de información públicos" (misma página, cuarto párrafo).

La metodología de Aguillo y coautores consiste en recopilar información de las siguientes fuentes:

1. Repositorios institucionales.
2. Repositorios temáticos.
3. Borradores y reimpresiones de artículos de investigación.
4. Tesis de máster y de doctorado.
5. Material de tipo formal e informal.

Las estadísticas que se recogen para cada documento válido son:

1. Tamaño, el cual se mide por el número de páginas de los buscadores Google, Live Search, Yahoo Search y Exalead.
2. Archivos en formato pdf que se pueden encontrar en Google y Yahoo.
3. Número total de entradas en Google Scholar.
4. Visibilidad, medida como el número de enlaces externos que se encuentran en Yahoo y Exalead.

Como se puede apreciar la metodología es limitada. Los autores están intentando medir unas características muy determinadas. En la sección de conclusiones, ellos mismos critican su propio trabajo y afirman que "incluso aunque el ranking web diera una base sólida para el análisis, se necesitan urgentemente más indicadores, especialmente aquellos relacionados con el uso y las citas".

 

UPM, CLASIFICACIÓN, FANTASÍA

¿Qué conclusiones sacamos del análisis anterior? No podemos afirmar que la UPM se esté afianzando como "una de las universidades más prestigiosas del mundo". Cualquier lector que consulte los datos, y le bastan unos pocos clicks de ratón, se dará cuenta del monumental ridículo que la UPM ha hecho al publicar semejante comentario. Cualquier profesor de la UPM medianamente decente sentirá en sus carnes el mordisco del sarcasmo. Me ha ocurrido con mucha frecuencia oír hablar a los dirigentes de la UPM de sus excelencias con tal pasión que me hacían concebir su fantasía como una enfermedad (porque todo era fantasía; los dirigentes de la UPM no manipulan datos). Claro que si no tuviese consecuencias, no me indignaría; lo penoso es que las tienen y serias.

Porque ¿cómo va a ser la UPM una buena universidad con todos los problemas que tiene? Dejadme que enumere unos pocos, sin ánimo de ser exhaustivos, y principalmente referidos a lo que conozco de primera mano.

• BUROCRACIA. Es una universidad muy burocrática, con una profunda desconfianza hacia los profesores. Esta desconfianza se materializa haciéndoles rellenar todo tipo de papeles. Todavía su gestión se basa en el papel, el permiso escrito. Siguiendo en esta línea, ¿por que se tarda tanto en pagar a los proveedores? Estos, en justa reciprocidad, responden con una buena subida de precio. La agilidad administrativa brilla por su ausencia en esta universidad.
• INVESTIGACIÓN. ¿Cómo es posible que en una universidad haya profesores que no sean doctores y que algunos, incluso siéndolo, no tengan carrera de investigación? Son los inconvenientes del funcionariado injustificado y endogámico. ¿Cómo es posible que en la Escuela UNIVERSITARIA de Ingeniería Técnica Industrial de la UPM haya un catedrático de escuela de Matemáticas, Javier López Elorriaga, que no es doctor! Y no solo eso, ni le interesa la investigación ni ha publicado un artículo en su vida. ¿Y qué ha hecho la universidad 184 del ranking web al respecto? Nada. Ignorar la situación.
• DOCENCIA. ¿Cómo se han diseñado los nuevos planes de estudios? En mi Escuela, la Escuela Universitaria de Informática, durante las primeras reuniones de la comisión competente se sacaban los documentos más relevantes al respecto, como muestra de la nueva voluntad: el currículo del ACM, los informes de la comunidad europea, el manual de Oslo, artículos varios, etc. A medida que se acercaba la votación en la Junta de Escuela, el órgano decisorio, empezaron las negociaciones secretas, las rebajas, la venta de votos, los ajustes más retorcidos, las propuestas más absurdas y egoístas. Al final se votó y aprobó un plan mediocre, sin estructura global, con poca ambición intelectual. Otro ejemplo: este de la mencionada Escuela UNIVERSITARIA de Ingeniería Técnica Industrial. Su Junta de Escuela aprobó un plan de estudios en el que las matemáticas estaban distribuidas a lo largo de la carrera. Parece lógico que así sea, por muchos motivos: diferentes niveles de madurez del alumno, continuidad de las asignaturas, posibilidad de ver aplicaciones de las matemáticas a otras áreas de la carrera, etc. De la ANECA, el organismo "supervisor" de los planes de estudio, vino un plan de estudios en que ¡todas las matemáticas están en el primer curso! ¡Qué atrocidad! ¿A qué oscuros intereses sirve semejante sinsentido pedagógico? ¿A los de alguna escuela rival más poderosa y con mejores conexiones? ¿Se están usando las matemáticas como una criba de los mejores alumnos? ¿Tiene esto una explicación razonable?
• INNOVACIÓN EDUCATIVA EN LA UPM. Mi universidad ha puesto especial interés en la innovación educativa. Tanto interés ha puesto que han florecido los grupos de innovación educativa por doquier. La idea que yo percibo detrás de esta furia innovadora es más bien de tipo estratégico. Aquellos profesores que no investigan en sus áreas de conocimientos (y son muchos) pueden alegar que lo hacen en innovación educativa. Así palian el gran poder que las nuevas leyes educativas universitarias han otorgado al profesor doctor e investigador. Aquí me pregunto en primer lugar si hay tantas cuestiones abiertas en el campo de la innovación educativa. No cabe duda de que es un campo difícil: innovar en educación es delicado y, si no se hace con cuidado, puede resultar un fiasco para los alumnos. Por otro lado, ¿están los profesores de la UPM preparados para investigar en ese campo? Quiero decir, ¿tienen todos los que investigan en ese campo conocimientos de pedagogía, psicología, diseño experimental suficientes para acometer tal tarea? En general, me temo que no. He leído unos cuantos artículos que han publicado algunos grupos y, sinceramente, no pasarían una revisión seria en cualquier revista de educación incluida en el JCR. En general, los publican en revistas fuera del JCR. Echo de menos, por ejemplo, que las estadísticas sean más serias, que haya grupos de control, que se sea más escrupuloso con el diseño experimental, más erudición en temas pedagógicos y más riqueza bibliográfica. No digo que no haya grupos de innovación educativa serios en la UPM, pero son los menos. La mayoría ha disfrazado la adaptación al plan de Bolonia como innovación educativa. Y son dos cosas distintas.

 

RUEGO FINAL

Solo pido a los responsables de la UPM que sean más humildes. Somos una universidad mediocre, por muchos conceptos, y necesitamos más humildad. Noticias como la del ranking web nos hacen más mediocres. Y ya es una carga pesada.

 

BIBLIOGRAFÍA

• [AOFU] Aguillo, I., Ortega, J. L., Fernández, M. y Utrilla, A. Indicators for a Webometric Ranking of Open Access Repositories. Scientometrics, 82:477-486. 2010.
• [LC] N.C. Liu y Y. Cheng. Academic ranking of world universities - methodologies and problems. Higher Education, edición de Europa, vol. 30, nº 2. 2005.
• [Raz] Razvan V. Florian. Irreproducibility of the results of the Shanghai academic ranking of world universities. Scientometrics 72 (1): 25–32. 2007.
• Bitácora University Ranking Watch, dedicada al análisis y a la discusión de las clasificaciones de universidades y otros temas relacionados. La bitácora no está adscrita a ninguna institución en particular.
• [W] Wikipedia. Academic Ranking of World Universities. Accedido en septiembre de 2010.

---

NOTAS A PIE DE PÁGINA

[1] Si existe en castellano la palabra clasificación, ¿por qué usar la inglesa ranking?

[2] Aparentemente, esta compañía no tiene página web.