¿Por qué los rankings son engañosos?

Cada cierto tiempo aparece uno de esos titulares orgullosos de una de las universidades peruanas que se alegran de ser el tercer, cuarto o quinto puesto en investigación. Hace poco la Universidad Peruana de Ciencias Aplicadas se enorgullecía de ser la tercera universidad privada en el Perú con más investigación (ver link). De hecho me parece muy bien por la universidad y suena super orgulloso. Al mencionar esto se referían al ranking Scimago SIR 2015 (ver link) en donde efectivamente ocupan el tercer lugar en investigación entre las universidades privadas y el sétimo a nivel de Perú. ¿Qué significa eso? Démosle un vistazo al ranking

  1. UPCH – Universidad Peruana Cayetano Heredia – 1228
  2. UNMSM – Universidad Nacional Mayor de San Marcos – 892
  3. PUCP – Pontificia Universidad Católica del Perú – 644
  4. UNALM – Universidad Nacional Agraria La Molina – 188
  5. UNI – Universidad Nacional de Ingeniería – 153
  6. UNSAAC – Universidad Nacional San Antonio Abad del Cusco – 116
  7. UPC – Universidad Peruana de Ciencias Aplicadas – 112
  8. UNSA – Universidad Nacional San Agustín de Arequipa – 83
  9. USMP – Universidad de San Martín de Porras – 82
  10. UNAPIQUITOS – Universidad Nacional de la Amazonía Peruana – 70

Analicemoslo gráficamente.


Como puede verse, conforme se desciende en la lista de instituciones la diferencia en producción entre las instituciones disminuye, pero en los primeros puestos la diferencia es MUY grande. La producción del primer puesto dobla la del tercero y la producción del sétimo puesto es sólo el 0.9 de lo producido por el primer puesto. ¿Eso significa que la producción de la UPC es mala o insignificante? De ninguna manera ya que en el contexto peruano su producción es importante. Lo que quiero mostrarles es que tener un puesto relativamente alto en el ranking no significa que la institución tenga una producción que se acerca al primer o segundo puesto. Al mismo tiempo, ascender en el ránking puede significar que sólo se ha hecho un pequeño aumento de investigación (nótese que la UNSAAC y la UPC tienen básicamente el mismo número de documentos a pesar de que la UNSAAC adelanta a la UPC en el ranking).

A pesar de todo esto, es lógico que la institución que ocupa un puesto relativamente alto en el ranking resalte esa posición y no la diferencia que tiene en producción con las instituciones que la adelantan. Los rankings son fáciles de entender y seguirán siendo utilizados como medida. Tan sólo recordemos que conocer la posición en el ranking nos da información parcial y no es suficiente para juzgar la posición real de la institución.

Código en R para el gráfico

upc<-c(1228,892,644,188,153,116,112,83,82,70)
plot(upc, type="h", col="blue", ylab="Producción", xlab="Puesto en el ranking SIR IBER Perú 2015", xaxs="i",yaxs="i", ylim=c(0,1300), xlim = c(0.5,10.5), main="Posición de la UPC en el ranking SIR - IBER 2015")
text(7,50,"UPC", col="red")
abline(h=1000, col="black", lty=2)
abline(h=500, col="black", lty=2)
abline(h=1200, col="grey", lty=3)
abline(h=1100, col="grey", lty=3)
abline(h=900, col="grey", lty=3)
abline(h=800, col="grey", lty=3)
abline(h=700, col="grey", lty=3)
abline(h=600, col="grey", lty=3)
abline(h=400, col="grey", lty=3)
abline(h=300, col="grey", lty=3)
abline(h=200, col="grey", lty=3)
abline(h=100, col="grey", lty=3)
text(1,50,"UPCH", col="blue")
text(2,50,"UNMSM", col="blue")
text(3,50,"PUCP", col="blue")
text(4,50,"UNALM", col="blue")
text(5,50,"UNI", col="blue")
text(6,50,"UNSAAC", col="blue")
text(8,50,"UNSA", col="blue")
text(9,50,"USMP", col="blue")
text(10,50,"UNAPI", col="blue")
text(2,1150,"% de UPCH", col="dark green")
text(2,1050,round(892/1228,2), col="dark green")
text(3,750,round(644/1228,2), col="dark green")
text(4,450,round(188/1228,2), col="dark green")
text(5,300,round(153/1228,2), col="dark green")
text(6,200,round(116/1228,2), col="dark green")
text(7,200,round(112/1228,2), col="dark green")
text(8,180,round(83/1228,2), col="dark green")
text(9,180,round(82/1228,2), col="dark green")
text(10,160,round(70/1228,2), col="dark green")
text(7,1200,"La UPC produjo", col="red")
text(7,1100,"el 9% de lo que", col="red")
text(7,1000,"produjo la UPCH,", col="red")
text(7,900,"es decir", col="red")
text(7,800,(1228-112), col="red")
text(7,700,"doc menos.", col="red")

Created by Pretty R at inside-R.org

Un comentario

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *