Prueba PISA: con un método criticable, muestra los enormes desafíos pendientes

publicado por el Journal of Education Policy, demostramos cómo la prueba PISA tiene problemas de comparación intertemporal para los países de América Latina. Los cambios metodológicos de la prueba no han sido explicados como corresponde y eso ha generado grandes confusiones. La nueva edición de la prueba PISA 2018 agudiza estos problemas.

La prueba ha cambiado de formatos y aplicaciones: se dejó de considerar inválidas las no respuestas de los alumnos, se pasó del papel a la computadora y hubo todo tipo de cambios en el diseño y aplicación. Como efecto de estos cambios se han incrementado de manera notable la cantidad de pruebas que no se contestan. Sólo en Argentina se pasó de una tasa de no respuesta del 5% en 2012 al 16% en 2018. En España los resultados fueron inválidos porque se detectó que los alumnos respondían arbitrariamente, generando un boicot a la prueba PISA.

Los problemas de la prueba son tan graves que ya no sabemos realmente qué se puede comparar a lo largo del tiempo. No sabemos cómo cada país prepara a las escuelas de la muestra PISA. Es muy distinto un país donde todos los estudiantes están concientizados para hacer su mayor esfuerzo en la prueba que otro dónde nadie le presta atención. Esto se puede preparar porque la muestra de escuelas se conoce seis meses antes de su aplicación.

En este contexto, Argentina obtiene resultados muy bajos en la edición 2018 de la prueba PISA. Muy por debajo de Chile y por debajo de países vecinos como México, Uruguay, Costa Rica, Brasil y Colombia. Los resultados nos dejan a la par de Perú, un país de la región mucho más pobre en su estructura social.

Nuestros estudios demuestran que la mejora de otros países es dudosa. No sabemos realmente la trayectoria desde que se inició PISA en 2000 con tantos cambios metodológicos desde entonces. Lo que sé sabemos es que tenemos una gran deuda social con la educación en la Argentina y que la foto de 2018 nos muestra enormes desafíos pendientes, especialmente en matemática.

¿Es esta información nueva realmente? ¿Cambia algo del diagnóstico educativo el resultado en PISA?

Creo que tenemos que ser capaces de encontrar un equilibrio. Las pruebas PISA son mucho menos útiles en sus rankings y evoluciones, en contextos de aplicación que hacen dudosos los resultados estrictos. Pero PISA es mucho más que los rankings: los cuatro tomos de más de 300 páginas que se publicarán en estos días aportan un inmenso caudal de conocimiento sobre los sistemas educativos del mundo. Podemos entender mucho mejor cómo funciona la educación de nuestro país en incontables dimensiones que de no participar en PISA no conoceríamos.

Ojalá podamos usar todo este material para la formación de nuestros educadores y expertos en educación y crear discusiones más serias sobre cómo mejorar la educación. Y al mismo tiempo bajar la presión por los rankings y por resultados que son cada vez más dudosos en sus posibilidades de comparación.