Tu vecino, el evaluador

Este artículo también está disponible en: Inglés

El siguiente artículo de Alejandro Ganimian fue escrito originalmente para Education Next, que ha dado permiso al Diálogo Interamericano de traducir y reproducir el texto en el PREAL Blog. Para leer el artículo original en inglés, haga clic aquí.

Con un ingreso per cápita de menos de 1.500 dólares y una población de 1,25 millones de personas, India lleva a cabo la evaluación administrada por ciudadanos más grande del mundo. Este año, el Informe sobre el Estado Anual de la Educación (ASER, por sus siglas en inglés) celebra su décimo aniversario. La notable trayectoria de ASER ofrece lecciones valiosas para los países en desarrollo para generar demanda por educación de calidad.

En muchos países en desarrollo, los ciudadanos tienen percepciones erróneas sobre la calidad de sus escuelas públicas. En la Encuesta Mundial Gallup 2014, 78% de los indonesios, 62% de los colombianos y 46% de los brasileños dijeron que estaban satisfechos con la calidad de su sistema educativo. Sin embargo, en el Informe del Programa Internacional para la Evaluación de Estudiantes (PISA, por sus siglas en inglés) de 2012, una prueba global de matemática, lectura y ciencias realizada a jóvenes de 15 años de edad, 76% de los indonesios, 74% de los colombianos y 67% de los brasileños no pudieron responder las preguntas más fáciles en el examen de matemática.

La brecha entre las expectativas y la realidad no se limita a los pobres. En el Informe de Competitividad Global 2014-2015, que le consultó a ejecutivos de negocios de todo el mundo sobre la calidad de la educación en sus países, la disparidad entre la percepción y la realidad en algunos países en desarrollo fue impactante. Por ejemplo, los qataríes calificaron su sistema de educación como tercero en el mundo, por encima del de Singapur. Sin embargo, Qatar ocupa el tercer lugar más bajo en la evaluación de matemática en PISA 2012, mientras que Singapur fue el país con mejores resultados.

Muchos de nosotros sufrimos de lo que los psicólogos llaman “optimismo comparativo”. Aun cuando reconocemos que nuestro sistema escolar es de bajo rendimiento, creemos que nuestra escuela local es mejor que la del resto. Estadísticamente, es imposible que todos tengamos razón. Este fenómeno no se limita a los países en desarrollo. De hecho, se destacó por primera vez en la encuesta anual realizada por Education Next y el Programa de Políticas y Gobernanza en Educación en los Estados Unidos en el 2008.

Muchas personas encuentran la baja demanda por calidad educativa preocupante. El emblemático Informe sobre el desarrollo mundial 2004 (WDR, por sus siglas en inglés) del Banco Mundial sostuvo que mejorar la educación requiere que los docentes y funcionarios del gobierno hagan cosas que les cuestan: los docentes tienen que ir a trabajar, llegar a tiempo y enseñar durante todo el día; los funcionarios del gobierno tienen que oponerse a sectores organizados para adoptar reformas que mejoren la eficiencia de las escuelas. Según el informe, sin la presión de la opinión pública, ninguna es probable que ocurra.

…

Los países en desarrollo han tratado de generar demanda por calidad educativa de dos maneras. El enfoque tradicional ha sido que los gobiernos diseñan e implementan evaluaciones estudiantiles, y las organizaciones de la sociedad civil resumen sus resultados para audiencias no técnicas. Mejora tu Escuela en México fue una de las primeras plataformas web que les permitió a los ciudadanos comparar el rendimiento de los estudiantes de su escuela local con los de otras escuelas, distritos y estados.

Un enfoque mucho menos común ha sido que las organizaciones de la sociedad civil tomen la iniciativa y desarrollen evaluaciones estudiantiles que los ciudadanos ordinarios pueden administrar y entender. Pratham, la organización no-gubernamental de educación más grande de India, fue la primera en aplicar este método, cuando comenzó a administrar el Informe sobre el Estado Anual de la Educación (ASER, por sus siglas en inglés) en el 2005.

ASER tiene varias características que la diferencian de otras evaluaciones. Primero, se administra en los hogares de los niños y jóvenes. La mayoría de las evaluaciones de aprendizaje se realizan en las escuelas ​​porque han sido creadas en países desarrollados, donde casi todos los niños asisten a clase. Sin embargo, en los países en desarrollo, muchos niños no están en el sistema educativo formal o ni siquiera van la escuela. La inclusión de estos niños es crucial para ofrecer un panorama completo de los niveles de aprendizaje en estos países.

Segundo, es fácil de administrar. La mayoría de las evaluaciones de aprendizaje se dictan con papel y lápiz. Sin embargo, muchos niños de países en desarrollo no han desarrollado las habilidades más básicas de lectura y aritmética y no pueden responder a este tipo de pruebas. La herramienta ASER es muy simple. En lectura, el administrador les pide a los estudiantes identificar letras y palabras, leer un párrafo (a nivel de primer grado) y una historia (a nivel de segundo grado). En matemática, el administrador les pide a los estudiantes reconocer números de uno o dos dígitos, resolver restas de dos dígitos, y dividir números de tres dígitos. Estos resultados no sólo son fáciles de evaluar; también son fáciles de expresar en un lenguaje que todos pueden entender. Hoy en día es común en India escuchar que “X% de los estudiantes de quinto grado no puede leer un texto de segundo grado”.

Tercero, su administración es participativa. El Centro ASER (que se convirtió en su propia organización no-gubernamental en el 2008) no administra la evaluación. Entrena a voluntarios de universidades, organizaciones no gubernamentales, departamentos gubernamentales y empresas de toda India. Hasta la fecha, más de 2.000 instituciones han administrado ASER. (Para una descripción de las instituciones que administran ASER, haga clic aquí). Esta estrategia tiene múltiples beneficios: facilita la administración, ofrece una oportunidad para que las organizaciones asociadas aprendan a administrar evaluaciones estudiantiles, y aumenta el compromiso de la sociedad civil con los resultados de la encuesta.

Cuarto, tiene una cobertura admirable. Para ofrecer un panorama representativo del desempeño de los estudiantes, desde el 2006, ASER toma muestras aleatorias de 30 pueblos por distrito rural, y de 20 hogares por pueblo (es decir, 600 hogares por distrito). Para hacer un seguimiento de los logros en el tiempo, desde el 2007, cada año ASER toma muestras de 10 pueblos evaluados dos años antes, 10 pueblos evaluados un año antes, y selecciona a 10 nuevos pueblos en cada distrito. ASER tiene un alcance sin paralelo. En el 2014, cubrió 577 distritos, 16.497 pueblos, 341.070 hogares y 642.911 niños y jóvenes de 3 a 16 años. (A modo de comparación, PISA 2012, la evaluación global más grande, cubrió 510.000 jóvenes de 15 años de edad en 65 sistemas escolares).

Finalmente, es notablemente flexible. Para mantener su relevancia, ASER ha implementado cambios importantes casi todos los años desde su creación. En el 2005, comenzó a realizar observaciones de escuelas, además de su encuesta a hogares y prueba de estudiantes. En el 2006, comenzó a evaluar habilidades más avanzadas en lectura y matemática (por ejemplo, comprensión lectora). En el 2007, empezó a evaluar inglés. En el 2008, comenzó a recoger datos sobre los pueblos. (Este breve documento resume los cambios más importantes desde que comenzó ASER).

…

Después de una década, los logros de ASER en India son evidentes. Se convirtió en la única fuente anual de información sobre los resultados de aprendizaje de los niños, logró llamar la atención al pésimo rendimiento académico de los niños y jóvenes del país, y posicionó al aprendizaje como una medida fundamental a través de la cual muchos indios juzgan la calidad de sus sistemas escolares.

El éxito de ASER en India nos invita a considerar si organizaciones no gubernamentales de otros países en desarrollo deberían seguir sus pasos. Ocho países ya empezaron: Pakistán, Uganda, Kenia y Tanzania realizaron sus primeras evaluaciones administradas por ciudadanos  representativas a nivel nacional en el 2010, y Senegal lo hizo en el 2013. Mali, Nigeria y México realizaron pilotos más pequeños con la intención de llevar a cabo evaluaciones nacionales pronto. Estos países se han unido a través de la red de Acción Ciudadana por el Aprendizaje (PAL, por sus siglas en inglés).

Los países de la red PAL tienen tres características comunes que ofrecen algunas pistas acerca de dónde y cuándo las evaluaciones administradas por ciudadanos pueden ser más efectivas. En primer lugar, casi todos estos países carecen de una evaluación periódica, robusta y representativa a nivel nacional cuyos resultados de desempeño estudiantil se difunden públicamente. Algunos, como Mali o Nigeria, apenas han comenzado recientemente a participar en evaluaciones regionales, tales como el Programa de Análisis de Sistemas Educativos de la Confemen (PASEC, por sus siglas en francés). Por lo tanto, en estos países, las evaluaciones ciudadanas no están duplicando otros esfuerzos; están proporcionando un servicio que no estaría disponible de otra manera.

En segundo lugar, el estudiante promedio en la mayoría de estos países aún no ha desarrollado competencias básicas. Uganda consistentemente se posiciona en la mitad inferior de los rankings de la prueba administrada por el Consorcio para el Monitoreo de la Calidad Educativa en África del Sur y del Este (SACMEQ, por sus siglas en inglés). Tanzania y Kenia suelen ubicarse en las primeras posiciones de los rankings, pero más de la mitad de los tanzanos y más de un tercio de los kenianos calificaron en los niveles más bajos de la última prueba de matemática de sexto grado. Las habilidades básicas de alfabetización y aritmética que los estudiantes en estos países necesitan desarrollar pueden ser captadas adecuadamente por evaluaciones administradas por ciudadanos.

En tercer lugar, en la mayoría de los países en PAL, la capacidad técnica de administrar evaluaciones estudiantiles es muy baja. Por lo tanto, las evaluaciones ciudadanas ofrecen la oportunidad de capacitar a un grupo de expertos sobre cómo diseñar, administrar y analizar las evaluaciones. Esto normalmente implica la observación de una evaluación administrada por ciudadanos, la participación en capacitaciones organizadas por ASER en India, y la ejecución de programas pilotos.

…

Cualquier país que considere la realización de evaluaciones ciudadanas, sin embargo, debe tener muy claro lo que espera lograr. La experiencia de ASER en India sugiere que estas evaluaciones pueden influir el debate público sobre el aprendizaje estudiantil. Sin embargo, la evidencia sobre la efectividad de estas evaluaciones para movilizar a las comunidades con el fin de mejorar las escuelas es menos alentadora. Un estudio realizado en Uttar Pradesh, India, encontró que la formación de comunidades para administrar y difundir los resultados de ASER no aumentó la participación de los padres o docentes en las escuelas.

Estas limitaciones no solo ocurren en las evaluaciones ciudadanas. Las evaluaciones de impacto de las iniciativas que buscan involucrar a los padres en la gestión escolar en Níger, Gambia, México y Senegal han encontrado consistentemente que estos programas tienen menos éxito cuando los padres carecen de la capacidad y/o autoridad para actuar. Un estudio en Indonesia sugiere que las comunidades desfavorecidas necesitan de considerable apoyo para elegir a sus representantes y exigir cambios a los funcionarios del gobierno.

En resumen, las evaluaciones ciudadanas pueden ser una herramienta útil para generar demanda por una educación de calidad en países en desarrollo. No obstante, el reto es asegurar que la información que producen conduce a una mayor movilización de la sociedad civil. Esto recientemente ha llevado a ASER a lanzar su campaña Lakhon mein Ek (Uno en un millón), una alianza de instituciones, organizaciones no-gubernamentales, empresas, fundaciones e individuos que pretende llegar a 100.000 pueblos y comunidades en India para enero del 2016, con el fin de incluir ciudadanos en la evaluación y mejora de la calidad de sus sistemas escolares locales. Diez años después de su creación, ASER merece un gran reconocimiento por permanecer comprometido con el lema de Pratham: “Todos los niños en la escuela… y aprendiendo bien.”

Alejandro J. Ganimian es un investigador posdoctoral de educación en el Abdul Latif Jameel Poverty Action Lab (J-PAL) de Ásia del Sur y es investigador no-residente del Diálogo Interamericano.

Crédito de la imagen: Chris Yarzab / CC BY-NC 2.0