The Shaky Evidence
Schools are being encouraged to adopt AI tools partly on the strength of research reviews that report large gains in learning, and a new audit argues those reviews do not hold up. Patrick O’Neill, an associate professor at Ivy Tech Community College in Indiana, examined 14 meta-analyses, studies that combine the results of many smaller studies into one overall estimate. In a preprint discussed by Education Week on November 2, he concludes that none of them gives a valid basis for its claims. None clearly defined the kind of AI use it was measuring, and none properly checked for publication bias, the tendency for studies with good results to be published while disappointing ones are left out.
Some of the problems were basic. A study of an elementary school physical education class was grouped with one on simulations for medical students, a few included studies did not use AI at all, and results as different as test knowledge, motivation and mental health were added together. Some of the underlying studies contained impossible statistics or references that appear to be invented, including ChatGPT research dated before the tool was public. The reviews appeared in respected journals and have been cited thousands of times. O’Neill asks journals to require authors to share their data and to tighten peer review. A separate Stanford review of more than 800 studies found only 20 with a strong cause-and-effect design, and none of those involved schoolchildren.
La evidencia endeble
A las escuelas se les anima a adoptar herramientas de IA en parte gracias a revisiones de investigaciones que anuncian grandes mejoras en el aprendizaje, y una nueva auditoría sostiene que esas revisiones no se sostienen. Patrick O’Neill, profesor asociado del Ivy Tech Community College, en Indiana, examinó 14 metaanálisis, estudios que combinan los resultados de muchos trabajos más pequeños en una sola estimación global. En un preprint del que informó Education Week el 2 de noviembre, concluye que ninguno ofrece una base válida para lo que afirma. Ninguno definió con claridad qué tipo de uso de la IA medía, y ninguno comprobó como es debido el sesgo de publicación, la tendencia a publicar los estudios con buenos resultados mientras los decepcionantes quedan fuera.
Algunos de los fallos eran elementales. Un estudio sobre una clase de educación física de primaria se agrupó con otro sobre simulaciones para estudiantes de medicina, unos pocos de los estudios incluidos ni siquiera usaban IA, y resultados tan distintos como conocimientos en exámenes, motivación y salud mental se sumaron en una misma cifra. Algunos de los estudios de base contenían estadísticas imposibles o referencias que parecen inventadas, entre ellas investigaciones sobre ChatGPT fechadas antes de que la herramienta fuera pública. Las revisiones se publicaron en revistas respetadas y se han citado miles de veces. O’Neill pide a las revistas que exijan a los autores compartir sus datos y que endurezcan la revisión por pares. Otra revisión de Stanford, de más de 800 estudios, halló solo 20 con un diseño sólido de causa y efecto, y ninguno de ellos con escolares.
