The Room Beyond the Test
On Wednesday, the Alan Turing Institute argued that advanced AI should be assessed as part of the systems in which people encounter it. The UK already evaluates frontier models before release, the institute says, yet a model can pass a benchmark and still fail when connected to users, software, staff and operating procedures. Its new report maps five areas for practical work, including cyberattacks, democratic disruption, misalignment and loss of human control. A £2 million research programme and a briefing on agent behaviour aim to develop ways to test those risks in use.
That shift places responsibility inside the institution deploying the tool. If an agent screens applications or manages a public service, reliability depends on who limits its permissions, notices changes, handles an error and keeps a safe fallback available. Whole-system checks can make these decisions visible, but also raise the question of who decides that evidence is enough when people affected by failure rarely take part in the evaluation. The Turing proposes testing observable behaviour in real conditions, involving the people and processes around the technology, then reassessing when either changes. Disputes over risk and power will continue. Each deployment should show who can override the tool, what happens when it stops, and whether the service keeps working.
La sala que queda fuera de la prueba
Este miércoles, el Alan Turing Institute sostuvo que la IA avanzada debe evaluarse como parte de los sistemas con los que la gente entra en contacto. El Reino Unido ya examina los modelos de frontera antes de su lanzamiento, señala el instituto, pero un modelo puede superar una prueba de referencia y fallar al conectarse con usuarios, programas, personal y procedimientos de trabajo. El nuevo informe identifica cinco áreas de acción, entre ellas los ciberataques, la desestabilización democrática, la desalineación y la pérdida de control humano. Un programa de investigación de dos millones de libras y un informe sobre el comportamiento de agentes buscan desarrollar métodos para estudiar esos riesgos durante el uso real.
Ese cambio sitúa parte de la responsabilidad dentro de la institución que incorpora la herramienta. Si un agente filtra solicitudes o gestiona un servicio público, su fiabilidad depende de quién limita sus permisos, detecta cambios, responde ante un error y mantiene una alternativa segura. Las pruebas del sistema completo pueden hacer visibles estas decisiones, pero también plantean quién determina que la evidencia es suficiente cuando quienes sufrirían las consecuencias de un fallo rara vez participan en la evaluación. El Turing propone probar conductas observables en condiciones reales, incluir a las personas y los procesos que rodean la tecnología y volver a evaluarla cuando unos u otros cambien. Las disputas sobre riesgo y poder seguirán abiertas. Cada implementación debería aclarar quién puede anular la herramienta, qué ocurre al detenerla y si el servicio puede seguir funcionando.
