The No-Training Line
On October 30, OpenAI, Google, Microsoft and Anthropic said they will respect a single instruction that website owners can place in robots.txt, the plain text file sites already use to tell automated visitors which pages to skip. A site that adds a group headed “User-Agent: __usage_ai-training” followed by “Disallow: /” is asking all four companies not to use its pages to train their AI models, and it can leave chosen sections open, such as a press area. The signal comes from a draft written by Kevin Kelley, a standards lead at Anthropic, and submitted to the Internet Engineering Task Force, the body that sets many of the internet’s technical rules. For now the draft has no formal standing there.
The companies have set different dates. Anthropic says it has started adding support, OpenAI promises it in the coming months, Microsoft will apply it from February 1, 2027, and Google says it aims to do so in 2027. Compliance is voluntary, other AI companies are not bound, and Meta has not committed to it. The rule also works only going forward, so pages already collected stay in existing training data. The common rule that blocks every bot at once does not count as a training preference, which means newsrooms, artists and small businesses that want out must add the new entry by name. Microsoft is also adding a second setting that lets a page refuse to feed the answers written by Bing and Copilot.
La señal de no entrenar
El 30 de octubre, OpenAI, Google, Microsoft y Anthropic anunciaron que respetarán una misma instrucción que los dueños de sitios web pueden escribir en robots.txt, el archivo de texto simple que las páginas ya usan para indicar a los programas automáticos qué secciones no deben visitar. Un sitio que añada un bloque encabezado por «User-Agent: __usage_ai-training» seguido de «Disallow: /» pide a las cuatro empresas que no usen sus páginas para entrenar sus modelos de IA, y puede dejar abiertas algunas secciones, como un área de prensa. La señal proviene de un borrador escrito por Kevin Kelley, responsable de estándares en Anthropic, y presentado ante el Internet Engineering Task Force, el organismo que define muchas de las reglas técnicas de internet. Por ahora, ese borrador no tiene validez formal allí.
Las empresas fijaron plazos distintos. Anthropic dice que ya empezó a incorporarla, OpenAI la promete para los próximos meses, Microsoft la aplicará desde el 1 de febrero de 2027 y Google afirma que aspira a hacerlo en 2027. El cumplimiento es voluntario, no obliga a otras empresas de IA y Meta no se ha comprometido a seguirla. Además, la regla solo vale hacia adelante, porque las páginas ya recopiladas siguen en los datos de entrenamiento existentes. La regla habitual que bloquea a todos los robots a la vez no cuenta como preferencia de entrenamiento, así que medios, artistas y pequeños negocios que quieran quedar fuera deben añadir la nueva entrada por su nombre. Microsoft suma además un segundo ajuste que permite a cada página negarse a alimentar las respuestas que redactan Bing y Copilot.
