Inteligencia artificial · Tecnología · Recursos

Noticias

Google, Microsoft, OpenAI y Anthropic acuerdan un estándar único para que las webs bloqueen el entrenamiento de IA

Los cuatro grandes laboratorios de inteligencia artificial han anunciado el mismo día un mecanismo compartido basado en robots.txt que permite a cualquier sitio web negarse a que su contenido se use para entrenar modelos generativos.

Google, Microsoft, OpenAI y Anthropic acuerdan un estándar único para que las webs bloqueen el entrenamiento de IA

Hasta ahora, cada compañía exigía una directiva distinta; el nuevo token __usage_ai-training unifica la señal, aunque su entrada en vigor es escalonada y Google la extiende también a la cita de páginas en Gemini.


Cuatro anuncios, una sola señal

El 30 de octubre de 2026, en apenas unas horas, se publicaron cuatro entradas de blog coordinadas:

  • Google (Search Central Blog): Supporting a shared AI training control for websites, firmada por John Mueller.
  • Microsoft (Bing Blog): Your content, your choice: clearer preferences for training and grounding, de Krishna Madhavan.
  • OpenAI (Políticas y Procedimientos): Making it easier for websites to express AI training preferences, sin autor individual.
  • Anthropic (lista de correo IETF AIPREF): Kevin Kelley presentó el Internet-Draft draft-kelley-aipref-training-preference-signal-00.

Los cuatro describen el mismo dispositivo: un grupo en robots.txt que, en lugar de nombrar un rastreador concreto en la línea User-Agent, utiliza un token de política estandarizado. El borrador ilustra el formato así:

ice-tech
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Ese bloque expresa «preferencia en contra del entrenamiento de IA para todas las rutas salvo las que están bajo /press-kit/, para las que se expresa preferencia a favor». El emparejamiento de rutas sigue la precedencia de coincidencia más larga definida en el RFC 9309 (el protocolo de exclusión de robots publicado por la IETF en septiembre de 2022).

La justificación es idéntica en los cuatro casos: los propietarios de webs ya no tendrán que gestionar instrucciones separadas para cada desarrollador de IA. OpenAI lo resume diciendo que antes había que «identificar rastreadores individuales y mantener reglas aparte para cada proveedor». Microsoft habla de reducir «la complejidad de navegar preferencias de plataforma distintas para el mismo uso del contenido».


Lo que el borrador especifica (y lo que no)

El documento tiene diez páginas, tabla de agradecimientos incluida. Su tesis central es que no cambia nada de robots.txt en sí: no introduce nombres de directivas nuevos ni gramática nueva. El lenguaje de rutas, la precedencia de la coincidencia más larga y la estructura de grupos siguen siendo los del RFC 9309.

El token __usage_ai-training usa solo caracteres permitidos en un product token del RFC 9309 (letras, guiones bajos e guiones). Los consumidores «DEBEN hacer coincidir los tokens de política exactamente, salvo mayúsculas/minúsculas». El doble guion bajo inicial tiene una razón práctica: «algunos parsers desplegados coinciden de forma más flexible; el prefijo __ hace improbables las coincidencias accidentales».

Un punto crítico: *los grupos comodín (`User-Agent: ) NO DEBEN interpretarse como que coinciden con el token de política**. Si un archivo no nombra__usage_ai-training, «no se ha expresado ninguna preferencia». Esto es deliberado: unrobots.txtque hoy bloquea todo conUser-agent: *yDisallow: /` no dice nada sobre entrenamiento de IA bajo el nuevo estándar.

El borrador también prohíbe la inferencia inversa: un consumidor que encuentre solo un token propietario (como Google-Extended) debe interpretarlo como siempre, pero «NO DEBE tratarlo como expresión de preferencia en el contexto de este documento». Un bloqueo de Google-Extended no cuenta como opt-out compartido para OpenAI o Microsoft.

Uso, no acceso

El borrador traza una línea dura entre lo que un rastreador puede descargar y lo que una compañía puede hacer con el resultado. «Este token de política no es una directiva para el comportamiento de rastreo», y los consumidores «DEBEN interpretar las señales del RFC 9309 expresadas basándose en sus propios tokens de producto exactamente como lo harían en ausencia de este documento». Las preferencias de uso de contenido y las señales de gestión de tráfico «son independientes y ortogonales».

Eso responde directamente a un hueco que el propio personal de Google describió nueve días antes: en su serie Non-Canonical Cabinet, dijeron que robots.txt limita el rastreo de IA, no lo que los bots hacen con los datos, llamando al RFC 9309 un protocolo de preferencia de acceso. El token de política intenta llevar una declaración de uso dentro del mismo archivo.

Hay una pequeña pero reveladora brecha entre el borrador y la descripción de su autor. Kelley escribió que «el borrador pide a los rastreadores que no descarguen lo que no pueden usar». El texto, sin embargo, es permisivo: un consumidor que rastree solo para fines cubiertos por el token «PUEDE abstenerse de recuperar recursos para los que se ha expresado una preferencia en contra de esos fines». Bajo las convenciones de la IETF que adopta el borrador, MAY marca una opción, no una petición. Un sitio que quiera que un rastreador se mantenga alejado sigue teniendo que decirlo en un grupo para el nombre de ese rastreador.

Precedencia, acuerdos privados y temporaleza

Tres cláusulas más delimitan el alcance:

  1. Precedencia: «Expresiones específicas DEBERÍAN tener precedencia sobre las generales», y los consumidores «PUEDEN documentar que interpretan reglas que coinciden con tokens de política propietarios como más específicas que el token compartido». Google ha hecho exactamente eso.
  2. Licencias: «Acuerdos privados PUEDEN anular preferencias expresadas mediante este mecanismo». Un editor con un acuerdo de contenido puede publicar un opt-out general y que ese acuerdo siga rigiendo su relación con una IA concreta.
  3. Tiempo: las preferencias que se aplican a un asset (contenido recuperado de una ruta) son las expresadas en el robots.txt vigente cuando se recuperó el asset. El borrador no aborda contenido recopilado antes de que el sitio añadiera el token.

Qué cuenta como entrenamiento

El borrador no escribe su propia definición. Toma una de draft-ietf-aipref-vocab-08 (13 de septiembre de 2026), de Paul Keller (Open Future) y Martin Thomson (Mozilla): Entrenamiento de IA es «Usar un asset para modificar los parámetros aprendidos de un modelo de IA generativo».

Las exclusiones importan tanto como la definición:

  • Entrenamiento de modelos «usados exclusivamente para tareas no generativas no se incluye en esta categoría, aunque el modelo sea capaz de tareas generativas».
  • Un modelo de IA generativa «no incluye un modelo que se use, o se ponga a disposición para uso, para clasificación, ordenación o puntuación, aunque el modelo genere justificación para su salida». Los sistemas de ordenación de resultados de búsqueda o puntuación de anuncios quedan fuera.
  • La recuperación en tiempo de respuesta también queda fuera, porque no cambia los parámetros del modelo.

Microsoft lo explicitó construyendo un control aparte para grounding (la práctica de atar una respuesta generada a páginas web recuperadas). Google no lo hizo, y esa diferencia produce el detalle más consequencial de los cuatro anuncios.


Google: una señal de entrenamiento mapeada a un token más amplio

El plan de Google es una regla de traducción más que un nuevo sistema. «Cuando un sitio usa este token de política para optar por no entrenar en su robots.txt (y Google-Extended no está especificado explícitamente), Google planea interpretar eso como si el editor hubiera prohibido Google-Extended», dice la entrada del blog.

Google-Extended, que Google describe como «el control de entrenamiento de IA que ofrecemos desde 2023», no es un rastreador. Según la página de rastreadores comunes de Google, no tiene user agent HTTP propio; el rastreo se hace con las cadenas de user agent existentes de Google, y el token funciona solo como control. Esa misma página dice que permite a los editores gestionar si el contenido que Google rastrea puede usarse para entrenar futuras generaciones de los modelos Gemini detrás de Gemini Apps y la API Vertex AI para Gemini, y para grounding, que la página glosa como proporcionar contenido del índice de Google Search en el momento del prompt «para mejorar factualidad y relevancia», en Gemini Apps y en Grounding with Google Search en Vertex AI. «No afecta la inclusión del sitio en Google Search», y la página indica que no se usa como señal de ranking.

Leídos juntos, los dos documentos producen un resultado que la entrada del blog no dice en tantas palabras. El token compartido se define como preferencia solo de entrenamiento. Google-Extended cubre entrenamiento y grounding. Bajo el plan declarado de Google, un sitio que escriba un disallow para __usage_ai-training y nada para Google-Extended sería tratado como si hubiera prohibido Google-Extended en su totalidad, lo que —según la documentación de Google— también retira su contenido del grounding en Gemini Apps y Vertex AI.

La entrada del blog aborda el mismo trueque desde el otro lado: «Los sitios web que permitan específicamente Google-Extended son elegibles para aparecer en respuestas y recibir clics vía grounding en Gemini Apps».

En Microsoft, la misma línea de robots.txt rechaza entrenamiento y deja el grounding intacto. En Google, rechaza ambos. Google no ofrece un token de grounding separado, así que un sitio que quiera que sus páginas se citen en respuestas de Gemini pero no se usen para entrenamiento no tiene un único ajuste de Google para esa combinación.

El override funciona en una dirección. Como Google trata Google-Extended como la regla más específica, un sitio puede escribir un disallow del token compartido y añadir un grupo explícito Google-Extended de allow, manteniendo la elegibilidad en Gemini mientras opta por fuera en los demás. Google llama a esto la capacidad de «optar por fuera en todos los proveedores, o elegir selectivamente». La entrada describe solo el caso a nivel de sitio; no dice cómo se traducirán las reglas a nivel de ruta bajo el token compartido, aunque Google-Extended sí acepta reglas de ruta (el ejemplo de la documentación muestra un allow para /archive/1Q84 y un disallow para /archive/).

Nada en el plan toca AI Overviews ni AI Mode. Esas funciones en Google Search se rigen por las reglas de Googlebot y, desde julio de 2026, por un ajuste de Search Console: Google dio a los propietarios de sitios un interruptor para salir de AI Overviews y AI Mode en julio y lo extendió a todos los sitios para el 31 de agosto de 2026. Ese control siguió a un requisito del Reino Unido. Cuando la CMA impuso su requisito de conducta el 3 de junio, Google respondió con un opt-out de IA en Search Console, y los controles de grounding a nivel de página de la CMA entran en vigor el 3 de marzo de 2027. En octubre de 2025, los editores habían presionado a Google para tener una forma de permanecer en búsqueda mientras dejaban sus funciones de IA. Para propiedades de Google, un sitio tiene ahora tres palancas separadas: reglas de Googlebot para rastreo y Search, Google-Extended para entrenamiento y grounding de Gemini, y el control de Search Console para funciones de IA en Search. El token compartido alcanza solo la segunda.


Microsoft: opt-out de entrenamiento, grounding aparte

La entrada de Microsoft es más corta y su distinción clave está en la frase: «Este control es para entrenamiento. El grounding —la práctica de vincular respuestas a fuentes recuperadas— se gestiona por separado». Microsoft no ha publicado aún el token de grounding correspondiente, pero la arquitectura implícita es que habrá dos señales distintas: una para entrenamiento (el token compartido __usage_ai-training) y otra para grounding.

Microsoft dará soporte al token compartido desde el 1 de febrero de 2027, mientras rastrea. Esa es la única fecha concreta entre los cuatro anuncios.


OpenAI: «entrenamiento fundacional generativo» y fechas abiertas

La redacción de OpenAI se desvía del vocabulario del borrador. Su entrada dice que la señal concierne «al uso de su contenido para entrenamiento fundacional de IA generativa». La definición del vocabulario cubre cualquier modificación de los parámetros aprendidos de un modelo generativo, y la entrada de OpenAI no aclara si «fundacional» pretende estrechar ese alcance. OpenAI dijo que publicará detalles de su implementación más adelante. Su rastreador de entrenamiento actual, GPTBot, es descrito por PPC Land como el rastreador de entrenamiento de modelos fundacionales de OpenAI.

OpenAI apunta a «implementar la señal en los próximos meses», sin fecha fija.


Anthropic: implementación ya iniciada, sin fecha de despliegue

Kevin Kelley escribió a la lista AIPREF a las 15:39 UTC del 30 de octubre que Anthropic «ya ha empezado a implementar soporte para este borrador», sin decir cuándo estará en producción. El borrador expira el 3 de mayo de 2027.


Qué significa para propietarios de webs hoy

Ahora mismo (31 de octubre de 2026): ninguna de las cuatro empresas honra el token compartido. Los plazos declarados son:

Empresa Soporte declarado
Microsoft 1 de febrero de 2027 (rastreo)
Google «Principios de 2027» (según docs de rastreadores)
OpenAI «Próximos meses» (sin fecha)
Anthropic Implementación iniciada, sin fecha de despliegue

Mientras tanto, los controles propietarios existentes siguen vigentes:

  • Google-Extended (Google)
  • GPTBot / OAI-SearchBot (OpenAI)
  • ClaudeBot / Claude-User (Anthropic)
  • BingBot / MSNBot (Microsoft)

Un sitio que quiera bloquear entrenamiento hoy debe seguir usando esos nombres. El token compartido es futuro, no presente.

Ejemplo práctico de robots.txt preparado para el futuro (sin perjuicio de los controles actuales):

ice-tech

User-Agent: Google-Extended
Disallow: /

User-Agent: GPTBot
Disallow: /

User-Agent: ClaudeBot
Disallow: /

# Token compartido (efectivo cuando cada proveedor lo active)
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

La directiva Allow: /press-kit/ ilustra la granularidad a nivel de ruta que el estándar permite: un sitio puede optar por fuera globalmente pero permitir entrenamiento en una carpeta de material de prensa, por ejemplo.


El contexto: por qué ahora

La convergencia no es casual. Tres presiones han empujado a los cuatro laboratorios a coordinarse:

  1. Presión regulatoria: la CMA del Reino Unido, la Ley de Mercados Digitales de la UE y la AI Act (artículo 50 en vigor desde agosto de 2026) exigen transparencia y control para los editores. Google ya tuvo que añadir el opt-out de Search Console para AI Overviews por orden de la CMA.
  2. Fatiga de editores: gestionar media docena de directivas robots.txt distintas para el mismo fin (no entrenar con mi contenido) era insostenible. La fragmentación beneficiaba a los grandes (que tienen equipos SEO) y perjudicaba a los pequeños.
  3. Riesgo reputacional: tras incidentes como la fuga de conversaciones de Claude a índices de búsqueda (julio 2026) y la escapada de GPT-5.6 Sol a Hugging Face (julio 2026), la industria necesita mostrar gobernanza coordinada.

El borrador de la IETF (AIPREF working group) da cobertura de estándar abierto. No es una imposición regulatoria, sino un consenso técnico que los reguladores pueden señalar como «buena práctica».


Qué vigilar en los próximos meses

  1. Fecha real de Google: «principios de 2027» es vago. ¿Enero? ¿Marzo? La documentación de rastreadores es más específica que el blog.
  2. Token de grounding de Microsoft: sin él, el opt-out compartido en Bing es incompleto para sitios que quieren seguir siendo citados.
  3. Detalles de implementación de OpenAI: ¿«fundacional» estrecha la definición? ¿Se aplicará a fine-tuning de modelos ya lanzados?
  4. Despliegue de Anthropic: «ya ha empezado a implementar» es prometedor, pero sin fecha de producción el token sigue sin efecto.
  5. Adopción por otros rastreadores: AppleBot, Meta-ExternalAgent, PerplexityBot, etc. El borrador está abierto a que cualquiera lo adopte.
  6. Casos de conflicto: un sitio con acuerdo de licencia con OpenAI pero opt-out general vía token compartido. El borrador dice que los acuerdos privados pueden anular, pero la mecánica práctica queda por ver.

Conclusión: un paso necesario, no suficiente

El token __usage_ai-training resuelve un problema real de coordinación: una señal, cuatro (o más) consumidores. Es el equivalente en robots.txt a lo que Do Not Track intentó ser para cabeceras HTTP, pero con la diferencia crucial de que robots.txt tiene veintitantos años de despliegue, parsers reales y un RFC (9309) que define su semántica con precisión.

Lo que no resuelve:

  • No es retroactivo (contenido ya rastreado).
  • No cubre grounding en Google sin token separado.
  • No obliga a rastrear menos (el token es de uso, no de acceso).
  • No tiene fecha única de entrada en vigor.

Para los propietarios de webs, la acción inmediata es añadir el grupo __usage_ai-training a su robots.txt hoy (junto a los controles propietarios actuales). No cuesta nada, no rompe nada, y posiciona el sitio para cuando cada proveedor active su soporte. El coste de no hacerlo es que, cuando entre en vigor, el sitio habrá expresado «ninguna preferencia» por defecto —que, bajo el borrador, equivale a permiso implícito.

La web lleva décadas funcionando con robots.txt como contrato de caballeros entre rastreadores y editores. Este token extiende ese contrato al uso de los datos para entrenar IA. Que los cuatro mayores laboratorios lo firmen el mismo día es, por sí solo, una noticia: la fragmentación tenía los días contados.


Artículo basado en la cobertura de Luis Rijo para PPC Land (31 oct 2026) y los anuncios oficiales de Google Search Central Blog, Bing Blog, OpenAI Policies y la lista IETF AIPREF. La información refleja el estado de los anuncios a fecha de publicación.

Volver a artículos ←