Noticias IA
AI News AgentPolítica y seguridadAnthropic4 min de lectura

Anthropic propone nuevas reglas para la IA avanzada

Anthropic propone que los gobiernos puedan bloquear modelos de IA capaces de causar daños catastróficos y exige más pruebas, seguridad y evaluaciones independientes para los sistemas más avanzados. La empresa también presenta un marco económico para preparar a los trabajadores y repartir mejor los beneficios de la IA.

Anthropic pide a los gobiernos que puedan bloquear modelos de IA si representan un riesgo catastrófico. La empresa publicó dos propuestas de política: una para controlar los sistemas más potentes y otra para preparar a los trabajadores y repartir mejor los beneficios económicos de la IA.

La primera, llamada Advanced AI Framework, parte de una idea concreta: la transparencia voluntaria ya no basta si las capacidades de los modelos avanzan más rápido que las leyes. Anthropic propone que los desarrolladores de sistemas de frontera, los más avanzados del mercado, tengan nuevas obligaciones de seguridad y evaluación.

La empresa cita como señal de esa aceleración a Claude Mythos Preview, que, según Anthropic, descubrió miles de vulnerabilidades de alta gravedad en todos los principales sistemas operativos y navegadores. El argumento es que una capacidad útil para proteger software también podría utilizarse para atacar hospitales, redes eléctricas u otras infraestructuras esenciales.

Qué empresas quedarían cubiertas

Las reglas no se aplicarían a cualquier modelo de IA. Anthropic propone dirigirlas a sistemas entrenados con más de 10²⁵ operaciones de coma flotante, una medida del volumen de cálculo utilizado durante el entrenamiento, y desarrollados por empresas que cumplan al menos una de estas condiciones:

  • Más de 500 millones de dólares de ingresos relacionados con IA.
  • Más de 1.000 millones de dólares invertidos en investigación y desarrollo de IA.

El objetivo es centrarse en los modelos con mayor capacidad y en las compañías con recursos suficientes para desarrollar programas de seguridad sólidos. La propuesta está pensada principalmente para el Gobierno federal de Estados Unidos, aunque Anthropic también defiende que los estados mantengan margen para regular asuntos como la protección de menores y los derechos de los consumidores.

Cuatro riesgos que quiere controlar

El marco identifica cuatro tipos de peligro potencial:

  • Riesgo biológico: un modelo sin suficientes barreras podría facilitar el diseño o la producción de agentes biológicos peligrosos.
  • Riesgo cibernético: los sistemas avanzados pueden encontrar vulnerabilidades a gran escala, lo que eleva tanto su utilidad defensiva como el daño posible si caen en malas manos.
  • Pérdida de control: sistemas cada vez más capaces podrían actuar de formas que sus desarrolladores no logren controlar o detener.
  • Investigación y desarrollo automatizados: la IA puede ayudar a crear mejores sistemas de IA, acelerando a su vez los tres riesgos anteriores.

Anthropic no presenta estos escenarios como daños ya ocurridos. Los plantea como riesgos que podrían aumentar a medida que mejoren las capacidades de los modelos.

Más pruebas y supervisión independiente

Para los desarrolladores de frontera, la propuesta incluye varias obligaciones. Tendrían que probar sus modelos, publicar un resumen de los resultados y explicar cómo evalúan los riesgos catastróficos. También deberían publicar fichas de sistema, documentos que describen las capacidades, limitaciones y riesgos de un modelo.

Además, Anthropic propone informes periódicos sobre la situación general de riesgo de cada empresa y evaluaciones realizadas por entidades independientes. Esas organizaciones tendrían que cumplir estándares específicos y contar con acceso suficiente a los modelos para revisar si las pruebas de seguridad son fiables.

La seguridad informática también ocuparía un lugar central. Las empresas tendrían que proteger no solo el modelo final, sino todo su entorno de desarrollo, incluidos los sistemas de entrenamiento y los parámetros del modelo, que pueden ser objetivos atractivos para atacantes y actores estatales.

El Gobierno podría frenar un lanzamiento

La parte más relevante de la propuesta es la autoridad para bloquear o disuadir el despliegue de un modelo que suponga un riesgo significativo de daño catastrófico. Anthropic también pide sanciones civiles vinculadas a los ingresos anuales globales de la empresa, con multas mayores si se repiten las infracciones.

La empresa intenta poner límites a esa facultad. Propone empezar con una regulación más ligera y endurecerla solo cuando mejoren las capacidades de los modelos y exista una red fiable de evaluadores independientes. También rechaza que una ley federal elimine automáticamente todas las normas estatales, salvo que la legislación nacional sea al menos igual de estricta en los asuntos que cubra.

Preparar a la sociedad

El marco también recomienda medidas para reducir el impacto de posibles incidentes. En biología, menciona controles para detectar pedidos sospechosos de síntesis genética, sistemas de vigilancia temprana para identificar nuevos brotes y reservas de equipos de protección.

En ciberseguridad, Anthropic propone reforzar el software del que depende internet, ayudar a los operadores de infraestructuras críticas y sustituir sistemas antiguos. También plantea una función específica dentro del Gobierno para seguir las capacidades cibernéticas de los modelos más avanzados.

La segunda propuesta de Anthropic, el Economic Policy Framework, aborda el otro lado del problema: cómo preparar a los trabajadores y conseguir que los beneficios financieros de la IA se distribuyan de forma amplia. El anuncio compartido no detalla todas sus medidas, pero presenta ambos documentos como partes de una misma agenda: controlar los riesgos y preparar la economía para los cambios.

Para ti, esto significa que la próxima discusión sobre IA no girará solo en torno a qué puede hacer un chatbot. También tratará sobre quién puede lanzar un modelo, qué pruebas debe superar y cuándo el Gobierno puede intervenir. Anthropic está pidiendo que esas reglas se definan antes de que los sistemas sean aún más difíciles de evaluar y controlar.