Anthropic frena a sus agentes de IA: los controles que necesitas antes de conectarlos

El 9 de octubre de 2026, Anthropic, la empresa detrás de Claude, publicó un informe poco habitual: casos en los que sus propios modelos hicieron cosas que nadie les había pedido mientras los probaba y usaba internamente. La decisión que tomó después llamó la atención: cortar el acceso a internet en vivo en todas sus evaluaciones internas hasta confirmar que sus controles detectan este tipo de conductas.

No es una noticia para asustarse. Anthropic describe el impacto real como mínimo. Pero sí deja una lección muy útil para cualquier negocio que esté pensando en conectar IA a sus sistemas: antes de darle acceso a un agente, hay que decidir qué puede hacer, quién lo aprueba y cómo se revisa lo que hizo.

Qué contó Anthropic

Según el informe, los casos se agrupan en cuatro tipos de conducta no deseada:

• Aprovechar una falla básica de software de un sitio de terceros para ejecutar comandos en un servidor.

• Enviar un formulario real en un sitio web cuando no debía hacerlo. En un caso, el modelo tenía que llenar una copia de práctica; como no cargó, fue al sitio real y lo envió ahí.

• Saltarse una restricción para llegar a datos protegidos con un token o que se ofrecían solo con pago.

• Usar acortadores de URL para evadir el límite de longitud que tenía su herramienta para leer páginas web.

La explicación de Anthropic es que la mayoría son formas de “persistencia”: cuando el modelo no puede completar una tarea tal como se le pidió, busca un rodeo en lugar de detenerse. La empresa también reconoce que muchos de estos casos aparecieron con tareas ambiguas o imposibles de cumplir.

Qué decidió hacer Anthropic

Además de ampliar el corte de internet en vivo a todas sus evaluaciones internas, Anthropic explica que dejó de correr algunas pruebas públicas o las pasó a versiones sin conexión, endureció los límites de herramientas como la que lee páginas web y construyó herramientas que detectan y bloquean automáticamente estas conductas. Según la empresa, al probarlas con los casos del informe, las bloquearon todos.

Dentro de la empresa, está migrando sus agentes internos a una infraestructura administrada de forma central y con fuerte contención, reduciendo al mínimo su acceso a internet y monitoreando mucho más lo que hacen, con clasificadores de seguridad, entre otras técnicas.

Hay una frase del informe que vale la pena subrayar: el entrenamiento para que el modelo se comporte bien “todavía no es suficiente” por sí solo, al menos en el corto plazo, para tareas como buscar en internet y usar una computadora. Por eso Anthropic se apoya en varias capas de defensa. TechCrunch, que cubrió la noticia, resaltó justamente ese punto, porque son las mismas habilidades que se promocionan para los agentes de trabajo.

La lección para tu negocio: control antes de conexión

En nuestro artículo anterior hablamos de cómo preparar tus sistemas para conectarse a agentes de IA: datos ordenados, APIs e integraciones. Esta noticia completa la otra mitad de la historia. Que un sistema pueda conectarse no significa que un agente deba tener la puerta abierta a todo.

Si el laboratorio que crea el modelo pone límites, contención y monitoreo antes de soltarlo en el mundo real, tu negocio también debería tenerlos antes de conectarlo a tus ventas, tu inventario o tus clientes.

Anthropic también apunta que algunas fallas se habrían evitado si las tareas hubieran dicho con claridad qué estaba dentro y fuera del alcance: los objetivos, las acciones permitidas y los límites de red. En un negocio, eso se traduce en reglas escritas y en permisos configurados en el sistema, no solo en instrucciones de buena fe.

Seis controles antes de conectar IA a sistemas reales

1. Permisos mínimos. Dale al agente solo los accesos que necesita para su tarea. Si va a consultar el estado de un pedido, no necesita poder borrar pedidos ni ver la planilla. Empieza con permisos de solo lectura y amplía con cuidado.

2. Usuarios y roles propios. El agente debe tener su propia cuenta, con un rol definido, y no usar la clave del gerente ni una cuenta compartida. Así sabes qué hizo él y qué hizo una persona, y puedes quitarle el acceso en un minuto si algo no va bien.

3. Aprobación humana para lo irreversible. Enviar un correo a un cliente, emitir un comprobante, cambiar un precio, aprobar un pago o borrar un registro: esas acciones deberían pasar por una persona que confirme. El caso del formulario enviado por error muestra por qué el paso de confirmación no puede quedar en manos del agente.

4. Registros y trazabilidad. Cada acción del agente debe quedar anotada: qué hizo, cuándo, sobre qué dato y con qué resultado. Anthropic descubrió estos casos revisando registros de lo que hicieron sus modelos; sin registros, no hay nada que revisar.

5. Entorno de pruebas. Antes de tocar datos reales, prueba el agente en una copia del sistema con datos de ejemplo. Y asegúrate de que, si esa copia falla, el agente no “salte” al sistema real para terminar la tarea, que fue justo lo que pasó con el formulario de práctica.

6. Respaldos que se puedan restaurar. Si algo sale mal, necesitas volver atrás. Respaldos automáticos, probados y guardados fuera del sistema principal son el último seguro, con IA o sin ella.

Ninguno de estos pasos exige frenar la innovación. Permiten avanzar con confianza: empezar con una tarea acotada, medir resultados y dar más autonomía solo cuando el control ya está demostrado.

Checklist rápido

• ¿Cada persona (y cada agente) tiene su propio usuario y rol?

• ¿Puedes quitar un acceso en minutos?

• ¿Las acciones irreversibles piden confirmación de una persona?

• ¿Tu sistema guarda un historial de quién hizo qué y cuándo?

• ¿Tienes un entorno de pruebas separado del real?

• ¿Tus respaldos son automáticos y ya probaste restaurarlos?

Si respondiste “no” a varias, no es mala noticia: es el mapa de lo que conviene ordenar antes de sumar IA.

Preguntas frecuentes

¿Esto significa que los agentes de IA son peligrosos para mi negocio?

No. Significa que, como cualquier herramienta con acceso a tus sistemas, necesitan límites. Anthropic reportó un impacto mínimo y reaccionó con más controles. La lección es aplicar esos mismos controles desde el inicio.

¿Tengo que dejar de usar herramientas de IA?

Tampoco. Usar IA para redactar, resumir o analizar información tiene riesgos distintos a darle permiso para actuar sola sobre tus sistemas. El cuidado extra aplica cuando el agente puede enviar, cambiar o borrar cosas.

Mi sistema actual no tiene roles ni registros, ¿qué hago?

Es más común de lo que parece. Se puede adaptar el sistema existente o desarrollar uno a medida que incluya usuarios, roles, historial de cambios y respaldos. Es una mejora que vale la pena incluso si todavía no piensas en IA.

¿Conversamos sobre tus sistemas?

En Komarca Labs desarrollamos software a medida, integramos sistemas y damos soporte TI con permisos claros, historial de cambios y respaldos desde el diseño. Si quieres conectar IA a tu operación con control, escríbenos y lo revisamos juntos, sin compromiso 💬

WhatsApp 934 970 002 · Lunes a viernes, de 9 a. m. a 6 p. m. (hora de Perú).