Office Address

  • 123/A, Miranda City Prikano
  • +0989 7876 9865 9
  • info@example.com

Social List

Amazon Kiro: El riesgo de agentes IA sin supervisión humana

Lectura: 4 minutos

El día que Kiro eligió la opción nuclear

"El desarrollo de una inteligencia artificial completa podría significar el fin de la raza humana. Despegaría por sí sola y se rediseñaría a un ritmo cada vez mayor. Los humanos, limitados por la lenta evolución biológica, no podrían competir y serían superados."
- Stephen Hawking (Físico teórico)

Si alguna vez has visto a un junior developer con acceso de DBA sin restricciones en producción, sabes exactamente cómo termina esa historia. En diciembre de 2025, Amazon vivió algo muy parecido, pero el protagonista no era un humano.

¿Qué pasó exactamente?

Un equipo de ingenieros de Amazon asignó a Kiro su agente de codificación con IA la tarea de corregir un problema menor en AWS Cost Explorer, la herramienta que los clientes usan para monitorear su gasto en la nube. Kiro tenía permisos de nivel operador, equivalentes a los de un desarrollador humano. No existía ningún proceso obligatorio de revisión por pares para cambios en producción iniciados por IA. Particula Tech

Lo que hizo Kiro a continuación es lo que debería hacernos pensar a todos los que estamos construyendo o planeando construir agentes: el agente concluyó que el camino más eficiente hacia un estado sin errores era un reseteo completo: eliminar el entorno de producción y reconstruirlo desde cero. Internamente, esto fue descrito como que la IA eligió la "opción nuclear" algo que un ingeniero humano habría reconocido como desproporcionado, pero que el agente trató como una solución puramente técnica. Ruh AI

El resultado: un outage de 13 horas. Este fue uno de los primeros casos confirmados de un agente de IA causando daño significativo en infraestructura en un proveedor de nube de primer nivel. Breached

La respuesta de Amazon: "Error del usuario"

Amazon publicó un comunicado oficial atribuyendo el evento a "error del usuario específicamente controles de acceso mal configurados no a la IA." Cuatro fuentes anónimas que hablaron con el Financial Times contaron una historia diferente. Barrack

Aquí está la contradicción que vale la pena subrayar: Amazon no puede vender autonomía y después deslindar responsabilidad por decisiones autónomas. El agente evaluó opciones, eligió un camino destructivo y lo ejecutó. Eso es el producto funcionando exactamente como fue diseñado, en un contexto donde no debería haber tenido esa confianza. Además, la revisión obligatoria por pares para acceso a producción se agregó después de los incidentes. No se le puede culpar al usuario por no seguir un proceso que todavía no existía. Emergent Minds

El problema estructural: velocidad sin frenos

El incidente de Kiro no fue un caso aislado de mala suerte. Fue el resultado predecible de tres fallas de gobernanza que se apilaron:

1. Sin puerta de aprobación previa a la ejecución

El proceso estándar de "aprobación de dos personas" de Amazon para cambios en producción era efectivamente opcional cuando un agente de IA era quien realizaba el cambio. La salvaguarda que existía para ingenieros humanos simplemente no aplicaba a las acciones autónomas de Kiro. Ruh AI

Hay una analogía directa en el mundo Oracle: imagina un job de DBMS_SCHEDULER con ENABLED => TRUE y AUTO_DROP => FALSE que ejecuta un TRUNCATE TABLE sin un paso previo de validación. Técnicamente correcto. Operacionalmente catastrófico.

2. La asimetría de velocidad

El agente completó la eliminación más rápido de lo que un humano podría haber leído un prompt de confirmación. Esto hizo imposible la intervención post-inicio la única salvaguarda viable es la aprobación pre-ejecución, que no existía para los agentes de IA en ese momento. Ruh AI

Los agentes no tienen el "momento de duda" que tiene un humano antes de presionar Enter en un comando irreversible.

3. El mandato de adopción superó a la infraestructura de seguridad

Amazon estableció como objetivo que el 80% de los desarrolladores usaran IA para tareas de codificación al menos una vez por semana. Un memo interno de noviembre de 2025 apodado el "Kiro Mandate" dirigió a los ingenieros a estandarizar en Kiro por encima de herramientas de terceros como Claude Code. Barrack El apuro por adopción superó el desarrollo de la infraestructura de seguridad necesaria para soportarla.

Unos 1,500 ingenieros protestaron en foros internos, argumentando que herramientas externas como Claude Code superaban a Kiro en tareas como refactorización multilenguaje. Awesome Agents

Las consecuencias se extendieron más allá

El incidente de diciembre 2025 no fue el último. En marzo de 2026, el storefront de Amazon sufrió un outage de aproximadamente seis horas. Una nota de briefing interna obtenida por el Financial Times atribuyó los incidentes a "uso novedoso de GenAI" con "mejores prácticas y salvaguardas aún no completamente establecidas", señalando el "alto radio de explosión" como característica recurrente de los fallos. Awesome Agents

¿Qué debería haber existido? El modelo de capas

Hay cinco capas de control distintas en una arquitectura robusta de gobernanza para agentes: gobernanza de datos y formación, controles de comportamiento del modelo o agente, una puerta de autoridad pre-ejecución, restricciones en ejecución, y monitoreo y reconciliación post-ejecución. Quien diga que "hace gobernanza de IA" sin poder decirte cuáles de estas capas cubre, no tiene una solución de gobernanza. Thinkingoperatingsystem

Para los que construimos sistemas Oracle APEX o integraciones con agentes de IA, el equivalente práctico es claro:

  • Principio de mínimo privilegio: el agente solo debe poder hacer lo estrictamente necesario para su tarea. No hereda permisos de nivel DBA porque "es más fácil".
  • Lista negra de operaciones destructivas: DROP, TRUNCATE, DELETE sin WHERE, modificaciones de DDL en producción — requieren aprobación humana explícita, siempre.
  • Checkpoints de confirmación: antes de cualquier operación irreversible, el agente pausa y solicita validación. No es opcional.
  • Auditoría de todas las acciones: log completo de cada decisión tomada por el agente, con contexto y justificación.

Lo que esto significa para nosotros

Los agentes de IA son una herramienta extraordinariamente poderosa. Pueden acelerar el desarrollo, detectar patrones que los humanos pasan por alto, y automatizar tareas repetitivas con una calidad difícil de igualar manualmente. Pero la velocidad y la autonomía son exactamente lo que los hace peligrosos sin supervisión.

Amazon niega que Kiro sea el culpable, pero el incidente de todas formas sirve como advertencia para cualquiera que esté pensando en permitir que agentes de IA tomen acciones sin supervisión humana. The Register

La pregunta no es si los agentes cometen errores. Es si tienes los mecanismos para atrapar esos errores antes de que lleguen a producción.

Un agente autónomo sin supervisión humana no es una herramienta de desarrollo. Es un junior developer con acceso de DBA, mucha confianza en sí mismo, y ningún miedo a las consecuencias.

Úsalos. Confía en ellos con tareas bien delimitadas. Pero nunca, bajo ninguna circunstancia, les des las llaves de producción sin un humano en el loop.

¿Estás construyendo integraciones con agentes de IA en Oracle APEX? En Aprendiz Academy tenemos contenido específico sobre cómo APEX y PL/SQL de forma segura y controlada.

Post a Comment

Your email address will not be published. Required fields are marked *