Seguridad de los agentes de IA: lecciones del incidente de Hugging Face

01. Aplicar permisos fuera del modelo

El hecho de que un agente pueda realizar una acción no significa que esté autorizado a llevarla a cabo. Una indicación puede describir un comportamiento aceptable, pero no puede sustituir a los controles de acceso. Otorga a los agentes únicamente los permisos necesarios para sus tareas, con restricciones que se apliquen independientemente del modelo. Un agente no debería poder ampliar su propio acceso ni desactivar los controles que lo supervisan. La gestión de identidades y del acceso privilegiado ayuda a establecer estos límites.

02. Asignar una identidad y un responsable a cada agente

Cada agente de producción debe tener su propia identidad, un objetivo documentado y un responsable designado. Hay que distinguir la responsabilidad empresarial de las responsabilidades de desarrollo y administración: ¿quién aprueba su mandato, quién lo mantiene y quién puede intervenir? Las organizaciones deben poder rastrear las acciones hasta el agente, el usuario que las inició y la ejecución correspondiente. Una atribución clara de responsabilidades vincula la gobernanza y la implantación de la IA con las decisiones operativas cotidianas.

03. Gestionar a los agentes a lo largo de todo su ciclo de vida

Rob compara los agentes no gestionados con las bases de datos creadas de forma artesanal de la década de los noventa: soluciones rápidas que llegaron a ser fundamentales para el negocio sin una titularidad ni una documentación claras. Revisa la finalidad y los permisos de un agente cuando cambien las responsabilidades, transfiere la titularidad cuando su creador abandone la empresa y retira el acceso cuando se retire el agente. Los procesos de incorporación, traslado y baja deben tener en cuenta estas identidades digitales, así como a las personas responsables de ellas.

04. Vincular la vigilancia con la contención

La detección de actividades sospechosas solo resulta útil si la organización puede actuar en consecuencia. Los equipos necesitan saber qué está haciendo un agente, a qué sistemas tiene acceso y qué tareas ha delegado. También necesitan un método probado para detener la actividad, revocar el acceso y contener los procesos dependientes. Una detección y respuesta eficaces ante incidentes vinculan las alertas con una autoridad clara y una intervención práctica.

05. Evaluar el riesgo técnico junto con las obligaciones normativas

La clasificación de alto riesgo de la Ley de IA de la UE tiene en cuenta la finalidad prevista de un sistema de IA y los criterios de clasificación aplicables. No se trata de una medida directa del nivel de acceso a la producción que tiene un agente, tal y como explica la guía de clasificación de la Comisión Europea. Las organizaciones también deben evaluar qué puede leer, modificar o activar un agente, así como las consecuencias en caso de que actúe fuera de su ámbito de competencia. La evaluación normativa y la evaluación técnica de riesgos requieren una rendición de cuentas clara.

06. Mantener una supervisión humana significativa

La supervisión humana requiere de personas con las habilidades, el tiempo y la autoridad necesarios para cuestionar las acciones de un agente. La encuesta de Orgvue de 2025 reveló que el 55 % de los encuestados que habían llevado a cabo despidos relacionados con la IA creían haber tomado decisiones erróneas al respecto. Por otra parte, Robert Half informó de que el 32 % de los responsables de contratación de EE. UU. que habían eliminado un puesto principalmente debido a la IA volvieron a contratar posteriormente a alguien para ese mismo puesto o uno similar. Es importante comprender qué tipo de supervisión requiere tu modelo operativo antes de prescindir del personal que la proporciona.