Segurança de agentes de IA: lições do incidente da Hugging Face

01. Aplicar permissões fora do modelo

O fato de um agente ser capaz de realizar uma ação não significa que ele esteja autorizado a realizá-la. Uma orientação pode descrever um comportamento aceitável, mas não pode substituir os controles de acesso. Conceda aos agentes apenas as permissões necessárias para suas tarefas, com restrições aplicadas independentemente do modelo. Um agente não deve ser capaz de ampliar seu próprio acesso nem desativar os controles que o supervisionam. O gerenciamento de identidade e acesso privilegiado ajuda a estabelecer esses limites.

02. Atribuir a cada agente uma identidade e um responsável

Cada agente de produção precisa ter sua própria identidade, uma finalidade documentada e um responsável designado. É preciso distinguir a responsabilidade empresarial das responsabilidades de desenvolvimento e administração: quem aprova seu mandato, quem o mantém e quem pode intervir? As organizações devem ser capazes de rastrear as ações até o agente, o usuário que as iniciou e a execução relevante. A atribuição clara de responsabilidades conecta a governança e a implantação da IA às decisões operacionais do dia a dia.

03. Gerenciar agentes ao longo de todo o seu ciclo de vida

Rob compara os agentes não gerenciados aos bancos de dados criados internamente na década de 1990: soluções rápidas que se tornaram essenciais para os negócios, mas sem responsabilidade clara nem documentação. Revise a finalidade e as permissões de um agente quando houver mudanças nas responsabilidades, transfira a responsabilidade quando seu criador sair da empresa e remova o acesso quando ele for desativado. Os processos de admissão, transferência e desligamento devem levar em conta essas identidades digitais, juntamente com as pessoas responsáveis por elas.

04. Integrar o monitoramento com a contenção

A detecção de atividades suspeitas só é útil se a organização puder agir com base nisso. As equipes precisam ter visibilidade sobre o que um agente está fazendo, a quais sistemas ele tem acesso e quais tarefas delegou. Elas também precisam de uma maneira comprovada de interromper a atividade, revogar o acesso e conter os processos dependentes. A detecção e a resposta eficazes a incidentes associam os alertas a uma autoridade clara e a uma intervenção prática.

05. Avaliar os riscos técnicos em conjunto com as obrigações regulatórias

A classificação de alto risco prevista na Lei da IA da UE leva em consideração a finalidade pretendida de um sistema de IA e os critérios de classificação aplicáveis. Não se trata de uma medida direta do nível de acesso à produção que um agente possui, conforme explica o guia de classificação da Comissão Europeia. As organizações também devem avaliar o que um agente pode ler, alterar ou acionar, bem como as consequências caso ele atue fora de seu mandato. A avaliação regulatória e a avaliação técnica de risco exigem uma responsabilização clara.

06. Manter uma supervisão humana significativa

A supervisão humana exige pessoas com as habilidades, o tempo e a autoridade necessários para questionar as ações de um agente. A pesquisa da Orgvue de 2025 revelou que 55% dos entrevistados que haviam realizado demissões relacionadas à IA acreditavam ter tomado decisões erradas sobre essas demissões. Por outro lado, a Robert Half relatou que 32% dos gerentes de contratação dos EUA que haviam eliminado uma função principalmente por causa da IA voltaram a contratar para o mesmo cargo ou para um cargo semelhante. Entenda a supervisão que seu modelo operacional exige antes de dispensar as pessoas que a realizam.