A adoção emergente de agentes de IA, programas que envolvem grandes modelos de linguagem (LLMs) e realizam tarefas automatizadas ou semiautomatizadas, traz seu próprio conjunto de novos riscos de segurança cibernética.
Sean Morgan, arquiteto-chefe da Protect AI, empresa recentemente adquirida pela Palo Alto Networks, destacou os principais riscos da IA agêntica durante o AI Summit na Black Hat, em Las Vegas, em 5 de agosto.
Ele dividiu esses riscos em três categorias principais:
- Contexto corrompido em uma instrução para o agente de IA
- Fornecimento dinâmico de ferramentas e riscos da cadeia de suprimentos
- Erros de autenticação e autorização em todo o fluxo de controle do agente de IA
Os três principais riscos cibernéticos do uso de agentes de IA
Corrupção de contexto
A corrupção de contexto representa o risco de segurança mais crítico para os agentes de IA, disse Morgan.
Os LLMs lutam fundamentalmente para distinguir entre instruções legítimas e intervenções maliciosas.
Morgan destacou que esses modelos são “muito pouco confiáveis para determinar o que está vindo do usuário pretendido dentro do contexto”.
Isso significa que um invasor pode injetar estrategicamente instruções que reescrevem inteiramente o propósito original do agente – semelhante a um ataque de injeção de SQL.
Além disso, Morgan observou que a vulnerabilidade se estende além de simples interações de texto. O contexto pode ser corrompido por meio de vários canais, incluindo históricos de bate-papo, interações de memória de longo prazo, bancos de dados vetoriais, repositórios de documentos e até mesmo saídas de outros agentes de IA.
Alucinações de um agente podem se tornar “verdade fundamental” para outro, criando riscos de desinformação em cascata.
Exemplos do mundo real, como o Vazamento de eco, uma vulnerabilidade crítica de clique zero no Microsoft 365 Copilot que pode levar à exfiltração de dados corporativos confidenciais com um simples email, demonstram como emails mal-intencionados ou arquivos leiame do repositório podem manipular a compreensão e as ações de um agente de IA.
A complexidade aumenta em sistemas multiagentes, onde as interações se tornam exponencialmente mais imprevisíveis.
Um invasor pode criar uma cadeia de manipulações de contexto que alteram progressivamente o comportamento de um agente, tornando a detecção extremamente desafiadora.
Fornecimento dinâmico de ferramentas e riscos da cadeia de suprimentos
O fornecimento dinâmico de ferramentas introduz complexidades de segurança significativas, permitindo que os agentes de IA selecionem e combinem ferramentas para realizar tarefas de forma autônoma.
O Model-Context Protocol (MCP) permite que os agentes combinem os ativos disponíveis de forma flexível, mas essa flexibilidade cria vulnerabilidades de segurança substanciais. Um agente pode, sem saber, encadear ferramentas de maneiras não intencionais, potencialmente criando exposição acidental de dados ou caminhos de exfiltração.
Os riscos da cadeia de suprimentos emergem das interações potenciais entre diferentes serviços e ferramentas. Uma ferramenta aparentemente inócua pode incluir instruções que manipulam o comportamento do agente ou criam acesso backdoor.
Morgan descreveu “buracos de bug MCP” como um incidente em que um serviço anteriormente confiável pode mudar repentinamente seu comportamento, expondo todo o sistema a riscos inesperados. Essa natureza dinâmica significa que as avaliações de segurança se tornam continuamente desafiadoras, pois as interações das ferramentas podem mudar em tempo real.
Esses riscos são perigosos porque exploram a força central dos agentes de IA, sua capacidade de combinar recursos para resolver problemas de forma autônoma.
Um invasor pode criar um ataque sofisticado que parece ser uma solicitação de ferramenta legítima, mas na verdade contém instruções maliciosas ocultas.
Morgan, da Protect AI, alertou que a modelagem de ameaças dessas interações requer a compreensão não apenas de ferramentas individuais, mas de seus potenciais efeitos combinatórios.
Complexidade de autenticação e autorização
O cenário de autenticação e autorização para agentes de IA representa um desafio sem precedentes na segurança cibernética.
Como Morgan ilustrou, esses sistemas criam um “sistema de balão” onde a forma de proteger efetivamente os agentes de IA do ponto de vista de identidade e permissão é questionada.
Os modelos tradicionais de autenticação linear falham ao confrontar ambientes multiagentes com suas interações fluidas e dinâmicas.
Em sistemas complexos de vários agentes, um agente de orquestração deve navegar por cenários de permissões intrincados.
Morgan explicou: “Você tem um usuário que está trabalhando com um agente de orquestração. Você precisa apresentar a identidade de si mesmo como usuário. O próprio orquestrador provavelmente precisa ter algum tipo de identidade, tem que ter os privilégios para interagir com eles subagentes especializados”.
Isso significa que cada interação requer verificação de identidade diferenciada em várias camadas do sistema.
O desafio forense torna-se particularmente agudo na compreensão dessas transições de permissão.
Morgan observou que surge uma questão crítica: “Como você passa por cada etapa de um agente de orquestração enquanto ele está construindo o fluxo de controle para dizer que, neste ponto, assumiu esse papel, tinha permissões elevadas para fazer esse aspecto?”
Isso significa rastrear exatamente quando e por que um agente altera seu estado de autorização, o que se torna exponencialmente mais difícil à medida que as interações se tornam mais complexas.
O risco mais significativo está na imprevisibilidade dessas alterações de autorização. Um agente pode precisar ajustar dinamicamente suas permissões em vários subagentes, acessando diferentes componentes e ferramentas de dados.
Por fim, Morgan sugeriu que resolver esses desafios de autenticação requer “soluções de segurança específicas para IA” com “visibilidade de ponta a ponta” – uma abordagem abrangente que pode rastrear e validar todas as transições de permissão em tempo real.
O objetivo é criar um sistema em que a identidade e a autorização de cada agente possam ser mapeadas, monitoradas e controladas com precisão em interações multiagentes cada vez mais complexas.
Como evitar as deficiências de segurança da Agentic AI
Por fim, Morgan forneceu algumas recomendações para pessoas dispostas a desenvolver casos de uso de IA agenciais com segurança:
- Entenda suas cargas de trabalho agenciais internas e de software como serviço (SaaS)
- Mantenha a visibilidade e o controle de todo o contexto de instrução
- Desenvolver protocolos e sistemas que facilitem o controle adequado de authn/authz
- Desenvolver métodos de validação confiáveis para a seleção por agentes de IA de ferramentas e recursos a serem usados
- Modele ameaças, suas implantações de agentes e soluções SaaS
- Adicione soluções completas específicas de segurança de IA
- Fique por dentro dos mais recentes desenvolvimentos e pesquisas sobre segurança de IA agêntica