Reflexões do Primeiro Workshop de Perfil de IA Cibernética

Obrigado a todos que participaram do Workshop de Perfil de IA CibernéticaO NIST sediou em abril passado! Este trabalho pretende apoiar as comunidades de segurança cibernética e IA – e a contribuição que você forneceu durante este workshop é crítica. Estamos trabalhando para publicar um Resumo do Workshop que capture temas e destaques do evento. Nesse ínterim, gostaríamos de compartilhar uma prévia do que ouvimos.

O que ouvimos durante o workshop

O workshop consistiu em uma apresentação, bate-papo informal e dois painéis de discussão abertos a todos os públicos presenciais e ao vivo, seguidos por três rodadas de sessões presenciais.

Durante as discussões do workshop, as partes interessadas compartilharam que a segurança desses sistemas é importante, bem como a melhor forma de usar a IA para aprimorar e adaptar suas defesas cibernéticas com o advento de adversários que usam IA para ataques cibernéticos. Os participantes geralmente veem o Cyber AI Profile como uma ferramenta útil e concordaram em começar com a Estrutura de Segurança Cibernética, observando que as principais características devem incluir escalabilidade para organizações de diferentes tamanhos e tolerâncias ao risco, bem como reduzir a redundância entre as estruturas e o cenário em evolução de regulamentos, padrões e orientações.

Abaixo estão os principais temas que ouvimos dos participantes durante o workshop:

• Gerenciamento e governança de riscos corporativos: Os participantes geralmente concordaram que o risco de IA é o risco organizacional. Como tal, é fundamental integrar o gerenciamento de riscos de IA às práticas existentes de gerenciamento de riscos corporativos e estruturas de governança.
• Colaboração Multidisciplinar e Educação: O uso da IA introduz considerações de vários aspectos das operações organizacionais, incluindo equipes jurídicas, técnicas, de compras/aquisições e de governança. A colaboração entre essas áreas foi destacada como essencial para lidar com os riscos de segurança cibernética relacionados à IA. Os participantes pediram a integração de perspectivas por meio de equipes multidisciplinares para garantir uma visão abrangente da empresa. Eles também discutiram a necessidade de educação e colaboração entre equipes para preencher as lacunas de conhecimento entre especialistas em IA e segurança cibernética.
• Natureza de uso duplo da IA: A natureza de uso duplo da IA, tanto como uma ferramenta para melhorar as defesas quanto como um meio para os adversários amplificarem os ataques, apresenta oportunidades e riscos. As considerações de segurança cibernética precisam abordar esses usos duplos. A IA pode aprimorar as ferramentas de segurança cibernética, como detecção de anomalias e resposta a incidentes, e também permite que os adversários dimensionem e automatizem ataques, incluindo phishing, envenenamento de dados e inversão de modelo. Medidas de defesa proativas, como red teaming automatizado e princípios de confiança zero, foram identificadas como essenciais.
• Eficácia na Defesa Cibernética: A IA aumenta a eficiência na segurança cibernética, como análise de dados mais rápida e dependência reduzida de serviços de terceiros. No entanto, os participantes enfatizaram a importância de benchmarks mensuráveis para avaliar o desempenho da IA e mitigar desafios como falsos positivos e negativos para garantir que os recursos de defesa cibernética orientados por IA estejam funcionando conforme o esperado.
• Segurança da cadeia de suprimentos:O workshop ressaltou a importânciaA segurança da cadeia de suprimentos de IA, incluindo a necessidade de entender as origens dos componentes de IA (por exemplo, microsserviços, contêineres, bibliotecas) e dados, as novas vulnerabilidades que eles podem introduzir e seus possíveis impactos na segurança cibernética. As discussões também abrangeram modelos de código aberto, treinamento e uso de modelos de terceiros, compreensão dos impactos das mudanças de modelo ao longo do tempo e dependências de terceiros (bem como a necessidade de confiança e proveniência).
• Transparência: Os participantes pediram maior transparência nos sistemas de IA usados para apoiar a segurança cibernética, incluindo documentação clara da proveniência dos dados, comportamento do modelo e processos de tomada de decisão. As preocupações com a distribuição de dados que levam a resultados incorretos foram identificadas como áreas que requerem mais foco para garantir a confiabilidade nas implementações de segurança cibernética.
• Humano no circuito:Os participantes enfatizaram a importância de processos e treinamento human-in-the-loop para garantir a implementação e supervisão eficazes dos sistemas de IA usados para segurança cibernética. As discussões destacaram os desafios na compreensão do comportamento da IA, incluindo a variabilidade das respostas e a dificuldade em interpretar as decisões orientadas pela IA. Preencher as lacunas de conhecimento entre pesquisadores de IA e profissionais de segurança cibernética foi identificado como fundamental para permitir que as duas comunidades trabalhem juntas para construir e manter sistemas de IA confiáveis.
• Integração da estrutura: Os participantes enfatizaram a necessidade de um entendimento compartilhado e uma taxonomia comum entre as comunidades de IA e segurança cibernética e observaram a importância de integrar os riscos específicos da IA nas estruturas existentes, como o Estrutura de segurança cibernética do NIST (CSF), Estrutura de gerenciamento de risco de IA do NIST (AI RMF),Estrutura de privacidade do NIST,Estrutura de gerenciamento de risco do NIST (NIST RMF)eControles de segurança e privacidade para sistemas de informação e organizações. As sugestões incluíram mapeamentos para padrões internacionais, comoRegulamento Geral de Proteção de Dados da União Europeia (GDPR)e o antecipado ISO/IEC 27090e alavancar outros recursos comoMITRE ATLAS^TM para modelagem de ameaças. A necessidade de perfis comunitários específicos do setor, adaptados a setores como saúde, finanças e energia, também foi discutida.
• Diretrizes de implementação e referências informativas: Várias discussões enfatizaram a necessidade de orientação sobre a implementação de controles para sistemas de IA e referências informativas para ajudar as organizações a entender como gerenciar os riscos relacionados à IA.

  Veja esta postagem no blog do NIST sobre uma nova iniciativa alinhada a esta área:Segurança cibernética e IA: integrando e desenvolvendo as diretrizes existentes do NIST.

• Governança de dados:A governança de dados foi identificada como um tópico crítico, principalmente para sistemas de IA que dependem de fontes de dados externas ou de terceiros. Os participantes pediram uma área de foco separada para abordar dados confidenciais e seu uso em sistemas de IA, incluindo considerações de privacidade.

  Veja este esforço NIST relacionado: Perfil de Governança e Gestão de Dados.

Além disso, houve uma ênfase significativa na necessidade de complementar as medidas tradicionais de segurança cibernética com medidas de segurança cibernética adaptadas para IA. Exemplos de abordagens personalizadas discutidas durante o workshop incluem:

• Assinatura criptográfica para modelos.
• Sistemas de certificação.
• Uso da lista de materiais de software de IA (AIA SBOM) para aumentar a transparência e a responsabilidade nos componentes de IA.
• Garantir loops de feedback, onde as saídas do modelo são reutilizadas para treinamento adicional ou tomada de decisão, para evitar a amplificação de erros ou manipulações contraditórias.
• Estratégias de governança robustas para lidar com riscos, como envenenamento de dados e manipulação de modelos.
• Estratégias e políticas adaptativas de gerenciamento de identidade e controle de acesso para lidar com o papel crescente e complexo de identidades não humanas, como agentes e aplicativos de IA, em ambientes organizacionais.
• Estratégias e planos de resposta a incidentes que distinguem ataques contra modelos de IA de incidentes tradicionais de segurança cibernética e facilitam respostas apropriadas a ataques a sistemas de IA (por exemplo, reverter para as últimas versões válidas de modelos após o envenenamento do modelo).
• Segurança de dados ao longo de seu ciclo de vida em sistemas de IA (por exemplo, entradas e saídas de modelos)

Essas conclusões fornecem uma base para o futuro envolvimento da comunidade.