Uma lista com sete etapas para a preparação da segurança de seu aplicativo de IA generativa

 

A IA generativa teve um crescimento explosivo nos últimos anos, com aplicativos transformando a forma como as startups criam conteúdo, analisam dados e tomam decisões críticas. As organizações estão usando cada vez mais o poder dos modelos de IA generativa para criar aplicativos personalizados. Dessa forma, as startups que experimentam e utilizam a IA generativa devem fazer da segurança e do uso responsável uma prioridade máxima.

Neste post, desenvolvemos uma lista com sete itens descrevendo as medidas essenciais de segurança e conformidade que você deve considerar ao transferir seus aplicativos baseados em IA generativa da experimentação para a produção.

1. Estabeleça estrutura de governança e processo de conformidade

2. Revise e cumpra o Contrato de Licença de Usuário Final (EULA) e as políticas de uso de dados do provedor de grandes modelos de linguagem (LLM)

3. Implemente controles de acesso abrangentes

4. Reduza os riscos de entrada e saída

5. Proteja seus dados

6. Proteja seu perímetro

7. Implemente monitoramento abrangente e resposta a incidentes

A implementação da lista de verificação ajudará sua startup a mitigar riscos, proteger os dados e manter a confiança do usuário. Embora marcar mais itens melhore a defesa, você não precisa concluir todos os pontos de verificação, pois isso dependerá do que seu aplicativo precisa.

Os controles de segurança necessários variam de acordo com o tipo de modelo (pré-treinado, ajustado ou personalizado) que você está usando para criar seu aplicativo. Nosso foco será em aplicativos criados usando modelos pré-treinados, que abordam a maioria dos casos de uso de clientes.

 

Estabelecer uma estrutura abrangente de governança e conformidade é a base para a implantação responsável da IA. Pessoas e processos são fundamentais, então comece formando um comitê multifuncional de governança de IA com especialistas de departamentos jurídicos, de segurança de TI e de negócios. Esse comitê deve criar e aplicar políticas específicas para sua aplicação de IA generativa, abrangendo o tratamento de dados, a seleção de modelos e as diretrizes de uso.

Em seguida, desenvolva uma lista com itens de conformidade adaptada às regulamentações do seu setor (como GDPR ou PCI DSS). Devem ser cobertas medidas de privacidade de dados, gerenciamento de consentimento e requisitos de transparência. Implemente uma revisão de conformidade regular, como auditorias trimestrais, para garantir que você cumpra os padrões em constante desenvolvimento. Confira esses blogs para obter mais orientações: Escalando um programa de governança, risco e conformidade para a nuvem, tecnologias emergentes e inovação e Protegendo a IA generativa: considerações sobre dados, conformidade e privacidade.

Por fim, configure um sistema de documentação para rastrear decisões, mudanças e status de conformidade de seu aplicativo de IA generativa. Inclua recursos como controle de versão para políticas, registros de auditoria para alterações de modelo e um painel para o status de conformidade. Esse sistema não só ajudará a manter a conformidade, mas também fornecerá as evidências necessárias durante as auditorias externas.

 

É fundamental entender as limitações e os requisitos específicos para manter a conformidade e evitar possíveis problemas legais. Antes de integrar um modelo pré-treinado à sua aplicação, leia o Contrato de Licença do Usuário Final (EULA) e as políticas de uso de dados do provedor de LLM que você escolheu. Preste muita atenção a cláusulas relativas ao tratamento de dados, resultados de modelos e restrições ao uso comercial. Para usuários do Amazon Bedrock, consulte Acessar modelos do Amazon Bedrock Foundation. Se estiver fazendo sua própria implantação no Amazon SageMaker, revise as origens de modelos na página de detalhes do modelo.

Além de garantir a conformidade, ficar atento às novas atualizações também pode trazer oportunidades interessantes. Por exemplo, a licença Meta Llama 3.1 é considerada mais permissiva do que suas antecessoras, abrindo novos casos de uso, como analisar documentos longos e criar chatbots multilíngues avançados para uso global. Seja qual for modelo escolhido, a revisão regular desses aspectos garante que sua aplicação possa tirar proveito de novas oportunidades.

Ao desenvolver e realizar a implantação de sua aplicação de IA generativa, você precisará de controles de acesso robustos para proteger seu sistema e seus dados. Isso inclui a configuração de políticas de autenticação, autorização e acesso aos dados, tudo isso respeitando o princípio do privilégio mínimo (PoLP). A ideia por trás do PoLP é que os usuários e os serviços tenham apenas o acesso necessário para realizar seus trabalhos. Ao seguirem o PoLP, as equipes podem reduzir possíveis riscos à segurança e tornar mais difícil para os invasores encontrarem uma brecha.

Comece implementando a autenticação de usuários por meio de serviços como o Amazon Cognito ou o Amazon Verified Permissions e configure controles de autorização para ajudar a cumprir o PoLP. Aqui está um exemplo de como você pode usar os tokens JWT do Amazon Cognito para realizar a propagação de identidade e a autorização detalhada:

Defina controles de acesso para cada parte da sua aplicação de IA generativa, incluindo o LLM, bancos de dados, sistemas de armazenamento e quaisquer serviços ou APIs conectados. Utilize modelos que possam ser acessados por meio de credenciais temporárias de curta duração (como as do Amazon Bedrock ou do Amazon SageMaker) para manter o acesso seguro e mais fácil de gerenciar. O Amazon Bedrock também permite que você controle exatamente quem pode acessar quais modelos, para que você possa bloquear o acesso quando necessário.

Em seguida, certifique-se de que as sessões dos usuários e os contextos das conversas estejam isolados, implementando mecanismos que impeçam os usuários de acessar o conteúdo, os históricos de sessão ou as informações de conversas de outros usuários. Utilize identificadores de sessão exclusivos para os usuários e valide-os sempre que um usuário acessar o sistema. A implementação do gerenciamento de sessões no lado do servidor permitirá que você logue o histórico das conversas e o contexto em bancos de dados isolados para cada usuário.

Para implementações de geração aumentada via Recuperação (RAG), é fundamental gerenciar o acesso às bases de conhecimento utilizadas para complementar as respostas dos LLM. Você pode simplificar isso usando as Amazon Bedrock Knowledge Bases com filtragem de metadados, que oferecem controles de acesso integrados para garantir que os usuários recuperem apenas as informações às quais têm autorização para acessar. Se você estiver gerenciando seu próprio RAG, use o Amazon Kendra para filtrar as respostas com base nas permissões do usuário. Consulte o diagrama acima (etapa 5) para ver uma ilustração de como funciona a filtragem de metadados.

 

Depois de implementar os controles de acesso, você poderá se concentrar nos mecanismos de avaliação para analisar e mitigar os riscos associados às entradas dos usuários e aos resultados dos modelos em sua aplicação de IA generativa. Isso ajuda a proteger contra vulnerabilidades como ataques de injeção de prompt, geração de conteúdo inadequado ou alucinações.

Você pode simplificar esse processo usando o Amazon Bedrock Guardrails. O Guardrails permite que você configure barreiras de proteção para entradas de prompt e saídas de modelo que podem ser aplicadas a todos os LLMs no Amazon Bedrock, incluindo modelos ajustados e até mesmo aplicações de IA generativa fora do Amazon Bedrock.

Como precaução adicional, implemente um catálogo de prompts verificado (um conjunto pré-aprovado de prompts para tarefas comuns) usando o Gerenciamento de Prompts do Amazon Bedrock, a fim de gerenciar os prompts de maneira eficaz e proteger o LLM contra instruções maliciosas.

A validação dos resultados é igualmente importante. As respostas do LLM devem ser tratadas com cautela — se o modelo estiver gerando código ou consultas a bancos de dados (que serão repassadas a outros componentes), você deve tratar sua saída como se ela tivesse vindo de um usuário não confiável. Sempre verifique as permissões e execute verificações de segurança antes de permitir que ele interaja com outros sistemas. Utilize métodos seguros, como consultas parametrizadas para bancos de dados, e verifique a estrutura de qualquer código SQL gerado antes de utilizá-lo. Você também pode limitar os riscos utilizando modelos de prompt nas solicitações do sistema para controlar o formato das respostas do modelo.

Se seus LLMs gerarem comandos de sistema ou código, é fundamental adotar medidas de segurança rigorosas. Comece aplicando verificações de validação rigorosas. Isso inclui o uso de listas de permissão, a verificação da sintaxe e a compreensão do que o código está tentando fazer. Para linguagens como JavaScript ou Markdown, sempre codifique a saída antes de exibi-la aos usuários, a fim de se proteger contra possíveis vulnerabilidades. Se for necessário executar o código da IA, certifique-se de fazê-lo em uma sandbox (um ambiente isolado) para manter seu sistema principal protegido caso algo dê errado.

 

Em seguida, certifique-se de proteger os dados que seu modelo usa e aos quais responde (como consultas de usuários, contextos adicionais e bases de conhecimento usadas em sistemas RAG) por meio de criptografia.

Isso é facilitado por serviços como o AWS Key Management Service para gerenciamento, armazenamento e rotação seguros de chaves de criptografia e o AWS Identity and Access Management (IAM) para controles de acesso. Você também pode ativar o controle de versão para o armazenamento da sua base de conhecimento (como o controle de versão do S3) para acompanhar as alterações e garantir que seus dados permaneçam confiáveis e seguros.

Se você estiver lidando com dados sensíveis, você também pode implementar o mascaramento ou o bloqueio de dados usando os filtros de informações confidenciais do Bedrock Guardrail.

 

Agora que seus dados estão protegidos, você pode se concentrar em proteger sua infraestrutura de IA generativa. Ao usar dados proprietários, certifique-se de configurar um perímetro seguro para evitar a exposição à Internet pública. O endpoint Amazon Bedrock VPC cria uma conexão privada entre sua nuvem privada virtual (VPC) e a conta Amazon Bedrock, fortalecendo a segurança de seus dados e interações de modelos.

Os LLMs usam um poder computacional significativo, tornando-os alvos de abuso. Para evitar isso, você pode definir limites para a quantidade de usuários que podem acessar seu aplicativo. Use o AWS Web Application Firewall (WAF) para definir esses limites e o Amazon API Gateway para controlar a taxa de solicitações para seu aplicativo. Essas medidas protegerão sua infraestrutura e, ao mesmo tempo, garantirão que seu sistema tenha um bom desempenho e funcione de forma consistente.

 

Depois de proteger sua configuração e seus dados, você pode passar a se concentrar na proteção do monitoramento do sistema. Isso inclui a implementação de mecanismos de resposta para detectar e resolver rapidamente problemas de segurança. Monitore métricas de uso de LLM, como volume de solicitações, latência e taxas de erro, para compreender a performance do seu sistema e detectar anomalias. O Amazon CloudWatch criará alertas quando essas métricas excederem seus níveis definidos.

Além disso, você deve elaborar um plano de resposta a incidentes para lidar com situações como injeções de prompt, resultados inesperados do modelo ou vazamentos de dados. Descreva um processo de escalonamento para cada cenário, incluindo a indicação das principais ferramentas e dos membros da sua equipe, bem como suas responsabilidades. Por fim, implemente um sistema como o “Andon cord”, que permita desativar rapidamente um modelo, reverter para uma versão anterior ou alternar para um modo seguro caso algo dê errado. Ter essas etapas claras definidas para questões de segurança ajudará você a responder mais rapidamente e a manter sua aplicação de IA segura e estável.

Esta lista com sete etapas é um guia essencial para acompanhar o desenvolvimento de seu aplicativo de IA generativa: do protótipo à produção. Abordar e acionar cada item ajudará você a criar e implantar com responsabilidade, protegendo sua organização e seus usuários. E lembre-se de que a IA generativa está evoluindo em um ritmo rápido, por isso é importante se manter atualizado com os últimos desenvolvimentos em segurança de IA para manter seu aplicativo (e sua startup) na vanguarda da inovação e da confiança. Confira o Builder Center | IA agêntica para acompanhar nossas últimas atualizações!

Esta publicação aborda os controles de segurança para aplicativos que usam modelos pré-treinados. Se você está pensando em usar modelos ajustados ou personalizados, consulte a Matriz de Controles de Segurança de IA Generativa para entender os diferentes riscos e mitigações a serem observados com base no tipo de modelo. Você também pode consultar informações sobre como ter uma abordagem segura da IA generativa ou entrar em contato com sua equipe de contas para obter suporte adicional.