Una lista de verificación de siete pasos para garantizar la seguridad de su aplicación de IA generativa

 

La IA generativa ha experimentado un crecimiento explosivo en los últimos años, con aplicaciones que transforman la forma en que las startups crean contenido, analizan datos y toman decisiones críticas. Las organizaciones utilizan cada vez más el poder de los modelos de IA generativa para crear aplicaciones personalizadas. Por lo tanto, las startups que experimentan y utilizan la IA generativa deben hacer de la seguridad y el uso responsable una prioridad máxima.

En esta publicación, hemos desarrollado una lista de verificación de siete elementos en la que se describen las medidas esenciales de seguridad y cumplimiento que debe tener en cuenta al trasladar sus aplicaciones basadas en IA generativa de la experimentación a la producción.

1. Establecimiento del marco de gobernanza y un proceso de cumplimiento

2. Revisión y cumplimiento con el acuerdo de licencia de usuario final (EULA) y las políticas de uso de datos del proveedor del modelo de lenguaje de gran tamaño (LLM)

3. Implementación de controles de acceso integrales

4. Mitigación de los riesgos de entrada y salida

5. Proteja los datos

6. Protección del perímetro

7. Implementación de una supervisión integral y una respuesta frente a incidentes

La implementación de la lista de verificación ayudará a la startup a mitigar los riesgos, proteger los datos y mantener la confianza de los usuarios. Si bien marcar más elementos mejora la defensa, no es necesario completar todos los puntos de control, ya que esto dependerá de las necesidades de la aplicación.

Los controles de seguridad necesarios variarán según el tipo de modelo (previamente entrenado, refinado o personalizado) que utilice para crear la aplicación. Nos centraremos en las aplicaciones creadas con modelos previamente entrenados, que tratan la mayoría de los casos de uso de los clientes.

 

Establecer un marco integral de gobernanza y cumplimiento es la base para una implementación de la IA responsable. Las personas y los procesos son clave, así que comience por formar un comité de gobernanza de IA interfuncional con expertos en la materia de las unidades legales, de seguridad de TI y empresariales pertinentes. Este comité debe crear y aplicar políticas específicas para la aplicación de IA generativa, que traten la gestión de datos, la selección de modelos y las pautas de uso.

A continuación, elabore una lista de verificación de cumplimiento adaptada a las normativas del sector (como el RGPD o el PCI DSS). Debe tratar las medidas de privacidad de los datos, la administración del consentimiento y los requisitos de transparencia. Implemente una revisión de cumplimiento regular, como auditorías trimestrales, para asegurarse de cumplir con los estándares en desarrollo. Consulte estos blogs para obtener más orientación: Escalado de un programa de gobernanza, riesgo y cumplimiento para la nube, las tecnologías emergentes y la innovación y Protección de la IA generativa: consideraciones sobre datos, cumplimiento y privacidad.

Por último, configure un sistema de documentación para hacer un seguimiento de las decisiones, los cambios y el estado de cumplimiento de la aplicación de IA generativa. Incluya características como el control de versiones para las políticas, los registros de auditoría para los cambios del modelo y un panel para el estado de cumplimiento. Este sistema no solo ayudará a mantener el cumplimiento, sino que también proporcionará las pruebas necesarias durante las auditorías externas.

 

Es crucial comprender las limitaciones y los requisitos específicos para garantizar el cumplimiento y evitar posibles problemas legales. Antes de integrar un modelo previamente entrenado en su aplicación, revise el EULA y las políticas de uso de datos del proveedor de LLM que haya elegido. Preste mucha atención a las cláusulas sobre el manejo de datos, los resultados de los modelos y las restricciones de uso comercial. Si es usuario de Amazon Bedrock, consulte Acceso a los modelos fundacionales de Amazon Bedrock. Si realiza implementaciones por su cuenta en Amazon SageMaker, consulte los orígenes del modelo en la página de detalles del modelo.

Además de garantizar el cumplimiento, estar al día de las nuevas actualizaciones también puede brindar oportunidades interesantes. Por ejemplo, la licencia de Meta Llama 3.1 se considera más permisiva que sus predecesoras, lo que abre nuevos casos de uso, como el análisis de documentos extensos y la creación de chatbots multilingües avanzados para uso global. Independientemente del modelo que elija, la revisión regular de estos aspectos garantiza que su aplicación pueda aprovechar las nuevas oportunidades.

Al desarrollar e implementar una aplicación de IA generativa, necesitará controles de acceso sólidos para proteger el sistema y los datos. Esto incluye la configuración de políticas de autenticación, autorización y acceso a los datos de los usuarios, todo ello mientras se respeta el principio de privilegio mínimo (PoLP). La idea detrás del PoLP es que los usuarios y los servicios solo tengan el acceso que necesitan para hacer su trabajo. Al seguir el PoLP, los equipos pueden reducir los posibles riesgos de seguridad y dificultar que los atacantes encuentren una forma de entrar.

Comience por implementar la autenticación de usuarios mediante servicios como Amazon Cognito o Amazon Verified Permissions y configure los controles de autorización para cumplir con el PoLP. Este es un ejemplo de cómo puede usar los tokens JWT de Amazon Cognito para efectuar la propagación de identidades y la autorización detallada:

Establezca controles de acceso para cada parte de la aplicación de IA generativa, lo que incluye el LLM, las bases de datos, los sistemas de almacenamiento y cualquier servicio o API conectados. Utilice modelos a los que se pueda acceder mediante credenciales temporales de corta duración (como las de Amazon Bedrock o Amazon SageMaker) para mantener el acceso seguro y fácil de administrar. Amazon Bedrock también le permite controlar exactamente quién puede acceder a qué modelos, de modo que puede bloquear el acceso cuando sea necesario.

A continuación, asegúrese de que las sesiones de usuario y los contextos de conversación estén aislados mediante la implementación de mecanismos para impedir que los usuarios accedan al contenido, los historiales de sesión o la información conversacional de otros usuarios. Utilice identificadores de sesión únicos para los usuarios y valídelos cada vez que un usuario acceda al sistema. La implementación de la administración de sesiones del servidor le permitirá registrar los historiales de las conversaciones y el contexto en almacenes de datos aislados para cada usuario.

Para las implementaciones de generación aumentada por recuperación (RAG), es crucial administrar el acceso a las bases de conocimiento que se utilizan para aumentar las respuestas del LLM. Para simplificarlo, puede usar las bases de conocimiento de Amazon Bedrock con filtrado de metadatos, que proporcionan controles de acceso integrados a fin de garantizar que los usuarios solo recuperen la información para la que tienen autorización de acceso. Si administra su propia RAG, utilice Amazon Kendra para filtrar las respuestas en función de los permisos de los usuarios. Consulte el diagrama anterior (paso 5) para ver una ilustración de cómo funciona el filtrado de metadatos.

 

Una vez que haya implementado los controles de acceso, ya puede centrarse en los mecanismos de evaluación para evaluar y mitigar los riesgos asociados a las entradas de los usuarios y las salidas del modelo en la aplicación de IA generativa. Esto ayuda a protegerse contra vulnerabilidades como los ataques por inyección de peticiones, la generación de contenido inapropiado o las alucinaciones.

Puede simplificar este proceso con las barreras de protección de Amazon Bedrock. Las barreras de protección le permiten configurar defensas para una entrada de peticiones y una salida del modelo que se pueden aplicar en todos los LLM de Amazon Bedrock, lo que incluye los modelos de ajuste fino e incluso las aplicaciones de IA generativa afuera de Amazon Bedrock.

Como medida de precaución adicional, implemente un catálogo de peticiones verificado (un conjunto de peticiones aprobadas previamente para tareas comunes) mediante Administración de peticiones de Amazon Bedrock, para administrar las peticiones de manera eficaz y proteger el LLM de instrucciones malintencionadas.

La validación de la salida es igualmente importante. Las respuestas del LLM deben tratarse con precaución: si el modelo genera consultas de código o bases de datos (que se pasarán a otros componentes), debe tratar el resultado como si proviniera de un usuario que no es de confianza. Compruebe siempre los permisos y lleve a cabo controles de seguridad antes de permitir que interactúe con otros sistemas. Utilice métodos seguros, como consultas parametrizadas para bases de datos, y revise la estructura de cualquier SQL generado antes de usarlo. También puede limitar los riesgos mediante plantillas de peticiones dentro de las peticiones del sistema para controlar el formato de las respuestas del modelo.

Si los LLM generan códigos o comandos del sistema, es crucial que utilice medidas de seguridad sólidas. Comience por emplear controles de validación estrictos. Esto incluye el uso de listas de elementos permitidos, la comprobación de la sintaxis y la comprensión de lo que intenta hacer el código. Para lenguajes como JavaScript o Markdown, codifique siempre la salida antes de mostrarla a los usuarios para protegerla frente a posibles vulnerabilidades. Si es necesario ejecutar el código de la IA, asegúrese de hacerlo en un entorno de pruebas (un entorno aislado) para mantener el sistema principal seguro en caso de que algo salga mal.

 

A continuación, asegúrese de proteger los datos que usa el modelo y a los que responde (como las consultas de los usuarios, los contextos adicionales y las bases de conocimiento utilizadas en los sistemas de la RAG) mediante el cifrado.

Esto se facilita gracias a servicios como AWS Key Management Service para la administración, el almacenamiento y la rotación seguros de claves de cifrado y AWS Identity and Access Management (IAM) para los controles de acceso. También puede activar el control de versiones para el almacenamiento de la base de conocimiento (como el control de versiones de S3) para hacer un seguimiento de los cambios y garantizar la fiabilidad y la seguridad de los datos.

Si gestiona información confidencial, también puede implementar el bloqueo o enmascaramiento de datos mediante los filtros de información confidencial de barreras de protección para Bedrock.

 

Ahora que los datos están protegidos, puede centrarse en proteger la infraestructura de IA generativa. Cuando utilice datos patentados, asegúrese de configurar un perímetro seguro para evitar la exposición a la Internet pública. El punto de conexión de VPC de Amazon Bedrock crea una conexión privada entre la nube privada virtual (VPC) y la cuenta de Amazon Bedrock, lo que refuerza la seguridad de las interacciones del modelo y los datos.

Los LLM utilizan una potencia de computación significativa, lo que los convierte en blanco de abusos. Para evitarlo, puede establecer límites sobre cuánto pueden los usuarios acceder a la aplicación. Utilice AWS Web Application Firewall (WAF) para establecer estos límites y Amazon API Gateway para controlar la tasa de solicitudes a la aplicación. Estas medidas protegerán la infraestructura y, al mismo tiempo, garantizarán que el sistema funcione correctamente y de manera uniforme.

 

Cuando haya protegido la configuración y los datos, podrá centrarse en proteger la supervisión del sistema. Esto incluye la implementación de mecanismos de respuesta para detectar y abordar rápidamente los problemas de seguridad. Supervise las métricas de uso del LLM, como el volumen de solicitudes, la latencia y las tasas de error, para comprender el rendimiento del sistema y detectar anomalías. Amazon CloudWatch creará alertas cuando estas métricas superen los niveles establecidos.

Además, debe desarrollar un plan de respuesta ante incidentes para abordar situaciones como las inyecciones de peticiones, los resultados inesperados de los modelos o las filtraciones de datos. Describa un proceso de escalado para cada situación, lo que incluye nombrar las herramientas clave y los miembros del equipo y sus responsabilidades. Por último, configure un sistema como Andon cord que le permita desactivar rápidamente un modelo, volver a una versión anterior o cambiar a un modo seguro si algo sale mal. Disponer de estas medidas claras para los problemas de seguridad le permitirá responder más rápido y mantener la aplicación de IA segura y estable.

Esta lista de verificación de siete pasos es una guía esencial para pasar una aplicación de IA generativa del prototipo a la producción. Abordar cada elemento y tomar medidas al respecto le permitirá crear e implementar de manera responsable y proteger tanto a su organización como a sus usuarios. Recuerde que la IA generativa evoluciona a un ritmo rápido, por lo que es importante mantenerse al día con los últimos avances en seguridad de la IA para mantener su aplicación (y su startup) a la vanguardia de la innovación y la confianza. Visite Builder Center: IA agéntica para no perderse ninguna actualización.

En esta publicación se tratan los controles de seguridad para las aplicaciones que utilizan modelos previamente entrenados. Si está pensando en utilizar modelos refinados o personalizados, consulte la Matriz de ámbito de seguridad de la IA generativa para comprender los diferentes riesgos y mitigaciones que debe tener en cuenta según el tipo de modelo. También puede consultar Enfoque seguro de la IA generativa o contactar con el equipo de cuentas para obtener asistencia adicional.