AWS Lambda étend la prise en charge du streaming des réponses à toutes les Régions AWS commerciales
La diffusion de réponse AWS Lambda est désormais disponible dans toutes les Régions AWS commerciales, ce qui assure une parité régionale complète pour cette fonctionnalité. Les clients des Régions récemment prises en charge peuvent utiliser l’API InvokeWithResponseStream pour retransmettre progressivement les données utiles des réponses aux clients au fur et à mesure que les données sont disponibles.
La diffusion des réponses permet aux fonctions d’envoyer des réponses partielles aux clients de manière incrémentielle au lieu de mettre en mémoire tampon la réponse complète avant la transmission. Cela réduit le temps de latence jusqu’au premier octet (TTFB) et convient parfaitement aux charges de travail sensibles à la latence, telles que les applications basées sur LLM ainsi que les applications Web et mobiles où les utilisateurs bénéficient de la possibilité de voir les réponses apparaître de manière incrémentielle. La diffusion de réponse prend en charge des données utiles jusqu’à un maximum par défaut de 200 Mo.
Grâce à cette extension, les clients de toutes les Régions commerciales peuvent diffuser leurs réponses à l’aide de l’API InvokeWithResponseStream via un AWS SDK compatible, ou via les API REST Amazon API Gateway avec la diffusion de réponses activé. La diffusion en continu de réponses prend en charge les exécutions gérées par Node.js ainsi que les exécutions personnalisées.
Les réponses en diffusion entraînent des frais supplémentaires pour le transfert réseau des données utiles de réponse. Vous êtes facturé en fonction du nombre d’octets générés et diffusés depuis votre fonction Lambda sur les 6 premiers Mo. Pour commencer à utiliser la diffusion de réponses Lambda, consultez la documentation AWS Lambda.