Comment turbopuffer refactorise l’économie de la recherche

La recherche sémantique joue un rôle clé dans l’établissement de liens entre les entreprises et les clients. Contrairement à la recherche en texte intégral traditionnelle, elle interprète le contexte d’une recherche pour rendre les interactions numériques plus intuitives, pertinentes et personnalisées. Alors qu’une recherche traditionnelle sur « robe rouge », par exemple, limiterait les résultats aux mots exacts utilisés, la recherche sémantique peut renvoyer des produits et du contenu significatifs au-delà des limites des mots clés. Cela inclut ceux qui sont liés et pertinents à la requête, tels que les articles décrits comme « robe bordeaux » ou « robe de soirée rouge ».

Jusqu’à récemment, le coût du stockage et de la recherche des volumes de données nécessaires à une recherche sémantique réussie empêchait de nombreuses personnes de tirer pleinement parti de ses avantages pour leurs cas d’utilisation les plus importants. C’est un défi aggravé par l’explosion de l’utilisation de grands modèles de langage (LLM) et la demande de recherches initiées par un agent à rappel élevé et à faible latence dans les documents, les bases de code et les sites web. Témoin direct de ce problème dans son ancien poste d’ingénieur principal chez Shopify et de consultant aidant les entreprises à mettre à l’échelle leur infrastructure, Simon Hørup Eskildsen était obsédé par la recherche d’une solution. Son intuition —et quelques calculs mathématiques — suggéraient qu’un changement fondamental dans l’architecture pourrait transformer radicalement l’économie de la recherche.

Depuis lors, Eskildsen et Justine Li ont cofondé turbopuffer pour rendre accessible la recherche sémantique à rappel élevé et à faible latence, aidant ainsi les clients à rechercher davantage de données, à améliorer la qualité de la recherche et à économiser des millions. En développant la base de données sur le stockage d’objets dans Amazon S3 et en tirant parti des services AWS tels queAmazon EKS et Amazon EC2, la start-up a fondamentalement changé la façon dont des entreprises comme Cursor, Notion et Linear mettent en œuvre la recherche à grande échelle.

Rendre les données consultables à grande échelle

Alors que les solutions précédentes utilisaient l’indexation en mémoire ou la hiérarchisation du stockage, le moteur de recherche sémantique de turbopuffer réduit les coûts 10 fois ou plus en tirant pleinement parti d’une architecture native de stockage d’objets. Le magasin d’objets est la source de vérité, tandis que les données chaudes peuvent être mises en cache en mémoire. Tout comme un poisson-globe peut gonfler et se dégonfler à la demande, l’entreprise a été nommée ainsi en raison de sa capacité à gonfler (ou à mettre à l’échelle) une couche de mise en cache, le terme « turbo » soulignant la rapidité et l’efficacité de l’algorithme.

Avant cette nouvelle approche, les entreprises devaient sélectionner les données à rechercher, ce qui limitait leurs ambitions en matière de produits en raison du coût élevé du stockage des vecteurs et d’un retour sur investissement limité. Roko Kruze, ingénieure en solutions chez turbopuffer, explique que sa mission est de « réduire le coût global du stockage et de la recherche de données, afin que les utilisateurs n’aient pas à faire ce compromis ». De nombreux clients de turbopuffer constatent une amélioration de plus de 20 % de la qualité de leurs recherches. L’'impact est significatif : une meilleure expérience utilisateur, une plus grande satisfaction et une plus grande fidélité des utilisateurs.

L’objectif de turbopuffer est de rendre chaque octet consultable. En séparant le calcul du stockage et en utilisant le stockage d’objets, il peut atteindre un niveau de capacité de mise à l’échelle qui serait autrement prohibitif avec les solutions de bases de données vectorielles traditionnelles. « Nous permettons aux utilisateurs d’interroger plus de 100 milliards de vecteurs, ce qui revient à indexer l’ensemble du World Wide Web », explique Kruze. Bien que cela fonctionne avec des entreprises comme Notion qui ont des millions de clients et plus de 10 milliards de vecteurs en production, turbopuffer est capable de partitionner toutes ces données en fonction d’un client donné. « C’est quelque chose que nous pouvons faire gratuitement grâce à la façon dont nous sommes conçus sur Amazon S3 », explique Kruze.

Travailler main dans la main avec l’IA

Au-delà de l’amélioration de la capacité de mise à l’échelle et de la qualité de recherche, turbopuffer s’avère être un outil puissant pour les flux de travail basés sur l’IA. La start-up connaît un énorme succès dans ce domaine car les LLM sont de plus en plus utilisés pour effectuer des recherches sémantiques dans des bases de code, des documents et des sites web afin de générer de meilleures réponses. Cette ampleur de charges de travail de recherche pilotées par l’IA est bien plus élevée que par le passé, et turbopuffer est spécialement conçu pour y remédier.

De nombreux clients tirent parti de turbopuffer pour les flux de travail d’IA agentique afin de garantir que les informations transmises au LLM sont spécifiques, pertinentes et de haute qualité. « Certaines personnes essaieront de placer le plus de données possible dans la fenêtre contextuelle en espérant que tout ira pour le mieux », explique Kruze. « turbopuffer améliore les performances globales des LLM en réduisant le nombre de données à analyser et nous rendons ces données très facilement accessibles aux systèmes agentiques », ajoute-t-il.

Au service de plus de 500 clients, turbopuffer soutient à la fois les petites et les grandes entreprises, notamment Cursor et Grammarly. La start-up simplifie également la recherche en proposant son produit sous forme de service géré. Sans avoir à gérer les opérations sous-jacentes, les clients peuvent se concentrer sur la création de leurs applications.

Un partenariat au service de la croissance et de l’efficacité

Une étroite collaboration avec AWS a permis à turbopuffer à la fois de créer une base de données plus rapide et plus fiable et d’entrer en contact avec un plus grand nombre de clients. Kruze note que « vous vous rendez là où se trouvent vos clients, et nombre d’entre eux sont sur AWS ». L’entreprise a participé au programme d’accélération des migrations (MAP) AWS pour migrer son infrastructure de base en quelques semaines seulement, en bénéficiant de crédits AWS et d’une assistance spécialisée sur l’optimisation des logiciels pour le déploiement d’AWS. Comme le dit Kruze, « AWS MAP a lancé notre offre AWS, qui est aujourd’hui utilisée par plus de 200 clients. » L’utilisation d’AWS signifie que l’entreprise peut proposer ses produits de manière fiable dans le monde entier, grâce à un large éventail de régions AWS.

L’accès à l’expertise et aux services de stockage d’objets s’est également révélé particulièrement précieux. En faisant équipe avec des experts d’Amazon S3, turbopuffer a eu l’opportunité de définir les principales caractéristiques de conception et de les implémenter très tôt pour améliorer sa solution. Par exemple, la fonction de comparaison et d’échange d’Amazon S3 permet à turbopuffer de fournir une sémantique très cohérente (une fonctionnalité de table Stakes pour toute base de données sérieuse) sans créer de dépendance vis-à-vis d’un autre service. Historiquement, une forte cohérence nécessitait une dépendance supplémentaire à l’égard d’une base de données transactionnelle (par exemple, Amazon RDS ou Amazon DynamoDB), ce qui augmentait considérablement les coûts opérationnels. Comme le dit Eskildsen, « l’équipe S3 a été d’excellents partenaires en fournissant un accès aux fonctionnalités bêta et en sollicitant des commentaires sur l’API afin de faire de turbopuffer la première base de données à grande échelle fonctionnant exclusivement sur le stockage d’objets. »

En tant que petite entreprise de moins de 20 personnes, il est essentiel de trouver un équilibre entre la rentabilité et les performances. Pour y parvenir, turbopuffer utilise également Amazon EC2 pour un calcul sécurisé et redimensionnable et Amazon EKS pour créer, exécuter et mettre à l’échelle des applications Kubernetes en collaboration avec Karpenter. À propos des avantages, Kruze déclare : « L’utilisation d’EKS et de Karpenter nous a permis d’optimiser nos coûts de calcul sur plusieurs classes d’instances avec un minimum d’efforts. Cela nous a permis d’économiser d’innombrables heures de configuration et de fournir les meilleures performances possibles à nos clients au meilleur prix. »

À la recherche de nouvelles voies vers l’excellence en matière de recherche

Pour renforcer la confiance d’une large clientèle, turbopuffer a prouvé sa capacité à respecter les politiques strictes de sécurité et de confidentialité des données des entreprises. Kruze explique que les clés de chiffrement gérées par le client (CMEK) associées à la connectivité privée via AWS PrivateLink constituent « une énorme victoire ». Il ajoute que ces caractéristiques de sécurité permettent à turbopuffer « d’embarquer des clients, ce qui ne serait tout simplement pas possible autrement ».

À l’avenir, turbopuffer prévoit de s’attaquer à des charges de travail de recherche plus — nombreuses, voire — plus importantes. Comme le dit Kruze, « la prochaine étape consiste à ouvrir davantage d’opportunités dans le domaine des entreprises, et nous espérons qu’AWS nous aidera tout au long de cette aventure. » turbopuffer est en train de rejoindre AWS Marketplace pour élargir sa portée et simplifier l’acquisition de ses produits. Parallèlement, l’entreprise continue de gagner en visibilité en participant à des événements de haut niveau tels que AWS re:Invent.

Dans le cadre de ses objectifs d’expansion, la start-up renforce également sa réputation au-delà de ses capacités de recherche vectorielle. « De plus en plus de personnes s’intéressent à notre solution de recherche en texte intégral, et nous voulons vraiment devenir la plateforme de recherche par défaut pour tous », déclare Kruze. Hébergeant actuellement plus d’un billion de documents et répondant à plus de dix mille requêtes par seconde, turbopuffer est prêt à prendre en charge davantage de charges de travail et à devenir le moteur de recherche le plus évolutif et le plus fiable au monde.

De nombreuses start-ups ont des ambitions tout aussi ambitieuses, et elles sont sur le point de les réaliser avec le soutien d’AWS. Plus de 350 000 start-ups du monde entier ont rejoint AWS Activate depuis sa création en 2013, accédant à des ressources, des conseils personnalisés, une assistance technique, des crédits AWS et bien plus encore. Conçu pour les fondateurs et orienté vers la croissance, AWS Activate aide les start-ups à créer, lancer et mettre à l’échelle leur activité sur AWS. Découvrez-en plus et inscrivez-vous dès aujourd'hui.