Come turbopuffer sta rifattorizzando l'economia della ricerca

La ricerca semantica svolge un ruolo chiave nella creazione di connessioni tra aziende e clienti. A differenza della tradizionale ricerca full-text, interpreta il contesto alla base di una ricerca per rendere le interazioni digitali più intuitive, pertinenti e personalizzate. Laddove una ricerca tradizionale con "abito rosso", ad esempio, limiterebbe i risultati alle parole esatte utilizzate, la ricerca semantica può restituire prodotti e contenuti significativi oltre i limiti delle parole chiave. Sono inclusi quelli correlati e pertinenti alla ricerca, ad esempio gli articoli descritti come "abito bordeaux" o "abito da sera rosso".

Fino a poco tempo fa, il semplice costo dell'archiviazione e della ricerca dei volumi di dati necessari per una ricerca semantica di successo impediva a molti di trarne tutti i vantaggi per i loro casi d'uso più importanti. È una problematica aggravata dall'esplosione dell'uso di modelli linguistici di grandi dimensioni (LLM) e dalla richiesta di ricerche ad alto richiamo, bassa latenza e avviate da agenti su documenti, basi di codice e siti Web. Simon Hørup Eskildsen era ossessionato dall'idea di trovare una soluzione, constatando in prima persona questo problema nel suo precedente ruolo di Principal Engineer presso Shopify e di consulente che aiutava le aziende a scalare la propria infrastruttura. La sua intuizione, insieme ad alcuni calcoli matematici, hanno suggerito che un cambiamento fondamentale nell'architettura poteva trasformare radicalmente l'economia della ricerca.

Da allora, Eskildsen e Justine Li hanno co-fondato turbopuffer per rendere accessibile la ricerca semantica ad alto richiamo e bassa latenza, aiutando i clienti a cercare più dati, migliorare la qualità della ricerca e risparmiare milioni. Costruendo il database sulla base dello storage a oggetti in Amazon S3 e sfruttando servizi AWS come Amazon EKS e Amazon EC2, la startup ha cambiato radicalmente il modo in cui aziende come Cursor, Notion e Linear implementano la ricerca su larga scala.

Rendere i dati ricercabili su larga scala

Mentre le soluzioni precedenti utilizzavano l'indicizzazione in memoria o il tiering dell’archiviazione, il motore di ricerca semantica di turbopuffer riduce i costi 10 volte o più sfruttando appieno l'architettura nativa di un archivio oggetti. L'archivio oggetti è la fonte della verità, mentre i dati "caldi" possono essere memorizzati nella cache. Proprio come un pesce palla può gonfiarsi e sgonfiarsi a richiesta, il nome "turbo" deriva dalla sua capacità di espandere (o ridimensionare) un livello di caching, con "turbo" che sottolinea la velocità e l'efficienza dell'algoritmo.

Prima di questo nuovo approccio, le organizzazioni dovevano scegliere i dati da cercare, limitando le loro ambizioni di prodotto a causa dell'elevato costo di archiviazione dei vettori e di un ritorno sull'investimento limitato. Roko Kruze, Solutions Engineer di turbopuffer, spiega che la sua missione è "ridurre il costo complessivo di archiviazione e ricerca dei dati, in modo che le persone non debbano scendere a compromessi". Molti clienti di turbopuffer vedono miglioramenti di oltre il 20% nella qualità della ricerca. L'impatto è significativo: migliori esperienze utente, maggiore soddisfazione e maggiore fidelizzazione degli utenti.

L'obiettivo di turbopuffer è rendere ricercabile ogni byte. Separando elaborazione e archiviazione e utilizzando l’archiviazione a oggetti, può raggiungere un livello di scalabilità che altrimenti sarebbe proibitivo in termini di costi con le tradizionali soluzioni di database vettoriali. "Stiamo permettendo alle persone di interrogare oltre 100 miliardi di vettori, indicizzando praticamente l'intero World Wide Web", spiega Kruze. Sebbene funzioni con aziende come Notion, che hanno milioni di clienti e oltre 10 miliardi di vettori in produzione, turbopuffer è in grado di partizionare tutti i dati in base a un determinato cliente. "Questo è qualcosa che possiamo fare praticamente gratuitamente grazie al modo in cui siamo costruiti su Amazon S3", afferma Kruze.

Lavorare fianco a fianco con l'IA

Oltre a migliorare la scalabilità e la qualità della ricerca, turbopuffer si sta dimostrando un potente strumento per i flussi di lavoro IA. La startup sta riscuotendo un enorme successo in questo settore perché gli LLM sono sempre più utilizzati per ricercare semanticamente basi di codice, documenti e siti Web per generare risposte migliori. Questa scala di carichi di lavoro di ricerca basati sull'intelligenza artificiale è di ordini di grandezza superiore rispetto al passato e turbopuffer è stato creato appositamente per risolverla.

Molti clienti stanno sfruttando turbopuffer per flussi di lavoro di IA agentica per garantire che le informazioni fornite al LLM siano specifiche, pertinenti e di alta qualità. "Alcune persone cercheranno di inserire quanti più dati possibili nella finestra contestuale e sperano per il meglio", spiega Kruze. "turbopuffer migliora le prestazioni complessive degli LLM perché è necessario analizzare meno dati e li rendiamo molto facilmente accessibili ai sistemi agentici", aggiunge.

Con oltre 500 clienti, turbopuffer supporta sia piccole organizzazioni che grandi aziende, tra cui Cursor e Grammarly. La startup semplifica inoltre la ricerca offrendo il suo prodotto come servizio gestito. Senza la necessità di gestire le operazioni sottostanti, i clienti possono concentrarsi sullo sviluppo delle proprie applicazioni.

Una partnership che alimenta la crescita e l'efficienza

La stretta collaborazione con AWS ha aiutato turbopuffer sia a creare un database più veloce e affidabile sia a connettersi con più clienti. Kruze osserva che "ci si sposta dove si trovano i clienti e molti di questi sono su AWS". L'azienda ha partecipato al Programma di accelerazione della migrazione (MAP) AWS per migrare la propria infrastruttura principale nel giro di poche settimane, beneficiando dei crediti AWS e del supporto specialistico sull'ottimizzazione del software per la distribuzione di AWS. Come afferma Kruze, "AWS MAP ha avviato la nostra offerta AWS, che ora viene utilizzata da oltre 200 clienti". L'utilizzo di AWS significa che l'azienda può offrire i propri prodotti in modo affidabile in tutto il mondo, grazie a un'ampia gamma di regioni AWS.

Anche l'accesso alle competenze e ai servizi di archiviazione a oggetti si è dimostrato particolarmente prezioso. Collaborando con gli esperti di Amazon S3, turbopuffer ha avuto l'opportunità di definire le principali funzionalità di progettazione e implementarle precocemente per migliorare la sua soluzione. Ad esempio, la funzionalità di confronto e scambio di Amazon S3 consente a turbopuffer di fornire una semantica fortemente coerente, una funzionalità fondamentale per qualsiasi database serio, senza creare una dipendenza da un altro servizio. Storicamente, una forte coerenza richiedeva una dipendenza aggiuntiva da un database transazionale (ad esempio, Amazon RDS o Amazon DynamoDB), il che comporta un notevole sovraccarico operativo. Come afferma Eskildsen, "Il team di S3 è stato un ottimo partner nel fornire l'accesso alle funzionalità beta e nel richiedere feedback sulle API per contribuire a rendere turbopuffer il primo database su larga scala che funziona esclusivamente sullo storage di oggetti".

Essendo una piccola azienda con meno di 20 dipendenti, è fondamentale bilanciare l'efficienza dei costi senza compromettere le prestazioni. Per raggiungere questo obiettivo, turbopuffer utilizza anche Amazon EC2 per un calcolo sicuro e scalabile e Amazon EKS per creare, eseguire e scalare applicazioni Kubernetes insieme a Karpenter. Commentando i vantaggi, Kruze afferma: "L'utilizzo di EKS e Karpenter ci ha consentito la flessibilità necessaria per ottimizzare i costi di elaborazione su più classi di istanze con poco sforzo. Questo ci ha consentito di risparmiare innumerevoli ore di configurazione e ci consente di fornire le migliori prestazioni possibili ai nostri clienti al miglior costo".

Alla ricerca di più strade per l'eccellenza nella ricerca

Per creare fiducia con un'ampia base di clienti, turbopuffer ha dimostrato la sua capacità di soddisfare le rigide politiche di sicurezza e privacy dei dati delle aziende. Kruze afferma che le chiavi di crittografia gestite dal cliente (CMEK) insieme alla connettività privata tramite AWS PrivateLink sono state "una grande vittoria". Aggiunge che queste funzionalità di sicurezza consentono a turbopuffer di "integrare clienti che altrimenti non sarebbero possibili".

Guardando al futuro, turbopuffer prevede di occuparsi di carichi di lavoro di ricerca sempre più numerosi e ancora più grandi. Come afferma Kruze, "il passo successivo è aprire maggiori opportunità in ambito aziendale e speriamo che AWS ci aiuti in questo percorso". turbopuffer si sta unendo ad AWS Marketplace per aumentare la portata e semplificare l'acquisizione dei suoi prodotti. Nel frattempo, continua a creare visibilità partecipando a eventi di alto profilo come AWS re:Invent.

Come parte dei suoi obiettivi di espansione, la startup sta anche facendo crescere la sua reputazione oltre le capacità di ricerca vettoriale. "Stiamo vedendo sempre più persone interessarsi alla nostra soluzione di ricerca full-text e vogliamo davvero diventare la piattaforma di ricerca predefinita per tutti", afferma Kruze. Attualmente ospita oltre un trilione di documenti e serve oltre diecimila domande al secondo, turbopuffer è pronto ad affrontare più carichi di lavoro e diventare il motore di ricerca più scalabile e affidabile al mondo.

Molte startup hanno ambizioni altrettanto audaci e sono sulla buona strada per raggiungerle con il supporto di AWS. Più di 350.000 startup in tutto il mondo hanno aderito ad AWS Activate sin dalla sua nascita nel 2013, accedendo a risorse, guide personalizzate, assistenza tecnica, crediti AWS e altro ancora. Progettato per i fondatori e orientato alla crescita, AWS Activate aiuta le startup a creare, lanciare e scalare su AWS. Scopri di più e iscriviti oggi stesso.