Wie turbopuffer bei der Wirtschaftlichkeit der Suche einen Faktorwechsel durchführt

Die semantische Suche spielt eine wichtige Rolle bei der Herstellung von Verbindungen zwischen Unternehmen und Kunden. Im Gegensatz zur herkömmlichen Volltextsuche interpretiert sie den Kontext hinter einer Suche, um digitale Interaktionen intuitiver, relevanter und personalisierter zu gestalten. Während bei einer herkömmlichen Suche nach „rotem Kleid“ beispielsweise die Ergebnisse auf genau die verwendeten Wörter beschränkt würden, kann die semantische Suche aussagekräftige Produkte und Inhalte zurückgeben, die über die Grenzen von Schlüsselwörtern hinausgehen. Dazu gehören auch Artikel, die mit der Suchanfrage in Zusammenhang stehen und für sie relevant sind, z. B. Artikel, die als „burgunderfarbenes Kleid“ oder „rotes Abendkleid“ beschrieben werden.

Bis vor Kurzem haben die hohen Kosten für das Speichern und das Durchsuchen der Datenmengen, die für eine erfolgreiche semantische Suche benötigt werden, viele davon abgehalten, die Vorteile für ihre wichtigsten Anwendungsfälle voll zu nutzen. Diese Herausforderung wird durch die explosionsartige Nutzung großer Sprachmodelle (LLM) und die Nachfrage nach einer vom Kundendienstmitarbeiter eingeleiteten Suche in Dokumenten, Codebasen und Websites mit hoher Erinnerungsrate und niedriger Latenz noch verschärft. Simon Hørup Eskildsen hat dieses Problem am eigenen Leib in seiner früheren Rolle als Principal Engineer bei Shopify und als Berater, der Unternehmen bei der Skalierung ihrer Infrastruktur unterstützte, erfahren. Er war besessen davon, eine Lösung zu finden. Seine Intuition– und ein bisschen Mathematik– deuteten darauf hin, dass ein grundlegender Wandel in der Architektur die Wirtschaftlichkeit der Suche dramatisch verändern könnte.

Seitdem haben Eskildsen und Justine Li gemeinsam turbopuffer gegründet, um semantische Suchen mit hohem Erinnerungsvermögen und niedriger Latenz zugänglich zu machen. So können Kunden mehr Daten durchsuchen, die Suchqualität verbessern und Millionen sparen. Durch den Aufbau der Datenbank auf der Grundlage des Objektspeichers in Amazon S3 und die Nutzung von AWS-Services wie Amazon EKS und Amazon EC2, hat das Startup die Art und Weise, wie Unternehmen wie Cursor, Notion und Linear die Suche in großem Maßstab implementieren, grundlegend verändert.

Daten im großen Maßstab durchsuchbar machen

Während frühere Lösungen In-Memory-Indizierung oder Speicher-Tiering verwendeten, senkt die semantische Suchmaschine von turbopuffer die Kosten um das Zehnfache oder mehr, indem sie eine native Objektspeicher-Architektur voll nutzt. Der Objektspeicher ist die Quelle der Wahrheit, während warme Daten im Speicher zwischengespeichert werden können. So wie ein Kugelfisch bei Bedarf Luft aufblasen und entleeren kann, erhielt das Unternehmen seinen Namen aufgrund seiner Fähigkeit, eine Cache-Ebene aufzublasen (oder zu skalieren) – wobei „Turbo“ die Geschwindigkeit und Effizienz des Algorithmus betont.

Vor diesem neuen Ansatz mussten Unternehmen auswählen, nach welchen Daten gesucht werden sollte, was ihre Produktziele aufgrund der hohen Kosten für die Speicherung von Vektoren und der begrenzten Rentabilität einschränkte. Roko Kruze, Solutions Engineer bei turbopuffer, erklärt, dass sich das Unternehmen zur Aufgabe gemacht hat, „die Gesamtkosten für das Speichern und das Durchsuchen von Daten zu senken, damit die Mitarbeiter diesen Kompromiss nicht eingehen müssen.“ Viele Kunden von turbopuffer verzeichnen Verbesserungen der Suchqualität um über 20 Prozent. Die Auswirkungen sind erheblich – bessere Benutzererlebnisse, höhere Zufriedenheit und erhöhte Benutzerbindung.

Turbopuffers Ziel ist es, jedes Byte durchsuchbar zu machen. Durch die Trennung von Rechenleistung und Speicher und die Verwendung von Objektspeicher kann ein Maß an Skalierbarkeit erreicht werden, das sonst mit herkömmlichen Vektordatenbanklösungen unerschwinglich wäre. „Wir ermöglichen es Benutzern, über 100 Milliarden Vektoren abzufragen, und das ist quasi die Indizierung des gesamten World Wide Web“, erklärt Kruze. Turbopuffer funktioniert zwar mit Unternehmen wie Notion, die Millionen von Kunden haben und über 10 Milliarden Vektoren in der Produktion haben, aber turbopuffer ist in der Lage, all diese Daten auf der Grundlage eines bestimmten Kunden zu partitionieren. „Aufgrund der Art und Weise, wie wir auf Amazon S3 aufgebaut sind, können wir das so gut wie kostenlos tun“, sagt Kruze.

Hand in Hand mit KI arbeiten

Turbopuffer verbessert nicht nur die Skalierbarkeit und Suchqualität, sondern erweist sich auch als leistungsstarkes Tool für KI-Workflows. Das Startup verzeichnet in diesem Bereich große Erfolge, da LLMs zunehmend zur semantischen Suche nach Codebasen, Dokumenten und Websites verwendet werden, um bessere Antworten zu generieren. Dieses Ausmaß an KI-gestützten Such-Workloads ist um Größenordnungen höher als in der Vergangenheit, und turbopuffer ist speziell darauf ausgelegt, dieses Problem zu lösen.

Viele Kunden nutzen turbopuffer für agentenbasierte KI-Workflows, um sicherzustellen, dass die Informationen, die in das LLM eingespeist werden, spezifisch, relevant und von hoher Qualität sind. „Manche Leute werden versuchen, so viele Daten wie möglich in das Kontextfenster einzufügen und hoffen auf das Beste“, erklärt Kruze. „Turbopuffer verbessert die Gesamtleistung von LLMs, da weniger Daten analysiert werden müssen und wir diese Daten für agentenbasierte Systeme sehr einfach zugänglich machen“, fügt er hinzu.

Turbopuffer bedient inzwischen über 500 Kunden und unterstützt sowohl kleine als auch große Unternehmen wie Cursor und Grammarly. Das Startup erleichtert auch die Suche, indem es sein Produkt als verwalteten Service anbietet. Da sich die Kunden nicht um die grundlegenden Abläufe kümmern müssen, können sie sich auf die Entwicklung ihrer Anwendungen konzentrieren.

Eine Partnerschaft, die Wachstum und Effizienz fördert

Die enge Zusammenarbeit mit AWS hat turbopuffer dabei geholfen, sowohl eine schnellere, zuverlässigere Datenbank aufzubauen als auch mehr Kunden zu gewinnen. Kruze stellt fest, dass „Sie dorthin gehen, wo Ihre Kunden sind, und viele sind in AWS.“ Das Unternehmen nahm am AWS Migration Acceleration Program (MAP) teil, um seine Kerninfrastruktur innerhalb weniger Wochen zu migrieren. Dabei profitierte das Unternehmen von AWS-Gutschriften und fachkundiger Unterstützung bei der Optimierung der Software für die AWS-Bereitstellung. Wie Kruze sagt: „AWS MAP hat unser AWS-Angebot, das jetzt von über 200 Kunden genutzt wird, optimiert.“ Wenn das Unternehmen auf AWS läuft, kann das Unternehmen sein Produkt dank einer Vielzahl von AWS-Regionen zuverlässig auf der ganzen Welt anbieten.

Der Zugang zu Fachwissen und Objektspeicher-Services hat sich ebenfalls als besonders wertvoll erwiesen. Durch die Zusammenarbeit mit Amazon S3-Experten hatte turbopuffer die Gelegenheit, wichtige Designmerkmale zu entwickeln und sie frühzeitig zu implementieren, um seine Lösung zu verbessern. Zum Beispiel ermöglicht das Vergleichs- und Auslagerungs-Feature von Amazon S3 turbopuffer, eine stark konsistente Semantik bereitzustellen – ein entscheidendes Feature für jede seriöse Datenbank – ohne dass eine Abhängigkeit von einem anderen Service entsteht. In der Vergangenheit erforderte eine hohe Konsistenz eine zusätzliche Abhängigkeit von einer Transaktionsdatenbank (z. B. Amazon RDS oder Amazon DynamoDB), was einen erheblichen betrieblichen Aufwand mit sich brachte. Wie Eskildsen erklärt: „Das S3-Team war ein großartiger Partner, wenn es darum ging, den Zugang zu Beta-Features zu ermöglichen und API-Feedback einzuholen, um turbopuffer zur ersten großen Datenbank zu machen, die ausschließlich mit Objektspeicher betrieben wird.“

Als kleines Unternehmen mit weniger als 20 Mitarbeitern ist ein ausgewogenes Verhältnis von Kosteneffizienz ohne Leistungseinbußen von entscheidender Bedeutung. Um dies zu erreichen, verwendet turbopuffer auch Amazon EC2 für sichere und skalierbare Berechnungen und Amazon EKS, um gemeinsam mit Karpenter Kubernetes-Anwendungen zu erstellen, auszuführen und zu skalieren. Zu den Vorteilen sagt Kruze: „Die Verwendung von EKS und Karpenter hat uns die Flexibilität gegeben, unsere Rechenkosten bei mehreren Instance-Klassen mit geringem Aufwand zu optimieren. Das hat uns unzählige Stunden an der Konfiguration erspart und ermöglicht es uns, unseren Kunden die bestmögliche Leistung zum günstigsten Preis zu bieten.“

Auf der Suche nach mehr Möglichkeiten für ausgezeichnete Suchmaschinenoptimierung

Um Vertrauen bei einem breiten Kundenstamm aufzubauen, hat turbopuffer bewiesen, dass es in der Lage ist, die strengen Sicherheits- und Datenschutzrichtlinien von Unternehmen einzuhalten. Kruze teilt mit, dass vom Kunden verwaltete Verschlüsselungsschlüssel (CMEK) zusammen mit der privaten Konnektivität über AWS PrivateLink „ein großer Gewinn“ waren. Er fügt hinzu, dass Turbopuffer aufgrund dieser Sicherheits-Features „Kunden gewinnen kann, was sonst einfach nicht möglich wäre“.

Mit Blick auf die Zukunft plant turbopuffer, mehr – und noch größere — Suche-Workloads in Angriff zu nehmen. Wie Kruze sagt: „Der nächste Schritt besteht darin, mehr Möglichkeiten im Unternehmensbereich zu eröffnen, und wir hoffen, dass AWS uns auf diesem Weg unterstützt.“ Turbopuffer ist dabei, dem AWS Marketplace beizutreten, um die Reichweite auszubauen und den Erwerb seiner Produkte zu vereinfachen In der Zwischenzeit baut das Unternehmen seine Bekanntheit weiter aus, indem es an hochkarätigen Veranstaltungen wie AWS re:Invent teilnimmt.

Im Rahmen seiner Expansionsziele baut das Startup auch seinen Ruf über die Funktionen der Vektorsuche hinaus aus. „Wir beobachten, dass sich immer mehr Menschen für unsere Lösung der Volltextsuche interessieren, und wir wollen einfach die Standard-Suchplattform für alle werden“, sagt Kruze. Turbopuffer hostet derzeit über eine Billion Dokumente und verarbeitet über zehntausend Abfragen pro Sekunde. Damit ist turbopuffer bereit, mehr Workloads zu übernehmen und die skalierbarste und zuverlässigste Suchmaschine der Welt zu werden.

Viele Startups haben ähnlich ehrgeizige Ambitionen und sind auf dem besten Weg, sie mit Unterstützung von AWS zu erreichen. Mehr als 350 000 Startups auf der ganzen Welt haben sich seit der Gründung von AWS Activate im Jahr 2013 angeschlossen und verfügen über Ressourcen, personalisierte Beratung, technische Unterstützung, AWS-Guthaben und mehr. AWS Activate wurde für Gründer entwickelt und ist auf Wachstum ausgerichtet. Es hilft Startups dabei, auf AWS aufzubauen, zu starten und zu skalieren. Erfahren Sie mehr und werden Sie noch heute Mitglied.