turbouffer が検索の経済性をどのようにリファクタリングしているか

セマンティック検索は、企業と顧客をつなぐ上で重要な役割を果たします。従来の全文検索とは異なり、検索の背景にあるコンテキストを解釈して、デジタルインタラクションをより直感的で関連性が高く、パーソナライズされたものにします。例えば、「赤いドレス」に対する従来の検索では、結果は使用されている正確な単語に対応したものに限定されていましたが、セマンティック検索では、キーワードの範囲を超えた、意味のある商品やコンテンツが返されます。これには、「バーガンディ色のドレス」や「赤いイブニングドレス」と記載されている商品など、クエリに関連して関連性のある商品が含まれます。

最近まで、セマンティック検索を成功させるために必要なデータ量の保存と検索には莫大なコストがかかるため、多くは最も重要なユースケースでそのメリットを十分に発揮することができませんでした。大規模言語モデル (LLM) の使用の大幅な拡大と、ドキュメント、コードベース、ウェブサイト全体での高いリコール率、低いレイテンシーのエージェント主導型検索に対する需要により、それはさらに悪化した課題になっています。Shopify のプリンシパルエンジニアとして、また企業のインフラストラクチャ拡張を支援するコンサルタントとして、この問題を目の当たりにした Simon Hørup Eskildsen 氏は、解決策を見つけることで頭が一杯になりました。彼の直感、そしてちょっとした計算から、アーキテクチャでの基本的なシフトが検索の経済を劇的に変える可能性があることが示唆されました。

それ以来、Eskildsen 氏と Justine Li 氏は、高いリコール率で低レイテンシーのセマンティック検索をアクセス可能にするために turbopuffer を共同で創設しました。これにより、顧客はより多くのデータを検索し、検索品質を向上させ、数百万を節約できるようになりました。Amazon S3 のオブジェクトストレージの上位にデータベースを構築し、Amazon EKS、および Amazon EC2 などの AWS のサービスを活用することで、このスタートアップは、Cursor、Notion、Linear などの企業が検索を大規模に実装する方法を根本的に変えました。

大規模にデータを検索可能にする

以前のソリューションでは、インメモリのインデックス作成またはストレージ階層化を使用していましたが、turbopuffer のセマンティック検索エンジンは、オブジェクトストレージのネイティブアーキテクチャを最大限に活用することで、コストを 10 倍以上削減します。オブジェクトストアは信頼できる情報源であり、ウォームデータはメモリにキャッシュできます。フグ (puffer fish) が要求に応じて膨らんだりしぼんだりするのと同じように、このビジネスはキャッシュ層を膨らませる (または拡大する) ことができることからその名前が付けられました。「turbo (ターボ)」はアルゴリズムの速度と効率性を強調しています。

この新しいアプローチが登場する前は、組織は検索するデータを決めて選択する必要があり、ベクトルを保存するコストが高く、投資収益率が限られていたため、製品に対する熱意は制限されていました。turbopuffer のソリューションエンジニアである Roko Kruze 氏は、その使命は「データの保存と検索にかかる全体的なコストを削減して、人々がそのトレードオフをしなくても済むようにすること」だと説明しています。turbopuffer の顧客の多くは、検索品質が 20% 以上向上したと感じています。 その影響は大きく、ユーザーエクスペリエンスの良化、満足度の増加、ユーザーロイヤルティの向上です。

turbopuffer の目標は、細部に至るまで検索可能にすることです。計算とストレージを分離し、オブジェクトストレージを使用することで、従来のベクトルデータベースソリューションでは桁違いの費用がかかるスケーラビリティを実現できます。「人々は 1,000 億を超えるベクトルに対してクエリを実行できるようになったため、ほとんどのワールドワイドウェブでインデックス作成できるようにになっています」と Kruze 氏は説明します。turbopuffer は、本番稼働で数百万の顧客と 100 億を超えるベクトルを持つ Notion のような企業と連携していますが、そのすべてのデータを特定の顧客に基づいて分割することができます。「Amazon S3 上に構築されているので、これはほぼ無料でできるものです」と、Kruze 氏は述べています。

AI と連携して作業する

turbopuffer は、スケーラビリティと検索品質を向上させるだけでなく、AI ワークフローの強力なツールであることも証明されています。このスタートアップはこの分野で大きな成功を収めています。なぜなら、LLM はコードベース、ドキュメント、ウェブサイトのセマンティック検索により良い応答を生成するために使用される機会が増加しているからです。この規模の AI 主導の検索ワークロードは以前よりも桁違いに大きくなっており、turbopuffer はそれを解決するために独自に構築されています。

多くの顧客が、LLM に提供されている情報が具体的で関連性が高く、高品質であることを保証できるように、エージェンティック AI ワークフローに turbopuffer を活用しています。「コンテキストウィンドウにできる限り多くのデータを入力することを試み、最善の結果が得られることを期待する人もいるでしょう」と、Kruze 氏は説明します。「turbopuffer は LLM の全体的なパフォーマンスを向上させています。なぜなら、解析する必要のあるデータが少なくなり、エージェンティックシステムがそのデータに簡単にアクセスできるようになるからです」と、彼は付け加えます。

現在、500 を超える顧客にサービスを提供している turbopuffer は、小規模組織および Cursor や Grammarly などの大企業の両方をサポートしています。また、このスタートアップは、自社製品をマネージドサービスとして提供することで、検索の複雑さを解消しています。基盤オペレーションを処理する必要がないため、顧客はアプリケーションの構築に集中できます。

成長と効率化を促進するパートナーシップ

AWS との緊密な連携により、turbopuffer はより高速で信頼性の高いデータベースを構築し、より多くの顧客とつながることができました。Kruze 氏は、「顧客がいる場所に行くと、その多くが AWS を利用しています」と、述べています。同社は AWS Migration Acceleration Program (MAP) に参加して、わずか数週間でコアインフラストラクチャを移行しました。それにより、AWS クレジットと AWS デプロイのためのソフトウェアの最適化に関する専門家のサポートという恩恵を受けました。Kruze 氏が言うように、「AWS MAP は当社の AWS サービスをブートストラッピングし、現在 200 社を超えるお客様に使用されています」。AWS 上で稼働しているということは、幅広い AWS リージョンのおかげで、自社の製品を世界中に確実に提供できるということです。

専門知識やオブジェクトストレージサービスへのアクセスも特に価値があることが証明されています。turbopuffer は Amazon S3 の専門家とチームを組むことで、主要な設計機能を形作り、早期に実装してソリューションを強化する機会を得ました。例えば、Amazon S3 のコンペアアンドスワップ機能により、turbopuffer は、他のサービスに依存することなく、非常に一貫性のあるセマンティクス (本格的なデータベースではテーブルステークス機能) を提供できるようになりました。従来、強力な一貫性を保つにはトランザクションデータベース (Amazon RDS や Amazon DynamoDB など) への依存度を高める必要があり、それにより運用上のオーバーヘッドが大幅に増加していました。Eskildsen 氏は次のように述べています。「S3 チームは、ベータ機能へのアクセスを提供し、API のフィードバックを募るためのすばらしいパートナーとなっており、turbopuffer をオブジェクトストレージだけで稼働する最初の大規模データベースにするのに役立っています」。

従業員数 20 人未満の小規模企業では、パフォーマンスを犠牲にすることなくコスト効率のバランスを取ることが重要です。これを実現するために、turbopuffer は安全でサイズ変更可能な計算を実現する Amazon EC2 も、また Karpenter と一緒に Kubernetes アプリケーションを構築、実行、スケーリングするために Amazon EKS も使用しています。Kruze 氏はその利点について次のようにコメントしています。「EKS と Karpenter を使用することで、複数のインスタンスクラス全体で計算コストをほとんど労力をかけずに柔軟に最適化できるようになりました。これにより、設定にかかる時間を大幅に節約でき、最高のパフォーマンスを最良のコストポイントでお客様に提供できるようになりました」。

検索エクセレンスのためのより多くの手段を探す

幅広い顧客ベースとの信頼を構築するために、turbopuffer は企業の厳格なセキュリティおよびデータプライバシーポリシーを満たす能力を証明しています。Kruze 氏は、AWS PrivateLink を介したプライベート接続とともにカスタマーマネージド暗号化キー (CMEK) が「大きな成功」だったと語っています。また、これらのセキュリティ機能により、turbopuffer は「他の方法では不可能だった顧客へのオンボーディング」が可能になったと付け加えています。

将来を見据えて、turbopuffer はより多くの検索ワークロードを、さらに大規模に追及する予定です。 Kruze 氏が述べているように、「次のステップはエンタープライズ分野でより多くの機会を開くことであり、AWS がそのジャーニーを通じて私たちを手助けしてくれるよう願っています」。turbopuffer は、リーチを拡大し、製品の買収を簡素化するために AWS Marketplace に参加する過程にあります。一方、AWS re:Invent などの注目度の高いイベントに参加することで、露出度を高め続けています。

拡大目標の一環として、このスタートアップはベクトル検索機能以外にも評判を高めています。「私たちの全文検索ソリューションに興味を持つ人々が増えています。私たちは本当に皆様のデフォルトの検索プラットフォームになりたいと思っています」と、Kruze 氏は述べています。現在、1 兆件を超えるドキュメントをホストし、1 秒間に 1 万件を超えるクエリを処理している turbopuffer は、より多くのワークロードを請け負い、世界で最もスケーラブルで信頼性の高い検索エンジンになる準備ができています。

多くのスタートアップも同様の大胆な野望を抱いており、彼らは AWS の支援を受けてその実現に向けて準備を進めています。2013 年の開始以来、世界中の 35 万社を超えるスタートアップが AWS Activate に参加し、リソース、パーソナライズされたガイダンス、技術支援、AWS クレジットなどにアクセスしています。創設者向けに設計され、成長を視野に入れた AWS Activate は、スタートアップが AWS 上で構築、立ち上げ、スケールアップできるよう支援しています。詳細を確認して、今すぐ参加してください。