Cara turbopuffer Memfaktor Ulang Pencarian Ekonomi

Pencarian semantik memainkan peran kunci dalam menjalin hubungan antara bisnis dan pelanggan. Tidak seperti pencarian teks lengkap tradisional, pencarian semantik ini menafsirkan konteks di balik pencarian untuk membuat interaksi digital lebih intuitif, relevan, dan dipersonalisasi. Pencarian tradisional untuk “gaun merah”, misalnya, akan membatasi hasil pada kata-kata tepat yang digunakan, pencarian semantik dapat menghasilkan produk serta konten yang bermakna di luar batasan kata kunci. Hal ini termasuk produk dan konten yang terkait dan relevan dengan kueri, seperti barang yang dideskripsikan sebagai “gaun merah tua” atau “gaun malam merah”.

Sampai saat ini, biaya penyimpanan dan pencarian volume data yang dibutuhkan untuk pencarian semantik yang sukses telah menghentikan banyak orang untuk menyadari manfaat penuhnya untuk kasus penggunaan terpenting mereka. Ini merupakan tantangan yang diperparah oleh ledakan penggunaan model bahasa besar (LLM) dan permintaan untuk penarikan tinggi, latensi rendah, pencarian yang diinisiasi agen di seluruh dokumen, basis kode, serta situs web. Menyaksikan masalah ini secara langsung dalam perannya sebelumnya sebagai Principal Engineer di Shopify dan sebagai konsultan yang membantu perusahaan menskalakan infrastruktur mereka, Simon Hørup Eskildsen terobsesi untuk menemukan solusi. Intuisinya—dan beberapa perhitungan sederhana—menyarankan bahwa perubahan fundamental dalam arsitektur dapat mentransformasi pencarian ekonomi secara dramatis.

Sejak itu, Eskildsen dan Justine Li ikut mendirikan turbopuffer untuk membuat pencarian semantik dengan penarikan tinggi dan latensi rendah dapat diakses—yang membantu pelanggan mencari lebih banyak data, meningkatkan kualitas pencarian, serta menghemat jutaan. Dengan membangun basis data di atas penyimpanan objek di Amazon S3, dan memanfaatkan layanan AWS seperti Amazon EKS, dan Amazon EC2, startup ini telah secara fundamental mengubah cara perusahaan seperti Cursor, Notion, serta Linear mengimplementasikan pencarian dalam skala besar.

Membuat data dapat dicari dalam skala besar

Berbeda dengan solusi sebelumnya yang menggunakan pengindeksan dalam memori atau penjenjangan penyimpanan, mesin pencarian semantik turbopuffer memangkas biaya 10 kali atau lebih dengan sepenuhnya memanfaatkan arsitektur native penyimpanan objek. Penyimpanan objek adalah sumber kebenaran sementara data hangat dapat di-cache dalam memori. Sama seperti ikan buntal yang dapat mengembang dan mengempis sesuai permintaan, bisnis ini diberi nama demikian karena kemampuannya untuk membesarkan (atau menskalakan) lapisan caching—dengan 'turbo' menekankan kecepatan dan efisiensi algoritma.

Sebelum pendekatan baru ini, organisasi harus mengambil dan memilih data mana yang akan dicari, sehingga membatasi ambisi produk mereka karena tingginya biaya penyimpanan vektor dan pengembalian investasi yang terbatas. Roko Kruze, Solutions Engineer di turbopuffer, menjelaskan bahwa misinya adalah untuk “mengurangi keseluruhan biaya penyimpanan serta pencarian data, agar orang tidak perlu mengorbankan apa pun.” Banyak pelanggan turbopuffer mengalami peningkatan kualitas pencarian lebih dari 20 persen. Dampaknya signifikan—pengalaman pengguna yang lebih baik, kepuasan yang lebih tinggi, dan peningkatan loyalitas pengguna.

Tujuan turbopuffer adalah membuat setiap bita dapat dicari. Dengan memisahkan komputasi dan penyimpanan dan menggunakan penyimpanan objek, turbopuffer dapat mencapai tingkat skalabilitas yang seharusnya mahal jika menggunakan solusi basis data vektor tradisional. “Kami mengizinkan orang untuk melakukan kueri lebih dari 100 miliar vektor, serta hal ini cukup banyak mengindeks seluruh World Wide Web,” jelas Kruze. Meskipun bekerja sama dengan bisnis seperti Notion yang memiliki jutaan pelanggan dan lebih dari 10 miliar vektor dalam produksi, turbopuffer mampu mempartisi semua data tersebut berdasarkan pelanggan tertentu. “Ini adalah sesuatu yang dapat kami lakukan secara gratis karena cara kami dibangun di atas Amazon S3,” ujar Kruze.

Bekerja sama dengan AI

Selain meningkatkan skalabilitas dan kualitas pencarian, turbopuffer terbukti menjadi alat canggih untuk alur kerja AI. Startup ini memperoleh kesuksesan besar di bidang ini karena LLM makin terbiasa mencari basis kode, dokumen, dan situs web secara semantik untuk menghasilkan respons yang lebih baik. Skala beban kerja pencarian yang didorong AI ini jauh lebih tinggi dibandingkan pada masa lalu, serta turbopuffer dibuat secara unik untuk menyelesaikannya.

Banyak pelanggan memanfaatkan turbopuffer untuk alur kerja AI agentik untuk membantu memastikan bahwa informasi yang diumpankan ke LLM spesifik, relevan, dan berkualitas tinggi. “Beberapa orang akan mencoba memasukkan data sebanyak mungkin ke jendela konteks dan berharap hasil yang terbaik,” jelas Kruze. “turbopuffer meningkatkan performa LLM secara keseluruhan karena lebih sedikit data yang harus diurai serta kami membuat data tersebut sangat mudah diakses oleh sistem agentik,” tambahnya.

Sekarang melayani lebih dari 500 pelanggan, turbopuffer mendukung organisasi kecil dan korporasi besar termasuk Cursor dan Grammarly. Startup ini juga menghilangkan kerumitan dari pencarian dengan menawarkan produknya sebagai layanan terkelola. Tanpa perlu menangani operasi yang mendasarinya, pelanggan dapat fokus membangun aplikasi mereka.

Kemitraan yang mendorong pertumbuhan dan efisiensi

Kolaborasi erat dengan AWS telah membantu turbopuffer membangun basis data yang lebih cepat dan lebih andal serta menjalin koneksi dengan lebih banyak pelanggan. Kruze mencatat bahwa “Anda pergi ke tempat pelanggan Anda berada, dan banyak yang menggunakan AWS.” Perusahaan ini berpartisipasi dalam Program Akselerasi Migrasi (MAP) AWS untuk memigrasikan infrastruktur intinya hanya dalam beberapa minggu, memanfaatkan kredit AWS serta dukungan spesialis dalam mengoptimalkan perangkat lunak untuk deployment AWS. Seperti yang dikatakan Kruze, “AWS MAP melakukan bootstrap penawaran AWS kami, yang sekarang digunakan oleh lebih dari 200 pelanggan.” Berjalan di AWS berarti bisnis dapat menawarkan produknya secara andal di seluruh dunia, berkat penyebaran AWS Region yang luas.

Akses ke keahlian dan layanan penyimpanan objek juga terbukti sangat berharga. Bekerja sama dengan para ahli Amazon S3, turbopuffer memiliki kesempatan untuk membentuk fitur desain utama dan mengimplementasikannya sejak dini untuk meningkatkan solusinya. Misalnya, fitur bandingkan-dan-tukar dari Amazon S3 memungkinkan turbopuffer menyediakan semantik yang sangat konsisten—fitur table stakes untuk basis data serius—tanpa membawa dependensi pada layanan lain. Secara historis, konsistensi yang kuat memerlukan dependensi tambahan pada basis data transaksional (misalnya, Amazon RDS atau Amazon DynamoDB), yang menambahkan banyak overhead operasional. Seperti yang dikatakan Eskildsen, “Tim S3 telah menjadi partner hebat dalam menyediakan akses ke fitur beta dan meminta umpan balik API untuk membantu menjadikan turbopuffer basis data skala pertama yang berjalan secara eksklusif pada penyimpanan objek.”

Sebagai perusahaan kecil dengan kurang dari 20 orang, menyeimbangkan efisiensi biaya tanpa mengorbankan performa adalah kuncinya. Untuk mencapai hal ini, turbopuffer juga menggunakan Amazon EC2 untuk komputasi yang aman dan dapat diubah ukurannya dan Amazon EKS untuk membangun, menjalankan, serta menskalakan aplikasi Kubernetes bersama dengan Karpenter. Mengomentari manfaatnya, Kruze mengatakan, “Menggunakan EKS dan Karpenter telah memungkinkan kami untuk fleksibilitas dalam mengoptimalkan biaya komputasi kami di beberapa kelas instans dengan sedikit usaha. Hal ini telah menghemat waktu konfigurasi yang tidak terhitung jumlahnya dan memungkinkan kami untuk memberikan performa terbaik kepada pelanggan kami pada titik biaya terbaik.”

Mencari lebih banyak cara untuk keunggulan pencarian

Untuk membangun kepercayaan dengan basis pelanggan yang luas, turbopuffer telah membuktikan kemampuannya untuk memenuhi kebijakan keamanan dan privasi data bisnis yang ketat. Kruze membahas tentang kunci enkripsi yang dikelola pelanggan (CMEK) bersama dengan konektivitas privat melalui AWS PrivateLink telah menjadi “kemenangan besar.” Beliau menambahkan bahwa fitur keamanan ini berarti turbopuffer dapat “menggunakan kunci enkripsi pelanggan yang sebelumnya tidak mungkin.”

Ke depan, turbopuffer berencana untuk mengejar lebih banyak—dan bahkan lebih besar—beban kerja pencarian. Seperti yang dikatakan Kruze, “langkah berikutnya adalah membuka lebih banyak peluang di ruang korporasi, dan kami berharap AWS membantu kami sepanjang perjalanan tersebut.” turbopuffer sedang dalam proses bergabung dengan AWS Marketplace untuk meningkatkan jangkauan serta menyederhanakan akuisisi produknya. Sementara itu, perusahaan ini terus membangun eksposur dengan menghadiri acara bergengsi seperti AWS re:Invent.

Sebagai bagian dari tujuan ekspansinya, startup ini juga mengembangkan reputasinya di luar kemampuan pencarian vektor. “Kami melihat makin banyak orang menjadi tertarik dengan solusi pencarian teks lengkap kami, dan kami benar-benar hanya ingin menjadi platform pencarian default untuk semua orang,” kata Kruze. Saat ini, melakukan hosting lebih dari satu triliun dokumen dan melayani lebih dari sepuluh ribu kueri per detik, turbopuffer siap untuk mengambil lebih banyak beban kerja serta menjadi mesin pencari yang paling dapat diskalakan dan andal di dunia.

Banyak startups memiliki ambisi yang sama besarnya, dan mereka sedang dalam perjalanan untuk mencapainya dengan dukungan dari AWS. Lebih dari 350.000 startups di seluruh dunia telah bergabung di AWS Activate sejak didirikan pada tahun 2013, mengakses sumber daya, panduan yang dipersonalisasi , bantuan teknis, Kredit AWS, dan lainnya. Dirancang bagi para pendiri serta diarahkan untuk pertumbuhan, AWS Activate membantu startups membangun, meluncurkan, dan menskalakan di AWS. Cari tahu lebih lanjut dan bergabunglah sekarang.