turbopuffer가 리팩터링을 통해 검색의 경제성을 실현하는 비결

시맨틱 검색은 기업과 고객 간의 연결을 구축하는 데 중요한 역할을 합니다. 기존의 전체 텍스트 검색과 달리, 검색 이면의 컨텍스트를 해석하여 보다 직관적이고 연관성이 높고 개인화된 디지털 상호 작용을 구현할 수 있습니다. 예를 들어 '빨간 옷'을 검색하면 사용되는 정확한 단어로만 결과가 제한되는 반면, 시맨틱 검색은 키워드의 범위를 넘어서는 유의미한 제품과 콘텐츠를 반환할 수 있습니다. 여기에는 '버건디 드레스' 또는 '레드 이브닝 가운'으로 설명되는 아이템처럼, 검색어와 관련이 있거나 연관성이 높은 상품이 포함됩니다.

최근까지는 성공적인 시맨틱 검색에 필요한 데이터 볼륨을 저장하고 검색하는 데 드는 엄청난 비용 때문에 많은 사람들이 가장 중요한 사용 사례에서 그 이점을 제대로 활용하지 못했습니다. 대규모 언어 모델(LLM) 폭발적인 사용 증가와 문서, 코드 기반 및 웹 사이트 전반에서 높은 재현율, 짧은 지연 시간, 에이전트 주도 검색에 대한 요구로 인해 이러한 문제는 더욱 복잡해졌습니다. Shopify에서 수석 엔지니어로 일하며 컨설턴트로서 기업의 인프라 확장을 지원하면서 이 문제를 직접 목격한 Simon Hørup Eskildsen은 그 해결책을 찾는 데 집착했습니다. 그는 직관과 간단한 계산을 통해 아키텍처의 근본적인 혁신이 검색의 경제성을 크게 높일 수 있다는 사실을 알게 되었습니다.

이후 Eskildsen과 Justine Li는 고객이 더 많은 데이터를 검색하고 검색 품질을 개선하며 수백만 USD를 절감할 수 있도록 하기 위해 turbopuffer를 공동 설립했습니다. Amazon S3의 객체 스토리지에 데이터베이스를 구축하고 Amazon EKS 및 Amazon EC2와 같은 AWS 서비스를 활용함으로써 이 스타트업은 Cursor, Notion, Linear 등의 회사가 대규모 검색을 구현하는 방식을 근본적으로 혁신했습니다.

대규모 데이터 검색 실현

이전 솔루션에서는 인메모리 인덱싱 또는 스토리지 계층화를 사용했지만, Turbopuffer의 시맨틱 검색 엔진은 객체 스토리지 네이티브 아키텍처를 온전히 활용하여 비용을 10배 이상 절감합니다. 웜 데이터는 메모리에 캐싱할 수 있으며, 객체 저장소는 정보의 원천이 됩니다. 이 회사의 이름을 이렇게 지은 이유는 복어가 필요에 따라 팽창하거나 축소할 수 있는 것처럼 캐싱 계층을 부풀릴(확장할) 수 있다는 의미를 담고 거기에 알고리즘의 속도와 효율성을 강조하는 '터보'라는 단어를 사용한 것입니다.

이 새로운 접근 방식을 사용하기 전에는 조직이 검색할 데이터를 골라야 했을 뿐만 아니라, 벡터 저장 비용이 높고 투자 대비 수익이 제한적이어서 제품 개발 목표가 제한될 수밖에 없었습니다. turbopuffer의 솔루션 엔지니어인 Roko Kruze는 turbopuffer의 사명이 ‘데이터 저장 및 검색에 드는 전체 비용을 줄여 사람들이 이러한 단점을 감수하지 않아도 되도록 하는 것’이라고 설명합니다. turbopuffer의 고객 중 상당수는 검색 품질이 20% 이상 향상되는 효과를 경험하고 있습니다. 사용자 경험 개선, 만족도 향상, 사용자 충성도 증대 등 그 효과는 상당합니다.

turbopuffer의 목표는 모든 바이트를 검색할 수 있게 만드는 것입니다. 컴퓨팅과 스토리지를 분리하고 객체 스토리지를 사용함으로써 기존 벡터 데이터베이스 솔루션으로는 감당할 수 없는 수준의 확장성을 실현할 수 있습니다. Kruze는 “저희는 사람들이 1,000억 개가 넘는 벡터를 쿼리할 수 있도록 지원하고 있는데, 이는 월드 와이드 웹 전체를 인덱싱하는 것과 같다”고 설명합니다. 수백만 고객을 보유하고 100억 개 이상의 벡터를 생산 중인 Notion과 같은 기업에서도 사용할 수 있겠지만, turbopuffer는 특정 고객별로 모든 데이터를 분할할 수 있습니다. Kruze는 “Amazon S3를 기반으로 구축된 방식 덕분에 거의 무료로 이 작업을 수행할 수 있습니다”라고 말합니다.

AI와 함께 작업하기

확장성과 검색 품질을 높이는 것 외에, turbopuffer는 AI 워크플로를 위한 강력한 도구라는 것도 입증되었습니다. 코드베이스, 문서 및 웹 사이트를 의미론적으로 검색하여 더 나은 응답을 생성하는 데 LLM을 사용하는 사례가 갈수록 많아지는 만큼, 이 스타트업은 이 분야에서 큰 성공을 거두고 있습니다. 이러한 규모의 AI 기반 검색 워크로드는 과거보다 훨씬 더 커졌으며, turbopuffer는 이 문제를 해결하기 위해 특별히 개발되었습니다.

많은 고객이 구체적이고 연관성이 높은 고품질의 정보를 LLM에 제공하기 위해 에이전틱 AI 워크플로용 turbopuffer를 활용하고 있습니다. Kruze는 “어떤 사람들은 최대한 많은 데이터를 컨텍스트 창에 넣으려고 노력하며 최상의 결과를 기대하기도 합니다”라고 설명하며, “turbopuffer는 구문 분석해야 하는 데이터의 양이 적고 에이전틱 시스템에서 해당 데이터에 매우 쉽게 액세스할 수 있도록 해주기 때문에 LLM의 전반적인 성능을 높입니다”라고 덧붙입니다.

현재 500개 이상의 고객사에 서비스를 제공하고 있는 turbopuffer는 소규모 조직과 Cursor 및 Grammarly를 비롯한 대기업을 모두 지원하고 있습니다. 또한 이 스타트업은 제품을 관리형 서비스로 제공함으로써 검색의 복잡성을 없애줍니다. 고객은 기본 운영을 관리할 필요가 없으므로 애플리케이션 구축에 집중할 수 있습니다.

성장과 효율성을 강화하는 파트너십

turbopuffer는 AWS와의 긴밀한 협업을 통해 더 빠르고 안정적인 데이터베이스를 구축하고 더 많은 고객과 소통할 수 있었습니다. Kruze는 “고객에게 가까이 가면 많은 고객이 AWS를 사용 중인 것을 알 수 있습니다”라고 말합니다. 이 회사는 AWS 마이그레이션 가속화 프로그램(MAP)에 참여하여 단 몇 주 만에 핵심 인프라를 마이그레이션했으며, AWS 배포용 소프트웨어를 최적화하기 위한 AWS 크레딧과 전문가 지원을 활용했습니다. Kruze는 “AWS MAP은 현재 200여 고객이 사용 중인 AWS 서비스를 부트스트래핑했습니다” 라고 말합니다. AWS를 기반으로 운영한다는 것은 광범위한 AWS 리전 덕분에 기업이 전 세계에 제품을 안정적으로 제공할 수 있게 된다는 것을 의미합니다.

전문성과 객체 스토리지 서비스에 대한 접근성도 특히 중요하다는 것이 입증되었습니다. turbopuffer는 Amazon S3 전문가와 협력하여 주요 설계 기능을 구체화하고 초기 단계에서 빠르게 구현하여 솔루션을 개선할 기회를 얻었습니다. 예를 들어 Amazon S3의 비교 및 교체 기능을 통해 turbopuffer는 다른 서비스에 종속되지 않고도 매우 일관된 시맨틱(중요한 데이터베이스의 경우 테이블 스테이크 기능)을 제공할 수 있습니다. 기존에는 일관성을 유지하기 위해서는 트랜잭션 데이터베이스(예: Amazon RDS 또는 Amazon DynamoDB)에 대한 추가 종속성이 필요했는데, 이로 인해 상당한 운영 오버헤드가 발생했습니다. Eskildsen은 “S3 팀은 베타 기능에 대한 액세스를 제공하고 API 피드백을 요청하여 turbopuffer를 객체 스토리지에서만 실행되는 최초의 대규모 데이터베이스로 만드는 데 도움을 준 훌륭한 파트너였습니다”라고 말합니다.

20명 미만의 소규모 회사로서 성능 저하 없이 비용 효율성의 균형을 맞추는 것이 주요 목표였습니다. 이를 위해 turbopuffer는 안전하고 확장성이 뛰어난 컴퓨팅을 위해 Amazon EC2를 사용하고 Karpenter와 함께 Kubernetes 애플리케이션을 구축, 실행 및 규모 조정하는 데 Amazon EKS를 사용하고 있습니다. Kruze는 이러한 이점에 대해 “EKS와 Karpenter를 사용하면서 적은 노력으로 여러 인스턴스 클래스에 걸쳐 컴퓨팅 비용을 유연하게 최적화할 수 있게 되었습니다. 그 결과 구성 시간을 셀 수 없이 절약하고 최적의 비용으로 고객에게 가능한 최고의 성능을 제공할 수 있었습니다”라고 말합니다.

검색 성능 개선을 위한 더 다양한 방법 모색

광범위한 고객 기반에 걸쳐 신뢰를 구축하는 데 있어, turbopuffer는 기업의 엄격한 보안 및 데이터 프라이버시 정책을 충족하는 능력을 입증했습니다. Kruze는 고객 관리형 암호화 키(CMEK)와 AWS PrivateLink를 통한 프라이빗 연결이 ‘성공의 열쇠’였다고 말합니다. 그는 이러한 보안 기능을 통해 Turbopuffer가 ‘다른 방법으로는 불가능했던 고객 온보딩’을 실현할 수 있었다고 덧붙입니다.

turbopuffer는 앞으로 더 많고 더 큰 검색 워크로드를 처리할 계획입니다. Kruze는 ‘다음 단계는 엔터프라이즈 분야에서 더 많은 기회를 여는 것이며, AWS가 그 여정 내내 우리에게 도움이 되기를 바랍니다”라고 말합니다. turbopuffer는 회사의 입지를 확대하고 제품 구매를 간소화하기 위해 AWS Marketplace에 참여하기 위한 프로세스를 진행하는 중입니다. 그와 동시에, AWS re:Invent와 같은 세간의 이목을 끄는 이벤트에도 참여하여 지속적으로 인지도를 쌓아가고 있습니다.

확장 목표의 일환으로, 이 스타트업은 벡터 검색 기능 이외의 분야에서도 명성을 높이고 있습니다. Kruze는 “갈수록 더 많은 사람들이 저희의 전체 텍스트 검색 솔루션에 관심을 갖게 되었습니다. 저희는 모든 사람을 위한 기본 검색 플랫폼이 되고 싶습니다”라고 말합니다. 현재 1조 건 이상의 문서를 호스팅하고 초당 1만 개 이상의 쿼리를 처리하고 있는 turbopuffer는 더 많은 워크로드를 처리하고 세계에서 가장 확장성과 신뢰성이 뛰어난 검색 엔진으로 거듭날 준비가 되었습니다.

다른 많은 스타트업들도 마찬가지로 대담한 야망을 품고 있으며, AWS의 지원을 받아 그 목표를 향해 나아가고 있습니다. 2013년 운영을 개시한 이래 전 세계 35만 개 이상의 스타트업이 AWS Activate에 가입하여 리소스, 맞춤형 지침, 기술 지원, AWS 크레딧 등의 혜택을 누리고 있습니다. 창업자를 위해 설계되고 성장을 지향하는 AWS Activate는 스타트업이 AWS에서 구축, 출시 및 확장할 수 있도록 지원합니다. 자세히 알아보고 지금 가입하세요.