Cómo turbopuffer refactoriza la economía de las búsquedas

La búsqueda semántica desempeña un papel clave en el establecimiento de conexiones entre empresas y clientes. A diferencia de la búsqueda tradicional de texto completo, interpreta el contexto detrás de una búsqueda para hacer que las interacciones digitales sean más intuitivas, pertinentes y personalizadas. Mientras que una búsqueda tradicional de “vestido rojo”, por ejemplo, restringe los resultados a las palabras exactas que se utilizan, la búsqueda semántica puede mostrar productos y contenido significativos que van más allá de los límites de las palabras clave. Esto incluye los artículos relacionados y pertinentes para la consulta, como los descritos como “vestido burdeos” o “vestido de noche rojo”.

Hasta hace poco, el enorme costo de almacenar y buscar los volúmenes de datos necesarios para una búsqueda semántica exitosa impedía que muchas empresas se dieran cuenta de todos sus beneficios para sus casos de uso más importantes. Es un desafío que se ve agravado por la explosión del uso de modelos de lenguaje de gran tamaño (LLM) y la demanda de búsquedas iniciadas por agentes en documentos, bases de código y sitios web con alta coincidencia y baja latencia. Como testigo directo de este problema en su antiguo puesto de jefe de ingeniería de Shopify y como consultor que ayudaba a las empresas a escalar su infraestructura, Simon Hørup Eskildsen se obsesionó con encontrar una solución. Su intuición (y algunos cálculos rápidos) le sugirió que un cambio fundamental en la arquitectura podría transformar radicalmente la economía de las búsquedas.

Desde entonces, Eskildsen y Justine Li cofundaron turbopuffer para hacer accesible la búsqueda semántica de alta coincidencia y baja latencia, lo que ayudó a los clientes a buscar más datos, mejorar la calidad de las búsquedas y ahorrar millones. Al crear la base de datos sobre el almacenamiento de objetos en Amazon S3 y aprovechar servicios de AWS como Amazon EKS y Amazon EC2, la startup cambió radicalmente la forma en que empresas como Cursor, Notion y Linear implementan la búsqueda a escala.

Cómo hacer que los datos se puedan buscar a escala

Mientras que las soluciones anteriores utilizaban la indexación en memoria o la organización por niveles del almacenamiento, el motor de búsqueda semántica de turbopuffer reduce los costos 10 veces o más al aprovechar al máximo una arquitectura nativa de almacenamiento de objetos. El almacén de objetos es la fuente de información, mientras que los datos de acceso frecuente se pueden almacenar en caché en la memoria. Del mismo modo que un pez globo (en inglés, “puffer fish”) puede inflarse y desinflarse bajo demanda, la empresa recibió ese nombre por su capacidad de inflar (o escalar) una capa de almacenamiento en caché; “turbo”, por su parte, hace hincapié en la velocidad y la eficacia del algoritmo.

Antes de este nuevo enfoque, las organizaciones tenían que elegir qué datos buscar, lo que limitaba las ambiciones de sus productos debido al alto costo del almacenamiento de vectores y al limitado retorno de inversión. Roko Kruze, ingeniero de soluciones de turbopuffer, explica que su misión es “reducir el costo total del almacenamiento y la búsqueda de datos para que las personas no tengan que hacer ese sacrificio”. Muchos de los clientes de turbopuffer ven mejoras de más del 20 % en la calidad de las búsquedas. El impacto es significativo: mejores experiencias de usuario, mayor satisfacción y mayor lealtad de los usuarios.

El objetivo de turbopuffer es hacer que cada byte se pueda buscar. Al separar la computación y el almacenamiento y utilizar el almacenamiento de objetos, puede lograr un nivel de escalabilidad que, de otro modo, tendría un costo prohibitivo con las soluciones tradicionales de bases de datos vectoriales. “Permitimos que las personas consulten más de 100 000 millones de vectores, y esto prácticamente equivale a indexar toda la World Wide Web”, explica Kruze. Si bien funciona con empresas como Notion, que tienen millones de clientes y más de 10 000 millones de vectores en producción, turbopuffer puede particionar todos esos datos en función de un cliente determinado. “Esto es algo que podemos hacer prácticamente de forma gratuita gracias a la forma en que nos basamos en Amazon S3”, afirma Kruze.

Cómo trabajar mano a mano con la IA

Además de aumentar la escalabilidad y la calidad de las búsquedas, turbopuffer está demostrando ser una herramienta eficaz para los flujos de trabajo de IA. La startup está teniendo un enorme éxito en esta área porque los LLM se utilizan cada vez más para hacer búsquedas semánticas en bases de códigos, documentos y sitios web a fin de generar mejores respuestas. Esta escala de cargas de trabajo de búsquedas con tecnología de IA es mucho mayor que en el pasado, y turbopuffer se creó especialmente para satisfacerla.

Muchos clientes aprovechan turbopuffer para los flujos de trabajo de IA agéntica a fin de garantizar que la información que se suministra al LLM sea específica, pertinente y de alta calidad. “Algunas personas tratarán de incluir la mayor cantidad de datos posible en la ventana de contexto y esperan obtener lo mejor”, explica Kruze. “turbopuffer mejora el rendimiento general de los LLM porque hay menos datos que analizar y hacemos que los sistemas agénticos puedan acceder fácilmente a esos datos”, señala.

turbopuffer, que ahora presta servicio a más de 500 clientes, respalda tanto a pequeñas organizaciones como a grandes empresas, tales como Cursor y Grammarly. La startup también elimina la complejidad de las búsquedas al ofrecer su producto como un servicio administrado. Al no tener que gestionar las operaciones subyacentes, los clientes pueden centrarse en crear sus aplicaciones.

Una asociación que impulsa el crecimiento y la eficiencia

La estrecha colaboración con AWS ayudó a turbopuffer a crear una base de datos más rápida y fiable y a conectarse con más clientes. Kruze señala que “uno va a donde están sus clientes y muchos están en AWS”. La empresa participó en el Programa de aceleración de la migración (MAP) de AWS para migrar su infraestructura principal en tan solo unas semanas, y se benefició de los créditos de AWS y de la asistencia de especialistas para optimizar el software para la implementación de AWS. Como afirma Kruze, “MAP de AWS impulsó nuestra oferta de AWS, que ahora utilizan más de 200 clientes”. Operar en AWS significa que la empresa puede ofrecer sus productos de forma fiable en todo el mundo, gracias a la amplia variedad de regiones de AWS.

El acceso a la experiencia y a los servicios de almacenamiento de objetos también demostró ser particularmente valioso. Al trabajar en equipo con los expertos de Amazon S3, turbopuffer tuvo la oportunidad de configurar las principales características de diseño e implementarlas desde el principio para mejorar su solución. Por ejemplo, la característica de comparación e intercambio de Amazon S3 permite a turbopuffer ofrecer una semántica muy coherente (una característica muy importante para cualquier base de datos seria) sin tener que depender de otro servicio. Históricamente, una coherencia sólida requería una dependencia adicional de una base de datos transaccional (por ejemplo, Amazon RDS o Amazon DynamoDB), lo que agregaba una importante sobrecarga operativa. Como afirma Eskildsen, “el equipo de S3 fue un socio excelente, ya que nos permitió acceder a las características beta y pidió comentarios sobre la API para hacer de turbopuffer la primera base de datos a escala que se basa exclusivamente en el almacenamiento de objetos”.

Como empresa pequeña de menos de 20 personas, es fundamental equilibrar la rentabilidad sin comprometer el rendimiento. Para lograrlo, turbopuffer también utiliza Amazon EC2 para una computación segura y redimensionable, y Amazon EKS para crear, ejecutar y escalar aplicaciones de Kubernetes junto con Karpenter. Al comentar los beneficios, Kruze afirma lo siguiente: “El uso de EKS y Karpenter nos permitió la flexibilidad necesaria para optimizar nuestros costos de computación en varias clases de instancias con poco esfuerzo. Esto nos ahorró innumerables horas de configuración y nos permite ofrecer a nuestros clientes el mejor rendimiento posible al mejor precio”.

Cómo buscar más vías para la excelencia en las búsquedas

Para generar confianza con una amplia base de clientes, turbopuffer demostró su capacidad para cumplir con las estrictas políticas de seguridad y privacidad de datos de las empresas. Kruze comenta que las claves de cifrado administradas por el cliente (CMEK), junto con la conectividad privada a través de AWS PrivateLink, supusieron “una gran victoria”. Agrega que estas características de seguridad permiten a turbopuffer “incorporar clientes que, de otro modo, no sería posible incorporar”.

De cara al futuro, turbopuffer planea dedicarse a más cargas de trabajo de búsqueda (e incluso más grandes). Como afirma Kruze, “el siguiente paso es abrir más oportunidades en el ámbito empresarial, y esperamos que AWS nos ayude en este sentido”. turbopuffer está en proceso de unirse a AWS Marketplace para aumentar el alcance y simplificar la adquisición de sus productos. Mientras tanto, sigue aumentando su visibilidad asistiendo a eventos de alto perfil, como AWS re:Invent.

Como parte de sus objetivos de expansión, la startup también está aumentando su reputación más allá de las capacidades de búsqueda vectorial. “Cada vez son más las personas que se interesan por nuestra solución de búsqueda de texto completo, y lo que realmente queremos es convertirnos en la plataforma de búsqueda predeterminada para todo el mundo”, indica Kruze. Actualmente, turbopuffer aloja más de un billón de documentos y atiende más de diez mil consultas por segundo, por lo que está preparado para soportar más cargas de trabajo y convertirse en el motor de búsqueda más escalable y fiable del mundo.

Muchas startups tienen ambiciones igualmente audaces y están en proceso de lograrlas con el apoyo de AWS. Más de 350 000 startups de todo el mundo se unieron a AWS Activate desde su creación en 2013 y acceden a recursos, orientación personalizada, asistencia técnica, créditos de AWS y mucho más. AWS Activate, que se diseñó para los fundadores y se orienta al crecimiento, ayuda a las startups a crear, lanzar y escalar en AWS. Obtenga más información y únase hoy mismo.