SaaS founder series: Dremio’s Journey to unicorn status

AWS の Afza Wajid、Bill Tarr、Mark Birch によるゲスト投稿

エンゲージメントとインテリジェンスのシステムが普及するにつれて、現代の組織全体でデータインサイトを提供することがますます重要になっています。しかし、データを効果的に分析するには、分析する前に異なるストレージシステム間でデータを一元化するための専門的なスキルと高価なカスタムコードが必要です。Hadoop のようなオープンソースの分散型データストレージフレームワークの出現により、デベロッパーは分散データソースに直接クエリを実行できるようになりましたが、データサイエンティストやアナリストは、依然としてセルフサービス方式でデータから価値を引き出すことができませんでした。

2015 年に設立されたシリーズ D 出資のユニコーンスタートアップである Dremio は、高性能で効率の高いクエリエンジンで分析スタックを簡素化しています。これにより、データコンシューマーはペタバイト規模のクラウドデータレイクストレージに直接クエリを実行できます。同時に、大量のデータ転送やベンダーロックインを排除し、セキュリティリスクを軽減します。さらに、データソースをインテリジェンスツールに接続するセマンティックセルフサービスレイヤーは、データサイエンティストやアナリストの価値実現までの時間を短縮します。Dremio は現在、カスタマーエクスペリエンスを簡素化するサービスとしてのクラウドネイティブデータレイクである Dremio Cloud を立ち上げ、ソリューションの範囲を広げています。

AWS SaaS Factory チームは、Dremio の創設者兼最高製品責任者である Tomer Shiran 氏を招き、Dremio のサービスとしてのソフトウェアへの道のりについて話し合い、AWS で SaaS およびサービス型プラットフォーム (PaaS) サービスを構築する企業にとって重要な教訓を共有しました。Shiran 氏は、エンタープライズソフトウェア業界で 15 年以上の経験を持つ起業家であり、Hewlett Packard、Microsoft、IBM Research で製品管理とエンジニアリングの役職を歴任してきました。Dremio の創設前は、MapR で製品部門バイスプレジデントを務め、従業員数を 5 人から 400 人近くへと成長させ、企業のお客様数は数百に及びました。Dremio がユニコーンのステータスを獲得するまでの道のりについての詳細は、以下をご覧ください。

SaaS Factory: Tomer 氏、本日はお時間を割いて話していただきありがとうございます。まず、Dremio が設立されるきっかけとなった価値提案について少し教えてください。

Tomer Shiran 氏: 誰もがより多くのデータを欲しがっています。しかし、データが多ければ多いほど、そこから有意義なインサイトを効率的に引き出すことが難しくなります。Amazon S3 のようなクラウドデータレイクストレージは、安価でスケーラブルで管理が簡単なため、大量のデータを保存する場所として選ばれています。しかし、そのデータを分析するために、企業はそのデータを独自のデータウェアハウスに移動してコピーする必要がありました。このプロセスにはコストがかかり、複雑で、リスクも高く、柔軟性もありません。

Dremio のデータレイクエンジンは、クラウドデータレイクストレージとデータコンシューマーの間に位置するため、データを直接クエリして高性能ダッシュボードやインタラクティブ分析を行うことができます。データを独自のデータウェアハウスにコピーし、後で集計テーブル、抽出、キューブ、またはその他の派生データを作成する必要はありません。Dremio はまた、データアナリストがセルフサービス方式でデータセットを発見、キュレーション、分析、共有できるようにする共有セマンティックレイヤーを提供し、データチームのデータセキュリティとガバナンスを一元化します。その結果、データセキュリティを強化し、ベンダーロックインを排除しながら、価値実現までの時間を短縮する、よりシンプルで合理化されたデータアーキテクチャが実現します。

より広義には、オープンソースのイノベーションと業界のオピニオンリーダーシップは、Dremio の価値提案にとって極めて重要です。例えば、Apache Arrow はもともと当社独自の内部メモリフォーマットでしたが、オープンソースにすることに決めました。今ではインメモリーコンピューティングの標準となり、毎月 2,000 万回以上ダウンロードされています。最近では、Git のようなバージョン管理をデータレイクにもたらし、データエンジニアリング、データサイエンス、分析の俊敏性を加速する Project Nessie を開発しました。

SaaS Factory: 今週、Dremio Cloud が発表されましたが、独自のアーキテクチャアプローチを選んだ理由を教えてください。

Tomer Shiran 氏: Dremio Cloud は、お客様のワークロードに合わせてスケーリングできるサービスとして提供されるクラウドネイティブなデータレイククエリエンジンです。システムの設定や管理に煩わされることなく、データから価値を引き出すことに集中できる、フルマネージドサービスを求める企業が増えています。そのため、Dremio SaaS のサービス開発は、当社のストーリーにおいて自然な流れでした。

Dremio Cloud は、Amazon S3 で直接高い同時実行性と低レイテンシーのクエリを提供し、アナリストやデータサイエンティストがデータを利用しやすく、一貫性があり、安全にするセマンティックレイヤーを提供します。クライアントからクエリを受信してクエリのプランニングとエンジン管理を行う常時稼働のコントロールプレーンと、クエリの実行を担当するコンピュートエンジンで構成されるデータプレーンで構成されています。

マルチテナントのコントロールプレーンは、Dremio Cloud のカスタマーエクスペリエンスの中心であり、ユーザーインターフェイス、REST API、データクエリエンドポイントなど、クライアント側のすべてのインタラクションをホストします。ビジネスユーザーが Dremio Cloud で分析を実行したい場合、Tableau、Power BI、SageMaker、Looker、Jupyter Notebook などの好みの BI ツールを app.dremio.cloud のコントロールプレーンに接続します。コントロールプレーンは、クエリ実行をお客様の AWS アカウントに自動的にプロビジョニングされたコンピューティングエンジンに安全に委任するため、すべてのデータ処理はお客様のアカウント内で行われます。

データプレーンアーキテクチャは、さまざまなワークロードをサポートするための複数の適切なサイズのコンピューティングエンジンで構成されています。このマルチエンジンアーキテクチャに基づいて構築された Dremio Cloud には、ワークロードのサイズに基づいてエンジンを動的にスケールする機能が導入されています。これにより、企業は一貫したパフォーマンスを維持しながら、あらゆるレベルの同時実行に対応できるようになります。すべてのデータはお客様のアカウント内で保存および処理され、転送中も保管中も暗号化されるため、データを完全にコントロールできます。また、データプレーンへのインバウンド接続がないため、お客様はファイアウォールやセキュリティグループに穴を開ける必要がありません。これらの機能により、お客様にとってより強力なセキュリティとガバナンスが可能になります。

当社が採用したアプローチには、エンドツーエンドの Apache Arrow を使用してクエリのパフォーマンスを劇的に向上させるなど、大幅な技術革新が必要でした。Arrow がなければ、データ構造のシリアル化と逆シリアル化は非効率的であり、メモリと CPU リソースの浪費につながります。Arrow を使用することで、Dremio は列指向データ構造の利点とインメモリ計算を組み合わせることができ、複雑なデータや動的スキーマのパフォーマンス上の利点と柔軟性が得られます。

SaaS Factory: 中核となるお客様は誰で、Dremio Cloud の導入により、どのような変化がありますか?

Tomer Shiran 氏: Dremio は常に、企業データを戦略的に使用したいと考えるあらゆる企業を対象に設計されてきました。Standard Chartered Bank などの金融機関、Johnson & Johnson などの製薬会社、Honeywell のような製造業者など、あらゆる業界の何百もの企業がクラウドデータレイクを強化するために Dremio を使用しています。Amazon 自体も Dremio を使用して、サプライチェーンデータなどの社内データレイク内のデータを分析し、ビジネスインテリジェンスを強化しています。

その一方、Dremio Cloud は双方向にスケーラブルになるように設計されています。これにより、分析するデータが大量にあるが、独自のデータインフラストラクチャを運用するリソースが必ずしも必要ではない、あるいは、苦労して得たベンチャー資金をクラウドデータウェアハウスに費やしたくない、といったベンチャー支援スタートアップも効果的に使用することができます。

SaaS Factory: SaaS 製品の追加には、ビジネスと組織の包括的な変革が必要です。SaaS ビジネスやデリバリーモデルとの整合性を高めるために、組織のさまざまな機能はどのように進化してきたのでしょうか。

Tomer Shiran 氏: その通りです。製品エンジニアリングの面では、何十万もの自動テストと包括的な CI/CD プロセスを開発しました。製品開発組織を拡大し、サイト信頼性エンジニアリング (SRE)、DevOps、セキュリティチームに Google や Salesforce などの企業からのリーダーを招きました。その結果、Dremio Cloud に毎日アップデートをリリースできるようになりました。

製品エンジニアリングチームの変更に加えて、社内のお客様対応チームを調整して、セルフサービス採用モデルをサポートしました。当社の営業チームとマーケティングチームは、オンラインで、質の高いお客様を Dremio Cloud のオファーに誘導することに重点を置いています。一方、カスタマーサクセスチームとサポートチームは、運用データと自動化を活用して、積極的かつ的を絞ったサポートを提供し、高いお客様満足度を維持しています。さらに喜ばしいことに、当社はその基盤として、社内のデータそのものに Dremio を使用できるのです。

SaaS Factory: Dremio Cloud の開発時に、どのように AWS を利用していましたか?

Tomer Shiran 氏: 当社は常に Amazon と特別な関係を築いており、社内の複数のチームと提携してきました。当社は、Amazon S3、AWS Glue、Amazon Lake Formation などの多数の AWS サービスチームと緊密に連携して、サービス間の統合を実現し、新しい機能について協力し合っています。当社は AWS Marketplace チームと提携して、Marketplace 全体に Dremio を配布しています。これにより、企業が AWS を通じて支払いを行いながら当社の製品を利用できるようになります。当社の営業チームとマーケティングチームは、AWS Partner Network および AWS の販売組織と協力して Dremio を AWS のお客様に提供することで、AWS のお客様が次世代のデータレイク/レイクハウスを構築できるようにしています。

また、ここ数年、AWS SaaS Factory チームと仕事をする機会に恵まれました。Dremio Cloud の構築を始めた当初、最先端のテクノロジーとベストプラクティスを活用してクラス最高のクラウドサービスを作りたいと考えていました。過去 10 年間に、AWS 独自のサービスを含め、多数の SaaS および PaaS サービスが AWS 上に構築されてきたため、他のサービスが経験する課題や制限を避けながら、うまく機能していたものを活用したいと考えました。そのために、SaaS Factory チームと提携して、比類のないスケーラビリティ、セキュリティ、パフォーマンスを提供するアーキテクチャを開発し、すべての分野のお客様に最適化された SaaS デリバリーモデルを確保するための柔軟な使用量ベースの価格設定戦略を策定しました。

SaaS Factory: Dremio は、2021 年 1 月に実施された最新のシリーズ D 資金調達ラウンドに基づいて、正式に「ユニコーン」になりました。意欲的な創設者たちと話すとしたら、何をアドバイスしますか?

Tomer Shiran 氏: ワクワクするような大きなニーズが市場にあるなら、ためらわずにスタートアップを立ち上げてください。しかし、時間をかけてそのカテゴリーで最高の製品を開発してください。例えば、データインフラストラクチャの分野では、堅実な製品を提供するには大量の知的財産が必要です。私たちは Dremio で 5 年間働き、イノベーションとカスタマーサクセスに重点を置いて、真に次世代のデータレイクエンジンと思われるものをゼロから構築しました。強固な基盤を構築すれば、飛躍的な成長も実現しやすくなります。設立から 6 年が経過した現在、Dremio は世界の大企業のクラウドデータレイクを支え、昨年は 2 億 USD 以上のベンチャー資金を調達しています。

Dremio と AWS は、データ管理の未来と、Dremio Cloud で提供しているイノベーションに期待しています。詳細についてご関心がある場合は、Dremio Cloud ページをご覧ください。

AWS SaaS Factory について

AWS SaaS Factory は、SaaS への移行のあらゆる段階の組織を支援します。AWS での新製品の構築、既存のアプリケーションの移行、SaaS ソリューションの最適化のいずれを検討している場合でも、AWS SaaS Factory プログラムは役に立ちます。SaaS のビルダーと運営者は、エンゲージメントモデルについてのお問い合わせや、AWS SaaS Factory チームとの連携について、アカウント担当者にご連絡ください。

AWS SaaS Factory Insights Hub にアクセスして、技術やビジネスに関するその他のコンテンツやベストプラクティスをご覧ください。サインアップして、AWS の SaaS に関するニュース、リソース、イベントの最新情報をご覧ください。