通信事業者が提供するSmart-Xのための協調AIエージェントによる分散推論

本稿は、2025年3月20日に AWS for industriesで公開された “Distributed inference with collaborative AI agents for Telco-powered Smart-X” を翻訳したものです。

はじめに

人工知能（AI）アプリケーションは、分散推論パイプラインへと進化しています。これにより、デバイスエッジからAWSクラウドまでの複数のレイヤーでモデルを実行し、遅延、帯域幅、プライバシーの最適化が可能になります。すべての生データをAWSに送信する代わりに、協調的なAI推論は、デバイスエッジ、ファーエッジ、ニアエッジ（多くの場合5Gマルチアクセスエッジコンピューティングサイト – MEC）、およびAmazon Web Services（AWS）リージョンで実行でき、通信事業者は、AIコンピューティングハブとして重要な役割を果たします（図1）。AIおよびエージェント型ワークフローの観点から、エッジはもはや単なる受動的なデータ中継点ではなく、AIエージェントがタスクを動的にオーケストレーションし、レイヤー間で協調し、リアルタイムで推論実行を最適化するインテリジェントな意思決定レイヤーとなっています。通信事業者によるSmart-Xとは、AIによって強化され、通信ネットワークによって接続されたスマートインフラストラクチャ（スマートシティ、スマート交通など）を指します。この記事では、エッジとAWSクラウドがシームレスに共存し、多層アーキテクチャ全体に知能を分散させることで、実世界の課題に取り組む可能性について探ります。「交差点安全」問題を新たな視点で見直し、このハイブリッドアプローチがいかにより迅速で効率的なソリューションを実現するかを示します。ここで議論するアーキテクチャは、様々なSmart-Xドメインに広く適用可能です。

図1 分散コンピューティング場所のスペクトラムとSmart-Xへの応用 図1：Smart-X向けの分散コンピューティングの場所とその応用の範囲

アーキテクチャとテクノロジースタック

分散AIパイプラインを構築するには、ファーエッジ（デバイス、センサー、ゲートウェイ）からニアエッジ（Telco エッジ/MEC）を経て、AWSリージョンまでの統合されたネットワークアーキテクチャが必要です。各レイヤーには明確な責任があり、特定のAWSテクノロジーを使用します。

ネットワーキングレイヤー： ネットワークインフラストラクチャは、分散推論アーキテクチャの重要なバックボーンを形成します。それはファーエッジ、ニアエッジ、およびAWSクラウドレイヤーを、信頼性が高く、安全で、低遅延の通信経路で接続します。ファーエッジでは、デバイスは、時間的制約の厳しいAIワークロードのサービス品質を保証する専用スライスを介して5Gネットワークに接続します。これらのネットワークスライスは、帯域幅、遅延、信頼性に関する構成可能なパラメータを備えた、5Gインフラストラクチャの分離された仮想化された部分を提供します。AIハードウェアに統合された5G PCIeモジュールは、10ms未満の応答時間で超高信頼性低遅延通信（URLLC）を可能にします。これは、交差点監視などの安全が重要なアプリケーションに不可欠です。ファーエッジとニアエッジの間では、プライベートネットワークアクセスポイント名（APN）が、機密性の高いビデオデータを公共インターネットへの露出から保護する安全なトンネルを確立します。一方、AWS Outposts Service Linkは、オペレーターのニアエッジデプロイメント（AWS Outpostsファミリー）とAWSリージョンサービス間のプライベート接続を作成します。この接続ファブリックは、最適化されたルーティングパスを通じて、コントロールプレーンメッセージ（低帯域幅のデバイス管理とモデルアップデート）とデータプレーンのトラフィック（高帯域幅のビデオストリームと推論結果）の両方をサポートします。AWS IoT Coreは、永続的な双方向接続のためのMQTT over WebSocketsを備えたメッセージングバックボーンを提供し、短い接続の中断が発生した場合でもセッション状態を維持します。ネットワークパス全体で、AWS IoT Device Defenderによる相互TLS認証と証明書ベースのID管理によるエンドツーエンドの暗号化が実装され、承認されたデバイスのみが推論パイプラインに参加できるようになっています。さらに、ネットワークテレメトリは、Amazon CloudWatchおよびAWS IoT SiteWiseを通じて継続的に監視され、トラフィックパターンのリアルタイム最適化と、推論遅延や信頼性に影響を与える可能性のあるボトルネックの予防的特定を可能にします。この複数レイヤーのネットワーキングアプローチは、主要な交通事故や自然災害時のネットワーク輻輳などの困難な条件下でも、スマート交差点安全システムが動作し続けることを確保する回復力のある基盤を作成します。

図2 ネットワーキングとテクノロジースタックを示す機能アーキテクチャ 図2：ネットワーキングとテクノロジースタックを示す機能アーキテクチャ

ファーエッジレイヤー：これは、データが生成される場所です。たとえば、交差点にあるIPカメラやスマートセンサーなどです。これらのデバイスは、CPUおよびGPUハードウェアの異種アーキテクチャを使用してオンボードAI機能を活用し、オーディオ、ビデオ、画像理解にわたるマルチセンサー処理を可能にします。ベンダーの多様性を持つ共有インフラストラクチャを採用することで、このアプローチは、さまざまなハードウェアプラットフォームにわたるスケーラビリティ、柔軟性、相互運用性を保証します。オンボード視覚言語モデル（VLM: Vison Language Models）は、ビデオフィードで直接実行され、シーンをリアルタイムで解釈します。つまり、カメラは、現場で数ミリ秒以内に車両、歩行者、または異常を検出できます。ファーエッジデバイスは、AWS接続なしで単純な推論またはコマンドアンドコントロールタスクを実行するための反射エージェントも実行します。これらのモデルは、デバイスのコンピューティング/メモリ制約内で動作できるように、エッジ展開用に最適化されています（量子化やモデル蒸留などの技術を通じて）。この記事は、コンピュータビジョンのより広範な問題を解決することを目的としていません。オブジェクトの動的性質、オクルージョン、2Dビジョンベース推論の制限により、衝突検出が本質的に困難であることを認識しています。

ニアエッジ（Telcoエッジ/MEC）レイヤー：サービスプロバイダーのエッジ（多くの場合、5G マルチアクセスエッジコンピューティングサイト（MEC）サイト）は、中間レイヤーとして機能します。このニアエッジレイヤーは、AWS Outpostsファミリーなど、オンプレミスにデプロイされたAWSコンピューティングノードで構成されます。アーキテクチャでは、ニアエッジノードは、都市全体のビューを取得するために複数のカメラからのフィードを集約したり、高度なマルチモーダルモデルを実行するなど、ファーエッジレイヤーでは負荷がかかりすぎる重いAIタスクを実行します。AWS のサービスは通信事業者のエッジにまで拡張され、AWS IoT Greengrassコンポーネントが、ローカル推論の調整とデータのキャッシュを行います。AWS IoT Greengrassフレームワークにより、小規模言語モデル（SLM：Small Language Models）およびAWS Lambda関数をエッジハードウェアで直接デプロイおよび実行できます。これによってMECサイトでは、最小限の遅延でロジックを実行することが可能になります。ニアエッジは、コラボレーションポイントとして機能します。複数のファーエッジハードウェアからアラートまたはデータを受信し、検証（より大きなVLMモデルを使用した二次的な衝突検出）を実行し、必要かつ高度な情報のみをAWSリージョンに転送します。

AWSリージョン：AWSリージョンは、システムの中央の頭脳および長期リポジトリです。高度なAIサービスと連携ロジックをホストし、知覚後の分析と意思決定を実行します。これには、リアルタイムアラートのストリーム処理、モデルの微調整のバッチ処理が含まれ、外部システム（ダッシュボードと緊急サービス）と統合するためのREST APIが公開されます。AWSリージョンは、Amazon BedrockおよびAgents for Bedrockを介したプライマリオーケストレーションを担当します。Amazon Bedrockは、インフラストラクチャを管理する必要なく、Amazon NovaなどのAWSからの大規模な基盤モデル、および主要なプロプライエタリモデルとオープンソースモデルへのアクセスを提供します。Amazon Bedrockの上で、エージェント機能により、異なるモデルとAPIを呼び出してタスクを計画および実行できる自律AIエージェントを作成できます。これらのエージェントは、大規模言語モデル (LLM: Large Language Models)を使用して目標を解釈し、ツールまたは他のモデルを呼び出してそれらの目標を達成します。設計では、AWS上のAmazon Bedrock Agentが、ファーエッジとニアエッジからの結合された入力を分析するコーディネーターAI（プライマリオーケストレーター）として機能します。エージェントは、外部APIまたはAWSサービスを呼び出すことによって、より多くのコンテキストを照会します。これにより、アラートのトリガーやモデルの更新など、高レベルのアクションを決定します。

交差点安全ユースケースの実装

交差点は、依然として道路上で最も危険な場所の1つです。数十年にわたる研究とパイロットプログラムにもかかわらず、交差点の安全性は、受動的な / 遅い介入、限られた検知と監視、路側無線装置（RSU）の不均一な展開、資金調達のハードル、およびレガシーシステムの技術的な制限により、依然として差し迫った課題です。より安全な交差点のための構成要素は存在しますが、これらの課題により、広範な実装が停滞しています。AWSとTCSは、「交差点安全」問題を再考するために提携し、ハイブリッドアプローチが既存の分散インフラストラクチャとAIエージェントを使用して、より迅速で効率的なソリューションをどのように実現するかを実証しています。

これを具体的にするために、協調AIエージェントによる分散推論が、現実世界のスマートシティ/交通ユースケースである交差点安全システムをどのように強化できるかを説明します。カメラと接続されたインフラストラクチャが実装され、衝突を防止および対応するために連携する、交通量の多い都市部の交差点を考えてみましょう。左折衝突を描いた30秒のサンプルビデオを使用します（図3）。

図3：視認性の高い交差点での左折衝突

エッジ処理はRSUから始まり、カメラがリアルタイムの交通データを収集します。RSUは、IPカメラ、LiDAR、レーダー、V2X通信モジュールなどの複数の検知およびコンピューティング機能を統合して、状況認識を向上させるインフラ構成要素として機能します。CPU/GPU駆動のローカル推論は、衝突などの重大なイベントを検出します。検出されると、オンボード反射エージェントがアクションをトリガーし、インシデントデータをMQTT経由でAWSリージョン内の自律エージェントオーケストレーターとニアエッジの半自律エージェントに送信します。次に、インシデントの処理済みビデオデータは圧縮され（H.265エンコード）、さらなる分析のためにニアエッジ（モバイルコアデータセンター）に送信されます。ニアエッジでは、5Gコントロールプレーンとユーザープレーン機能（UPF）により、RSUとAWSサービス間の低遅延接続が保証されます。AWS Outpostsで実行されている半自律エージェントは、受信メタデータを処理し、より高性能なSLMによって計画された一連のタスクを通じてイベント検出を強化します。オンボードVLMは、ローカルの意思決定をさらに改善し、誤検知を減らし、検出の精度を向上させます。メタデータは、コンプライアンスのためにローカルデータベースに保存されます。より多くのコンテキストが必要な場合、エージェントはAWSリージョンのプライマリエージェントオーケストレーターをトリガーします。ここでは、Amazon Bedrock AgentsとLLMが、交通事故に関するより広範なコンテキストを持つ高度なメタデータを受信します。Amazon Kinesis Video Streamsは、リアルタイムのビデオ取り込みを管理し、Amazon S3に匿名化された映像を保存して、より詳細な分析を行います。AWS IoT CoreとAWS IoT SiteWiseは、フリート管理、モニタリング、デバイスオーケストレーションを可能にし、プライベートエンドポイントは、ニアエッジとAWSリージョン間の安全で低遅延の接続を保証します。

図4：インテリジェントな交差点安全のためのエンドツーエンド分散推論アーキテクチャ

このセクションでは、分散推論ロジックと、このユースケースのマルチエージェント連携ワークフローについて説明します。

1. ファーエッジ推論: カメラはビデオをRSUにストリーミングし、VLM推論がインシデント（衝突、動作不能な車両、違法駐車、破片、またはくぼみなど）を検出し、インシデントデータをJSONとして、保存された画像/ビデオキャプチャとともに生成します。次に、データは、オンボード反射エージェントに送信されて即時処理が行われると同時に、さらなる分析と応答調整のためにTelcoエッジとAWSリージョンにも送信されます。

a. 単純反射エージェント: インシデントデータは、推論のためにオンデバイスSLMによって駆動される単純反射エージェントをアクティブにします。これは、「if-condition, then-action」ロジックに従う静的エージェントワークフローです。受信コンテキスト（インシデントデータ）をスキャンし、固定ガイドライン（検出精度 > 60％）と比較し、事前に決定されたアクション（緊急派遣通知）を実行します。まだ実装されていませんが、V2Xを介して近くの接続された車にアラートを直接ブロードキャストしたり、交差点の信号機を管理したりできます。

2. ニアエッジ推論: Telco エッジは、受信画像とビデオフィードをインシデント通知とともに受信し、都市全体の視点のために複数のカメラからのデータを集約します。より大きなVLMを使用して、通知の精度と報告された衝突の重大度を検証します。近くの交差点デバイスを参照して、道路状況、交通パターン、および発生しているインシデントを検出し、リアルタイムモニタリングを開始します。

a. 半自律エージェント: Telco エッジは、半自律エージェントの推論を強化する、より高度なSLM/LLMを備えており、意思決定を強化するためにヒューマンインザループ検証を組み込んでいます。これは、意思決定にメモリを使用する目標ベースの推論エージェントです。複数のファーエッジデバイスからのインサイトを集約し、必要な、高度な情報のみをAWSリージョンに転送することで、複雑なシナリオを処理できます。その目標追求の性質により、予想される道路閉鎖、輻輳レベル、および近くの交差点での信号機の状態を推測できます。

3. AWSリージョン推論: AWSリージョンは、エッジデバイスをAWSサービスに接続し、強力なハイブリッドアーキテクチャを作成することにより、集中制御、連携、スケーラビリティを可能にします。AWSリージョンに集約されたデータは、交差点安全マップ、オンデマンドビデオアクセス、およびアラート概要を提供します。さらに、既存の都市交通管理システムと統合されています。また、知覚後の分析と情報に基づいた意思決定のための連携ロジックも含まれています。

a. 自律エージェント: Amazon Bedrockを搭載したAWSリージョンベースの自律エージェントは、プライマリオーケストレーターとして機能します。可能な限り最良の結果のためにトレードオフを評価することにより、学習エージェントを使用して意思決定を最適化します。AWSリージョンのLLMによって駆動されるエージェントは、インタラクションから継続的に学習して、時間の経過とともにパフォーマンスを向上させます。さまざまなモデルとAPIを呼び出すことでタスクを計画および実行し、ファーエッジデバイスとニアエッジデバイスの両方からの結合された入力を分析します。外部APIとAWSサービスにコンテキストインサイトを照会し、緊急アラートのトリガー、インシデントのクリアランス時間の推定、および公的通知の発行などの高レベルのアクションを可能にします。

図5：交差点安全のためのエージェントワークフロー

さまざまなフレームワークにわたるLLM搭載エージェント間の相互運用性は、標準化された通信レイヤーを作成し、エージェント間のコンテキスト共有を可能にするエージェントプロトコルを通じて実現できます。これにより、構造化データと非構造化データの両方にアクセスして処理し、外部サービスと対話し、適応可能で連携的なAIエコシステムのために効率的に意思決定を調整できます。自律エージェントの実行は、長期実行型、バースト性、および場合によっては信頼性の低い性質により、インフラストラクチャの課題をもたらします。これらのエージェントは、動的なワークロードを処理し、信頼性を維持するために、スケーラブルなコンピューティングリソースを必要とします。AWSは、オンデマンドスケーリング、フォールトトレランス、および分散処理を提供することで、これらの課題に対処し、自律エージェントを実行するための理想的な環境にしています。AWSインフラストラクチャを活用することで、分散推論アーキテクチャはワークロードを効率的に管理し、リアルタイムの意思決定のための継続的な運用と適応的なリソース割り当てを保証できます。エージェントAI通信は、API、イベント駆動システム、ダイレクトメッセージング、連合学習、知識グラフ、ブラックボード、およびブロックチェーンを通じて行うことができます。最適なアプローチは、エージェントの役割、リアルタイム処理の要件、およびセキュリティの考慮事項によって異なります。

再考された交差点安全ユースケースは、分散AI推論のパイプラインを示しています。即時の知覚と瞬時の物理的アクションのためのファーエッジコンピューティング、簡潔なアラートを伝達する通信ネットワーク、および多面的な応答を調整するAWSリージョンのAIエージェントです。この種のシステムは、効果的にAI搭載の24時間365日の交差点守護者を作成し、衝突を予測、防止、および対応できます。AWS IoT CoreとGreengrassを使用すると、エッジコンポーネントとAWSコンポーネントが確実に同期され、断続的な接続下でも通信できます。一方、Amazon Bedrock Agentsは、従来は直接センサーネットワークであったものに高度な推論をもたらします。このオンサイト認識とAWSクラウドインテリジェンスの融合により、緊急対応時間を劇的に短縮し、事故後の交通の流れを改善し、最終的には人命を救うことができます。

今後の展望

交差点は、ネットワークの拡張になり、通信事業者はそれらをサポートするための統合サービス（接続とエッジコンピューティング）を提供できます。これらは、AI交差点システムに必要な結合組織と分散コンピューティング環境を提供します。これらは、超低遅延リンク（5G/光ファイバー/衛星経由）とエッジコンピューティングノード（MEC）を提供して、リアルタイムの都市全体へのデプロイメントを可能にします。マネージドサービスとネットワークAPIを提供することで、通信事業者は採用を加速できます。その結果、都市はこれらの複雑なネットワークを自ら構築または統合する必要がなく、サービスに加入できます。

交差点にエッジAIをデプロイするには、都市が管理できる、堅牢で安全な、耐候性のあるインフラストラクチャが必要です。既存の筐体（デジタルキャビネット）は、洗練されたコンピューティングを街角に配置することを可能にする保護ハウジングとして機能でき、環境要因や故意に物を壊す人により安全ミッションが損なわれないことを確保します。物理的およびサイバーセキュリティに最初から対処することで（耐候性筐体、バックアップ電源、改ざんアラーム、安全なアクセス制御）、都市と通信事業者は、ダウンタイムや侵入のリスクを最小限に抑えて、多くの交差点にAIハードウェアを自信を持って展開できます。

AWSの接続性は、エッジベースの交差点安全システムの機能を飛躍的に強化します。各交差点をAWSコントロールプレーンに接続することにより、統合管理、集合学習（各交差点がシステム全体の改善に貢献）、および他のサービスとの統合を実現します。AWS Outposts Family、AWS Local Zones、AWS Wavelengthから、さらにはIoTやAI管理サービスなどのAWSインフラストラクチャは、このような接続されたアーキテクチャを構築するためのツールキットを提供します。その結果、レジリエントでスケーラブルなスマート交差点のネットワークが構築され、街路レベルではミリ秒単位の応答が可能になり、都市レベルではAWSクラウドのインテリジェンスを活用しながら、IoTデバイスの群れのように容易に管理できるようになります。

分散推論の将来は、複雑なマルチノードAIインフラストラクチャをローカルに感じさせるソフトウェア抽象化を提供することにより、エンジニアの開発を簡素化することにもあります。開発と移行の複雑さを軽減することで、開発者は基盤となるハードウェアを気にせずに自律エージェントを構築およびデプロイできます。このアプローチにより、CPU、GPU、およびNPU全体で異種コンピューティングが可能になり、ベンダーロックインを回避しながら、市場投入までの時間を短縮し、より幅広い採用を保証します。標準化されたAPIとAWSクラウドネイティブフレームワークは、スケーラビリティと相互運用性をさらに推進し、AIデプロイメントをよりアクセスしやすく、効率的にします。

結論

協調AIエージェントによる分散推論は、スマートシティ、スマート産業、つまりローカルアクションとグローバルインテリジェンスが連携する必要があるすべての「Smart-X」シナリオで、次世代アプリケーションを可能にする強力なアーキテクチャパターンです。AWS、エッジサービス、および通信ネットワークを使用することで、開発者と設計者は、高速でインテリジェントでスケーラブルなシステムを構築できます。重要なのは、適切なAI機能を適切な場所に分散させることです。今後、設計者は分散を考慮して設計する必要があります。遅延のために重要な推論をエッジにプッシュし、集約された学習のためにAWSクラウドを使用し、エージェントを使用してすべてを結び付けます。これにより、Smart-Xソリューションの可能性を最大限に引き出し、技術的なパフォーマンスの向上だけでなく、接続された世界での安全性、効率、および生活の質の具体的な改善も実現できます。AIの未来は分散型かつ協調型であり、エッジとAWSクラウドの相乗効果によって実現されます。そして、それは私たちの目前に迫った魅力的な未来なのです。

TCS — AWSパートナーの紹介

「企業は、デバイス、エッジAIインフラストラクチャ、通信データセンター、およびクラウド間のシームレスな統合を提供する、真のAIエコシステムの適応性を必要としています。データを自律的に処理し、他のAIエージェント、モデル、およびエンタープライズアプリケーションと連携するエッジのAIエージェントは、リアルタイムのビジネスアプリケーションを多数実現します。分散推論の採用は、最適化されたコストとパフォーマンスで効率的でスケーラブルなデータ処理への道を開きます」– Sujatha Gopal、CTO – Communications Media & Information Services Business Group、TCS

TCSは、AWSアドバンストテクノロジーパートナーおよびAWSコンピテンシーパートナーであり、インドに本社を置き、55か国で事業を展開し、さまざまな業界の企業にデジタルトランスフォーメーションおよびテクノロジーサービスを提供することで知られる、ITサービス、コンサルティング、およびビジネスソリューションを提供しています。