リコー、Amazon SageMaker を利用し、大規模言語モデル（LLM）を活用した独自の AI モデルを 3 か月で開発

GPT-3 相当の独自の業務特化型 AI を開発

2020 年に OA メーカーからデジタルサービスの会社に進化することを宣言し、2023 年 4 月からの中期経営計画では、2025 年度までにデジタルサービスの売上比率 60％ 超を目標に掲げるリコー。同社のデジタルサービスの進化を牽引するデジタル戦略部 デジタル技術開発センター センター長の梅津良昭氏は「画像 AI、音声 AI、自然言語処理 AI などを活用し、お客様に最適なソリューションを開発/提供することが我々のミッションです」と語ります。

1990 年代に AI 開発を始めたリコーは、2015 年より深層学習系 AI の開発を進め、外観検査、振動モニタリングなどに適用してきました。2020 年からは自然言語処理技術（BERT モデル）を活用し、オフィス内の文書やコールセンターに届いた顧客の声（VOC）などを分析して業務効率化や顧客対応に活かす『仕事のAI』を発表。ただし、教師データを必要とする BERT モデルは性能に限界があることから、膨大な量のデータセットを学習する大規模言語モデル（LLM）に着目。そこで LLM をベースとした GPT-3 相当のOSS モデルを、リコー独自の AI モデル開発に活用することを決めました。

「分かりやすく例えるならば、高校生程度の読解力がある BERT モデルを機能強化して、人と会話ができるレベルまで作り込んだのが『仕事の AI』です。一方、GPT-3 は大卒の新入社員並みの読解力があり、プログラムのコード生成や企画書の文書生成ができるレベルに達しています。GPT-3に相当するモデルに業務データを追加学習させて現場の戦力レベルまで能力を高めた独自の AI モデルの開発に乗り出しました」（梅津氏）

同社が目指すのは、ChatGPT のような汎用的な生成 AI とは異なり、例えば複合機の事業で利用する場合、「ジャム」という用語は食べ物ではなく「紙詰まり」、「トレイ」は「皿や盆」ではなく「用紙トレイ」と判断するような業務特化型の生成 AI です。

AWS 上で大量の GPU 利用環境を整備

リコーは、GPT-3 相当の独自のAI モデル開発環境に AWS を採用しました。

「AI モデルの開発には多数の GPU が必要なため、予算と調達のリードタイムの観点からクラウドを前提に検討しました。しかし 2022 年初頭は世界的に GPU マシンが入手しにくく、瞬発的に大量の GPU インスタンスを調達できるのは AWS 以外にありませんでした。また、GPT-3 クラスの大規模 AI エンジニアリングは当社にとって未知の領域であったため、AWSの機械学習エキスパートが実装レベルでサポートしてくれる Amazon Machine Learning（ML）Solutions Lab も含めて支援を依頼しました」（梅津氏）

リコーは AWS の支援プログラムを活用して GPU インスタンス（Amazon Elastic Compute Cloud (Amazon EC2) P4d インスタンス）の上限緩和を申請し、大量の GPU 利用環境を整備。学習時間を短縮するアーキテクチャとして Amazon SageMaker による分散学習環境を構築しました。学習データは当初 Amazon Simple Storage Service（Amazon S3）に配置しましたが、開発中に GPU の処理が速すぎてデータ転送が追いつかなくなり、空データのまま学習したり、学習データが途中で消失したりする事態が発生。そこで工夫を重ね、Amazon FSx for Lustre に関連付けてデータ転送することで、課題の解決を図りました。

「開発中は ML Solutions Lab のエキスパートに逐次相談して進めました。当社には大量の GPU インスタンスや大容量ストレージを使った AI 開発の経験やノウハウがなく、不安もありましたが、ML Solutions Lab の方々と一緒に開発を進めたことで、AI エンジニアリングに関するノウハウが社内に蓄積され、自社解決できるまで技術レベルを底上げできました」（梅津氏）

高速で良質な文生成ができる AI モデルを構築

GPT-3 をベースとしたリコー独自の AI モデル（リコー製 GPT）の開発は、2022 年 10 月からの 3 か月で完了。GPT-3 相当のモデルに大量の日本語を学習させたことで、日本語に強く、高速で良質な文生成ができるモデルを構築できました。

「各社が続々と LLM の開発を表明する中、当社がわずか3 か月で独自の AI モデルを開発し、講演会で発表できたことには、AWS の活用が大きく貢献しています」（梅津氏）

現在はリコー製 GPT を用いたサービス開発を進め、検索系のサービスとして「ベクトル検索」と「カスタム GPT」の提供を検討中です。前者は、単語同士の近さを数値に変換し、ドキュメント全体の意味を考慮して検索する手法です。複合機の開発者が故障の原因を知りたい時に自然言語で検索すると、技術 DB を参照して類似度の高い回答をエビデンス付きで提示します。ただし、ベクトル検索の手法はクセが強く、想定した回答が得られないこともあります。それに対してカスタム GPT は、リコー製 GPT に企業独自のドキュメント類や技術データ類を丸ごと事前学習させることで、より精度の高い回答を導き出すことが可能です。

「例えば、機器の保守業務で画像認識や音声認識などと連動してカスタム GPT を利用すれば、作業員が音声で質問するだけで、必要な技術情報を表示できます。従来の保守作業はオフィスにスタッフが居て、作業員からの質問に答えるケースが多々ありましたが、カスタム GPT なら無人対応も可能になります」（梅津氏）

その他にも、デジタルのキャラクターが顧客と音声で会話しながら課題解決を支援するデジタルヒューマンの開発も推進。利用ケースとして、音声認識、自然言語処理、音声合成、画像生成を活用したインタラクティブなサイネージや、メタバース空間での AI アバターによる自動接客などが検討されています。

今後はデジタル支援が当たり前になる時代に備えて、RLHF（人間のフィードバックによる強化学習）などの技術開発や、プロンプトエンジニアリングの開発リソース拡大などによる高度な AI 開発に取り組んでいく考えです。さらに、次世代のGPTモデル（GPT.X）の AI モデル開発から運用までの環境提供、GPT.X 世代 AI の深層学習専用 Software Development Kit (SDK) の提供、深層学習専用高性能チップ（AWS Trainium、AWS Inferentia）の適用を検討しています。

リコーは、日本の法人を対象とした「AWS LLM 開発支援プログラム」にも参加しています。このプログラムは AWS が企業に LLM 開発を行うための技術支援、ビジネス支援、クレジット提供などのサポートを提供するものです。

「このプログラムに参加したのは、日本の LLM を発展させていきたいという AWS のメッセージに賛同したためです。当社も引き続き AWS と共に LLM の研究開発に取り組んでいきます」（梅津氏）