12月12日の基調講演「セキュアな生成AI活用の本命、ローカルLLM利用のRAGによるナレッジマネジメント」では、メタデータ 代表取締役社長の野村直之氏が生成AIとRAG（検索拡張生成）について論じた。


　生成AIは、すでにさまざまな業務や日常生活の場面で活用されている。ただ、生成AIの頭脳とも言える大規模言語モデル（LLM）はクラウド上に置かれるのが一般的なので、そこに企業の機密データを登録してしまうと情報が外部に流出する可能性がある。特に多くの外部依存RAGの場合、虎の子の社内専門知識の丸ごとを預けることになり、リスクが懸念される。メタデータが提供している対話型APIサーバー「ChatBrid」はLLM以外は元からオンプレミスで動作しているのでリスクは遥かに小さいものの、一問一答の内容が、外部ベンダーのバグやオペミスで流出する若干のリスクは存在していた。

　生成AIのこのような課題のクリアに役立つのが、「ローカルLLM」と呼ばれる方式だ。これはGPUやNPUを搭載した高性能のサーバーを自社内に設置し、そこにLLMを配置して生成AIを動作させる方式のこと。ユーザー企業にとっては、RAGの知識本体だけでなくLLMもオンプレミス側にあるので、100％安全に使えることが最大の利点だ。

　ローカルLLMを利用するにはAI対応の高性能サーバーをユーザー企業が自ら用意する必要があるが、プロンプトに与える文章をシンプルにするなどの工夫をすれば、小型のサーバーでも高精度の日本語理解能力が得られる。

　さらに、オンプレミスで動作するRAGとローカルLLMを組み合わせれば、生成AIが出力する回答はより妥当で正確で、専門業務や顧客サポートに使えるものになる。生成AIにはハルシネーション（もっともらしい嘘）が付き物だが、日本語処理やデータ管理を高精度化したRAGから生成AIエンジンに事前情報を与えることによって、頓珍漢な回答の出力を防ぐことができる。RAGの事前情報の与え方はソフトウェア製品やユーザー開発アプリケーションによってさまざまだ。講演では対話型APIサーバー「ChatBrid」に搭載されているRAGの仕組みを野村氏が解説。ユーザー企業があらかじめ読み込ませておいた文章と、質問文の類似度をベクトル空間法で評価して検索し、質問文のジャンルに応じたプロンプトを自動的に選択し切り替えて生成AIに送っていると明かした。類似の根拠となる単語群や意味の重なる言葉に色を付けて示すことで「なぜこんな回答となったか」が即座に分かり、知識の拡充やデバッグが極めて容易となる。

　「インターネットから遮断された状態でも生成AIは動作し、その精度も急速に高まっている」と野村氏。ローカルLLMが日本における生成AI導入の起爆剤になることを願っていると締めくくった。