SMBCグループ独自AI「SMBC-GAI」、130万件の社内文書ファイルを横断検索へ──国内最大級RAG活用の舞台裏

山本2023年7月のリリース当初は1日あたりの投稿件数は約6,000件でした。その後、社内の声も取り入れながらマルチモーダル対応や音声ファイルからの議事録作成機能、調査レポート作成等段階的に機能を拡充してきました。現在は1日あたり約7～8万件の投稿があり、現在も右肩上がりで伸びています。

兵頭SMBC-GAIの反響が大きく、利用が進むにつれ、各部署から「AIを使って業務効率化を進めたい」という声が多く寄せられるようになりました。一方で、各部署が個別に自分たちのデータだけを学習させたAIを作ろうとする動きも出てきました。

本来は、社内情報を横断的に把握できるAIが1つあれば十分で、個別に構築すると、結果的に弱いAIになってしまいます。そこに危機感がありました。そこで、「自社のことを網羅するAIを作ろう」と思い検討に着手しました。

山本以前から社内情報の検索に時間がかかるという課題はありました。社内規程や通達、業務マニュアル等情報は多岐にわたり、検索に時間を要します。なお、本店各部を対象にした試行後のアンケートでは、本対応により1か月あたり約8時間の業務効率化が見込めるという結果も得られています。

兵頭RAGはユーザーの質問に応じて文書を検索し、その結果を要約して提示する仕組みです。今回は社内の約130万ファイルを1カ所に集約して検索対象としましたが、データ整備には非常に苦労しました。

兵頭全従業員が閲覧してよい情報に絞っていますが、それでも対象は130万ファイルに上りました。

一方で部署ごとに「自分たちだけが見られる形で学習させたい」という要望もあるため、権限制御を行い、特定部署のみが閲覧できる状態で学習させる仕組みも整えています。総じて、外部からのサイバー攻撃などにも耐えられるセキュリティ体制を構築しています。

山本我々は専任チームではなく通常業務の一環としてプロジェクトを進めてきたためリソース不足は常に課題でした。

兵頭大規模なRAG活用を進める中で、実働部隊が圧倒的に足りなかったため、人材育成も兼ねて、グループ内の日本総研から吉田と岡安に参加してもらいました。

吉田SMBC-GAIの展開を契機に、社内でも生成AIへの取り組みが始まりました。当時は社内外ともにAIに関する情報が限られる中、手探りでキャッチアップするところからスタートしました。現在は兵頭さんの指導のもと、RAGの設計や最新のAI技術を活用等も担っています。

岡安「昨日出た技術を、すぐに試してみる」というスピード感で、AI開発を進めています。生成AIやRAGについて英語の最新情報を学び、米国で開催されたマイクロソフトのイベントにも参加して、最新情報を持ち帰りSMBC-GAIに実装したこともあります。日本だけでなく海外に目を向けてプロジェクトに取り組んだことも、成果につながったと感じています。

兵頭銀行業務は複雑で、独特の用語もあり銀行業務に詳しくないと進められないことが多々あります。例えば「新口」という言葉一つ取っても、銀行では新口口座の意味になりますし、こうした特性を外部に一から説明して開発するのは現実的ではありませんでした。

また、ハルシネーションが起きた際の対応など、実際にコードを書いている開発者でなければ答えられない場面も多く、開発者とユーザーが密に対話しながら進める必要がありました。自分たちで業務を見ながらそれに応じたAIを作るマインドでなければ、貢献できるツールにはならないと考えたからです。

岡安検証の結果、どのAIモデルでも全体の約10%程度はハルシネーションが発生することがわかりました。これは複雑な条件の質問ほど起こりやすい傾向があります。現時点では、人間でも「念のため確認した方がいいかな？」と思うことは、AIでも間違える可能性が高いということです。これは現時点での技術的な限界だと考えています。

瀬戸「生成AIの回答にはハルシネーションが生じ得るため、生成された文章の文責は利用者にあることを十分に理解したうえで、利用者の責任において使用してください」と都度、注意喚起をしています。あわせて、SMBC-GAIの回答には参照元を表示し、元の資料画像を確認できる設計としています。回答の根拠となる画像を提示することも功を奏している可能性もあり、現時点では事務事故は発生していません。テキストのみの表示では参照リンクを確認しない利用者も一定数いる一方、根拠を画像として可視化することで、気付きやすくしています。

吉田PowerPointやテキストデータ、PDFなど様々な形式のファイルを全てAIが学習しやすいPDFや画像に変換しました。AIがそれらから読み取った情報を学習し、ユーザーはその学習内容と元の画像ページが紐付いた状態で利用できるようになっています。最終的には130万ファイルの学習を実施するために2,000台の仮想マシンを並列で動かし、48時間以内に処理が完了するように設計しました。

マイクロソフトをはじめ、様々な方から、130万ものファイルを学習させている規模の国内事例は初耳と言われたので、国内最大級の事例であることは間違いないでしょう。

兵頭SMBCグループには生成AIの利活用推進に必要な優秀な人材が豊富だからだと思います。必要な人材は、自社のデータや業務環境に精通し、クラウドでものづくりができるという「職人的な人材」と、手続きや制限に縛られず、自由に試行錯誤できる環境です。そうした環境で、一定の自由を確保できれば、好奇心のある人材は自ら新しい技術を吸収し、成長していくはずです。

一方で「人材」の定義や育成、「環境づくり」に加え、どこまで成果を求めるのか等を、適切にコントロールできている組織は決して多くないと感じます。

その点、SMBCグループには新しい施策を取り入れ、「まずはやってみよう」と挑戦を後押しする文化があります。従業員一人ひとりの個性を生かす社風も、今回の取り組みを支えた要因の一つだったのではないでしょうか。

自在丸SMBCグループは他のメガバンクに先駆けてMicrosoft 365を導入し、クラウドサービスを直接使ってきたという自負があります。その頃から「やってみよう」という原動力が生まれ、AI時代の今も最先端でリードしていける体制になっています。

瀬戸外部情報と社内情報の双方を参照できる点は、特に評価されています。通常、新機能をリリースすると「使いづらい」といった声が先に出がちですが、今回は比較的早い段階からポジティブな声が多く聞かれました。これまで接点の少なかった部署からも「これがないと業務が回らない」といった連絡があり、想像以上の手応えを感じています。

また、アップデート前は本店各部での利用が中心でしたが、最近は営業店での利用も着実に増えています。これまで本店各部に照会していた内容を、SMBC-GAIで自己完結できるようになったことが背景にあるのではないかと考えています。

兵頭ユーザーの照会で「そんな使い方もあったのか」とこちら側が驚かされることも多く、良いアイデアは新機能として取り込んでいます。使う側の想像力が、私たちの想定を超えていく良い流れもできつつあります。

自在丸最初はチーム内の雑談からスタートしたSMBC-GAIですが、現在ではかなりプロフェッショナルなAIへと進化しています。

岡安これまでの経験を通じて得た技術的知見やAI活用のノウハウを日本総研の一員としてグループ全体に広げていく役割を担っていきたいと考えています。現場と技術をつなぐ“メッセンジャー”のような存在になれたらと思います。

吉田次の目標は、人間が作る資料の7～8割程度をAIが担えるようにすることです。SMBCグループをある程度熟知しているAIができたので、次はナレッジワークの一部を代替できるAIエージェントの実現を目指しています。あわせて、SMBC-GAIを使って何か実現したいという行内の声を受け、ローコード開発ツールとの連携なども視野に入れています。

山本今後は複数のLLMを組み合わせながら、従業員の幅広いニーズに対応する様々なレベルアップを実装し、業務のさらなる効率化を進めていきたいと考えています。

自在丸同時に、Copilotの導入も進めており、ニュースや決算情報など一般的な情報検索といった汎用的な業務はCopilot、銀行に特化した情報検索など専門業務はSMBC-GAIという棲み分けを進めているところです。さらに今後も、日本銀行初や世界初のような「サプライズ」を年に1～3つくらいの勢いで、どんどん出していくことを目標にしています。

兵頭私たちが開発したSMBC-GAIに限らず、生成AIには様々なツールがあります。将来を見据えると、どれか一つを「唯一の正解」と決めること自体が難しい時代です。だからこそ、進化を把握しながら幅広く活用し、その中から良いものを見出していく姿勢が重要だと思っています。