自然言語での思考能力を高め、高度な意思決定を支援可能な生成AIの実現めざす

日立は、生成AIの論理的な思考能力を高めるための学習データ(論理的思考データセット)を、自動的に生成する基本技術を開発しました。本技術は、例えば、「○○○地域での×××事業への投資は適切か?」といった高度な意志決定が必要な問いに対して、自然言語での思考能力を駆使して回答を導く、新たな途を拓くものです。今後、日立は、お客さまと連携して本技術をさらに進化させ、社会全般の複雑な課題解決を支援する生成AIの実現をめざします。

生成AIは既存知識の活用に優れており、定型的なタスクを支援することができます。さらに近年では、数学やプログラミングなどの、より高度な課題を解くことも可能となっています。しかしながら、新規市場への進出戦略策定や先端技術への投資戦略策定など、自然言語を高度に活用した論理的思考能力には課題がありました。

そこで日立は、これまで蓄積してきた知見*1に基づいて、生成AIの論理的思考能力を高めるための学習データ(論理的思考データセット)を自動生成する基本技術を開発しました。本技術では、複雑な問題解決に必要な多段階の思考ステップや、数理論理学に基づく幅広い思考パターンなどを含むデータを自動生成することで質を向上させ、自然言語での論理的思考能力を高めることに成功しました。さらに、オープン方式を採用していることにより、どの生成AIにも適用が可能で、論理的思考を追加学習で強化することができます(図1)。

開発した技術の効果を最先端の生成AI*2で検証したところ、論理推論能力が平均約9%、最大で30%向上しました。また、数学およびプログラミングでも顕著な改善が得られました(図2)。

本技術の一部は、2024年12月10日から15日にカナダのバンクーバーで開催される人工知能分野最高峰の国際学会Neural Information Processing Systems (NeurIPS)で発表される予定です。

画像: 図1:論理的思考能力を強化するための学習データ(論理的思考データセット)による生成AIの追加学習

図1:論理的思考能力を強化するための学習データ(論理的思考データセット)による生成AIの追加学習

画像: 図2:論理的思考方法を追加学習した生成AI*2の性能向上結果

図2:論理的思考方法を追加学習した生成AI*2の性能向上結果

*1 既発表リスト

  • 森下皓文, 森尾学, 山口篤季, 十河泰弘 "形式論理学に基づく演コーパスによる言語モデルに対する演繹推論能力の付与" 言語処理学会 第29回年次大会, 2023/03.
  • 森下皓文, 森尾学, 山口篤季, 十河泰弘 "人工演繹推論コーパスによる学習は言語モデルをどのように強化するか?" 人工知能学会 第37回年次大会, 2023/06.
  • Terufumi Morishita, Gaku Morio, Atsuki Yamaguchi, Yasuhiro Sogawa "Learning Deductive Reasoning from Synthetic Corpus based on Formal Logic" Proceedings of the 40th International Conference on Machine Learning, 2023/07.
  • 森下皓文, 山口篤季, 森尾学, 十河泰弘 "日本語論理推論ベンチマークJFLDの提案" 人工知能学会 第30回年次大会, 2024/03.
  • Terufumi Morishita, Atsuki Yamaguchi, Gaku Morio, Hikaru Tomonari, Osamu Imaichi, and Yasuhiro Sogawa "JFLD: A Japanese Benchmark for Deductive Reasoning Based on Formal Logic" Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation, 2024/05.
  • 森下皓文, 山口篤季, 森尾学, 十河泰弘 "帰納的に多様な巨大論推論コーパスによりLLM汎用論理推論能力を向上させる" 人工知能学会 第38回年次大会, 2024/06.

*2 2024年11月時点、日立調べ。一例として、LLaMa-3.1-70Bを使用。

照会先

株式会社日立製作所 研究開発グループ

問い合わせフォームへ

This article is a sponsored article by
''.