細川泰智さん（理工学研究科 知能情報コース 博士前期課程1年・知識工学研究室（森田武史教授）所属）が「2025年度人工知能学会研究会優秀賞」を受賞しました。

人工知能学会研究会優秀賞は、表彰を行う年の前年4月から当年3月までの1年間に、人工知能学会の研究会で発表された研究の中から、特に優秀なものを選び表彰するものです。
細川さんは、2025年度人工知能学会全国大会学生奨励賞（オーガナイズドセッション口頭発表部門）に続き、今回も受賞を果たしました。

【論文/発表タイトル】
RDFスキーマ推論規則を対象とした大規模言語モデルの推論能力の段階的評価
【著者/発表者】
細川泰智、チャクラボルティ シュデシナ、森田武史
【研究会】
人工知能学会第二種研究会 第66回セマンティックウェブとオントロジー研究会
【発表日】
2025年9月5日

研究概要

【発表タイトル】RDFスキーマ推論規則を対象とした大規模言語モデルの推論能力の段階的評価

【著者/発表者】細川泰智、チャクラボルティ シュデシナ、森田武史

本研究は、ChatGPTなどの対話型生成AIサービスの基盤技術である大規模言語モデル（Large Language Model, LLM）が本当に推論しているのかという、自然言語処理および人工知能分野の問いに対し、人工知能とWebの融合研究であるセマンティックWebの基盤技術、Resource Description Framework Schema（RDFスキーマ）を用いて取り組んだ研究です。

LLMは、事前学習で記憶した知識に依存して問題を解く傾向があり、論理的な推論能力には課題が指摘されてきました。また、既存研究では自然言語による出力に基づく評価が中心であり、LLMがRDFスキーマ推論を厳密に実行できているかを検証することは困難でした。

そこで細川さんは、RDFスキーマの推論規則を対象に、RDFトリプル出力に基づく定量的な評価手法を提案しました。評価用データとして、(1) 実世界知識データ、(2) 反実仮想知識データ、(3) 無意味なランダム記号列データを用意し、LLMにおける推論規則の適用能力と選択能力を多角的に評価しました。

評価の結果、LLMは推論規則だけでなく、語彙や命名規則を推論の手がかりとして利用していることが明らかになりました。また、与えられた前提に存在しない知識を事前学習によって補完したり、不要な規則まで適用したりする過剰適用の挙動も確認されました。

本研究の成果は、LLMの論理推論能力の特性と限界を明らかにするものであり、自然言語と構造化知識をつなぐ応用に向けて、LLM活用の可能性を検討する上で重要な知見を提供するものです。

指導教員からのコメント

森田武史教授（理工学部 情報テクノロジー学科）

細川さんが熱心に取り組んだ研究が評価されたことを大変嬉しく思っております。今後さらに研究を発展させ、人工知能分野の国際会議での発表や論文誌への投稿につながることを期待しております。