る背景知識の情報、すなわち質問に類似した帰結部に対応する原因部の情報が表現されていると考えることができる。このため、生成器の出力を利用することで、最終的な「なぜ」型質問応答の性能が向上することが期待できる。道具・目的関係の背景知識のベクトル表現生成器の学習の場合は、（道具部b、目的部q、ランダムノイズz）の3つ組みに対して上記と同様な敵対的学習を行い、最終的に、目的部qとランダムのノイズzから道具部のベクトル表現を自動生成する偽表現生成器Fを道具部のベクトル表現生成器として用いる。2.2.2BERTACによる回答パッセージ特定上述した因果関係と道具・目的関係のための2つの背景知識のベクトル表現生成器を柔軟に大規模言語モデルに組み込むことができる枠組みBERTAC [6]で、背景知識のベクトル表現生成器を大規模言語モデルの一種であるBERTと組み合わせて回答パッセージ特定のファインチューニングを行った。このファインチューニング時には質問と回答候補のパッセージの対をBERTへの入力とするが、さらにその質問・回答候補パッセージ対を背景知識のベクトル表現生成器への入力とし、背景知識のベクトル表現を生成してこれも最終的な回答パッセージ判定に利用する。より正確には、図6の帰結部q（或いは、目的部）の代わりに質問を、ノイズzの代わりに回答候補のパッセージを生成器の入力とすることで、質問の回答と関連する因果関係の原因部と道具・目的関係の道具部のベクトル表現を生成する。生成器によって自動生成された背景知識のベクトル表現は、前述したように、図4に示すTIER（Trans-formers for Integrating External Representation）と我々が呼ぶ、特別なTransformer層を経由してBERTの出力と統合する。TIERsは背景知識のベクトル表現から質問・回答パッセージ対に関するBERTの出力ベクトル表現へのAttention機構を備えており、これにより回答パッセージの中で背景知識のベクトル表現と関連ある部分により強いAttentionを当てた回答パッセージ特定が可能となる。2.3性能評価本稿では、既存手法との比較を容易にするため、まず過去に我々の論文[5]で使われた「なぜ／どうやって」型質問応答データセットでの評価実験の結果を示し、次に学習データを増強しニューラルネットを学習させた現在公開中のWISDOM X「深層学習版」の「なぜ／どうやって」型質問応答の精度を示す。我々の論文[5]では質問応答の性能評価のため、DIRECTで作成した表1の「なぜ」型質問応答、「どうやって」型質問応答の評価データセットを利用して評価実験を行った。このデータは人手で作成した「なぜ」型質問、「どうやって」型質問に関してMurataらの手法[14]で各質問最大で20件の回答候補パッセージをWeb6億ページから収集し、さらに3人のアノテータが対象の質問に対してパッセージ中に適切な回答を含むか否かを判定し、最後に多数決で正解ラベルを決定したものである。実験では本特集号3-4 [15]で紹介するNICT BERTLARGEを用い、以下の3つの手法での比較実験を行った。1)BERT：BERTのみで回答パッセージ特定を行う手法2)BERT+背景知識のベクトル表現：背景知識のベクトル表現とBERTの出力を組み合わせ単純に最終段の分類層の入力とする回答パッセージ特定の手法。3)BERTAC：BERTACでTIERsを経由して背景知識のベクトル表現とBERTを組み合わせて回答パッセージ特定を行う手法上記2)と3)の手法では2.2.1で述べたようにWeb40億ページから抽出した因果関係と道具・目的関係を表す言語表現を学習データとしで学習し、その結果で得られた2つの生成器（因果関係用の生成器と道具・目的関係用の生成器）を用いて背景知識のベクトル表現を生成し、回答パッセージ特定に用いた。評価時には、入力の質問と回答候補のパッセージに対して各手法が出力する回答パッセージ判定のスコアを利用して入力の質問に関する回答候補パッセージをランキングし、最上位の精度「P@1 (Precision at top answer)」と質問ごとにランク付けした結果における平均精度の平均「MAP（Mean Average Precision）」の2つの評価尺度で性能評価を行った。表2に3つの手法の性能評価の結果を示す。この結果から「BERT」と比較して「BERT+背景知識のベクトル表現」と「BERTAC」がいずれも高い性能を示しており（BERTに対してP@1で0.4〜4.2%向上）、また「BERT+背景知識のベクトル表現」よりも「BERTAC」の性能が高いことから(P@1で2.8〜3.8%向上)、背景知識のベクトルそのものとそのベクトルを活用する際にTIERを用いた背景知識のベクトル表現とBERTの出力の統合の両方が有効であることがわかる。また、英語の質問応答に対する評価結果であるため表2の結果との直接比較はできないが、我々の論文[6]では敵対的学習を使わずに学習した背景知識のベクトル表現生成器を用いた設定でのBERTACと敵対的学習で学習した生成器を用いる上記3)の手法の間の比較実験124 情報通信研究機構研究報告 Vol.68 No.2 （2022）3 社会知コミュニケーション技術
元のページ ../index.html#130