にベクトル表現生成器に質問を入力し、質問と類似している帰結部を持つ因果関係の原因部のベクトル表現と類似したベクトル表現を生成させる。例えば、質問「なぜ地球温暖化が起きる？」を入力した場合、学習に利用した因果関係知識「温室効果ガスが増える」（原因）→「地球温暖化を加速させる」（帰結）に基づいて、「温室効果ガスが増える」という原因部に相当するベクトル表現に類似したものが生成されることが期待できる。このベクトルは入力の質問の回答(の一つ)を端的に表している可能性が高いため、これを追加の入力とすることで最終的な回答パッセージ特定の精度向上につながると考えられる。また、道具・目的関係の場合は、「マスクを着用する」、「インフルエンザを予防する」のように〈名詞、助詞、述語〉から成る句の対をテキストから抽出し、BERTでその対が道具・目的関係に成り立っているかを判定するKadowakiらの手法[13]を用いて約1億件の道具・目的関係の言語表現を獲得した。また、因果関係の場合と同様にランダムにサンプリングした100万件を学習データとし、道具・目的関係の目的部に対してその道具部のベクトル表現を生成するように背景知識のベクトル表現生成器を学習した。回答パッセージ特定時には、学習した生成器を用いて質問に書かれている目的を達成するための道具・行為を表すベクトル表現を生成し回答パッセージ特定の手がかりとして用いる。次に、敵対的学習を利用して背景知識のベクトル表現生成器をどのように学習したかについて述べる。この学習は図6に示すニューラルネットによって行われるが、この中に含まれる偽表現生成器F（Fake-representation generator）と書かれている部分的なニューラルネットが学習終了後に背景知識のベクトル表現生成器となる。学習には、前述したように、因果関係の（原因部、帰結部）の対から成る学習データが使われ、入力の帰結部に対してその原因部のベクトル表現を生成するように偽表現生成器Fを学習させる。より具体的には（原因部b、帰結部q、ランダムノイズz）の3つ組に対して、1）帰結部qと原因部bから直接的に原因部のベクトル表現を生成する真表現生成器R (Real-representation generator)、2）帰結部qとランダムノイズzから原因部のベクトル表現を自動生成することを目的とする偽表現生成器F(Fake-representation generator)、そして、3）与えられたベクトルが真表現生成器Rの出力なのか、それとも偽表現生成器Fの出力なのかを識別する識別器D（Discriminator）を含む図6のニューラルネットを構成する。また、偽表現生成器Fと真表現生成器RはCNN(Convolutional Neural Network)、識別器DはFFN(Feed-Forward Network)といった軽量で学習が早いニューラルネットとなっているため、前述のように低コストで背景知識のベクトル表現生成器を事前学習することが可能である。敵対的学習はこのニューラルネット全体で行われるが、その学習の過程では、偽表現生成器Fは原因部が入力されていないにもかかわらず、それが入力されたかのようなベクトル、つまり、原因部を入力とする真表現生成器Rのベクトルと区別できないようなベクトルを出力できるように学習する。より大雑把な言い方をすると、偽表現生成器Fは真表現生成器Rの出力を「真似」しようとし、識別器DとRはこの真似ができないように学習を進めるということであり、より正確に述べれば、偽表現生成器Fは、識別器DがFの出力と原因部を入力とする真表現生成器Rの出力が区別できないように学習を進める一方で、識別器Dと真表現生成器RはFとRそれぞれの出力をDが区別できるように学習を進めるということである。当然のことながら、FとD、Rの学習の方向性は違いに矛盾するので、FとD、Rは違いに競合しているとみなせる。このような学習を繰り返し行うことで、偽表現生成器Fはノイズと帰結部(つまり、「なぜ」型質問応答の入力である質問)しか入力されてないにもかかわらず、あたかも帰結部を入力したかのようなベクトル表現を出力するようになることが期待できる。このベクトル表現には「なぜ」型質問応答で重要となる因果関係に関す図5 背景知識のベクトル表現生成器の学習と回答パッセージ特定への利用例図6 敵対的学習による背景知識のベクトル表現生成器の学習1233-3 大規模Web情報分析システムWISDOM X深層学習版
元のページ ../index.html#129