はじめにある言語（起点言語）のテキストに対して、それと同じ意味内容を表す別の言語（目標言語）のテキストを生成する技術・アルゴリズムを機械翻訳（Machine Translation: MT）あるいは自動翻訳という。多言語コミュニケーションの円滑化を目指して、NICTでは長年にわたりMTの研究開発を推進してきた。研究成果を音声翻訳アプリVoiceTra® [1]、みんなの自動翻訳@TexTra® [2]などのサービスとして実現するとともに、技術移転を通じた社会実装を行ってきた。技術の研究開発においては、その評価が不可欠である。大量の対訳（起点言語のテキストと目標言語のテキストの対）のデータを用いてMTシステムを学習する過程では、MTシステムが生成する翻訳（以下、MT訳）の品質を頻繁かつ高速に計測する必要がある。その際、学習用の対訳データとは別の評価用対訳データを用いて自動評価を行うことが一般的である。具体的には、評価用対訳データ中の起点言語のテキスト（以下、原文）に対するMT訳を対訳データ中の目標言語のテキスト（人間が作成した参照訳）と比較し、それらの類似度で翻訳の品質を近似する手法が用いられている。例えば、BLEUスコア[3]がもっともよく用いられている[4]。ただし、これは品質の近似に過ぎない。MTのサービスを提供したり更新したりする際には、誤訳によって生じるリスクやサービスの劣化を低減するために、MT訳の品質をより正確に評価することが不可欠である。そのためには例えば、MT訳が原文の意味や内容を過不足なく誤りなく伝えているか、目標言語の表現として流りゅう暢ちょうであるか、固有表現や専門用語を正確に訳しているか、所定の文体や記法を遵守しているか、などを人間が評価することが考えられる。一方で、MTシステムを実際に利用する場面で、ユーザは、原文をシステムに入力してMT訳を得た後に、それをそのまま採用するか、修正して用いるか、破棄するかという判断を行う。その際、MT訳の品質について知る必要があるが、当然参照訳はないし、都度人間が評価することも金銭的・時間的に現実的ではない。このような背景で、参照訳や人手での評価なしに、所与の原文に対するMT訳の品質を自動的に推定する技術（MT Quality Estimation: MTQE; 以下単にQEと記す）[5]の研究開発が行われてきた。特にこれ1機械翻訳（MT）システムの研究開発においてはMTシステムの出力（MT訳）の品質を人間が作成した参照訳と比較して評価することが一般的であるが、MTシステムを実際に利用する場面でMT訳を採用するか、人間が修正するか、破棄するかという判断を行うには、参照訳なしにMT訳の品質を評価する必要がある。本稿では、参照訳なしにMT訳の品質を推定するQuality Estimation （QE）と呼ばれる技術について述べ、NICTで開発した手法を紹介する。この手法は、2021年に開催された国際ワークショップEval4NLPのExplainable QEシェアードタスクにおいて良好な成績を収めた。その結果についても報告する。In the research and development of machine translation (MT) systems, the quality of MT outputs is evaluated in general by comparing them with human-produced reference translations. However, in the real use cases of MT systems, their users should judge the quality of the MT outputs without reference translations and determine whether the MT outputs can be used, they need revision, or they should be disposed. This paper describes the methods for MT Quality Estimation (QE), the task of automatically estimating the quality of MT outputs without reference translations, and pres-ents the method developed at the National Institute of Information and Communications Technology. The Explainable QE shared task held at Eval4NLP 2021 and our results are also presented.2-3-4 機械翻訳結果の品質推定2-3-4Quality Estimation of Machine Translation Outputsルビノ ラファエル 藤田 篤RUBINO Raphael and FUJITA Atsushi732 多言語コミュニケーション技術
元のページ ../index.html#79