Evaluation Metrics for Machine Reading Comprehension: Prerequisite Skills and Readability [Sugawara+, ACL'17]

http://www.aclweb.org/anthology/P/P17/P17-1075.pdf

概要

Reading Comprehension(RC) タスクの目的の1つはモデルがどの程度文章を理解できるのかを測ることであり，コンテキストとなる文章を読んで関連する質問に答えられるかを問うことでそれを行う。
しかしあるデータセットに設定された問題が解けるということが本当にその文章を理解していることになるのか？（十分条件なのか？）と言われると実はそれはそうでもなく，例えば質問文とほとんど同じ文がコンテキストの中に表れる場合など，コンテキストを理解していなくても質問文とのマッチングを取るだけで解けるような問題が作れてしまう。逆に，文章が幼児向けのものであっても質問への回答には多くの推論や常識の把握が必要となるようなものも存在する。

そうした理由から，RCタスクにおいて必要となる能力を Prerequisite skills（共参照や常識、因果関係の把握など，質問に答えるために必要とされる能力）と Readability（文章の長さや単語の種類の多さなど，文章を読むために必要とされる能力）の2つに分けて考え，最近の主なデータセットについてアノテーションを行いその難しさと，またその2つの能力がどの程度相関するのかを分析している。基本的にRCタスクをやる人のモチベーションとしてはどちらかと言うとPrerequisite skillsの方を問いたいはずなので、Prerequisite skillsが高くReadabilityが低いデータセットほど使い勝手が良いということになるのかな。

対象のデータセットはQA4MRE, MCTest, SQuAD, Who-did-What (WDW), MS MARCO, NewsQAの6つ。以前いろいろ読んだ CNN/DailyMail DatasetやCBTestについては，前者は回答の曖昧性が高い問題や共参照解析のミスが多いという理由，後者はRCタスクというより言語モデルタスクであるとの理由から*1 対象データセットに入っていない。

結果

個々のデータセットについての分析結果としてはQA4MRE, WDWあたりがPrerequisite skills, Readability共に高くかなり難しめのデータセット、それ以外の4つについてはPrerequisite skillsは低め。ただその中でもMC Testは元が子供向けの文章であることからReadabilityがかなり低い。QA4MRE,WDW, MARCOについてはデータの作り方が原因となってか回答不能な問題が多い (10~27%) のが気になる所・・・。また目的の一つであったPrerequisite skills, Readabilityの相関関係については正直あんまり無さそう。まあ直感的にはReadabilityが高かろうが低かろうがPrerequisite skillsは質問文をどう作るかで大半が決まるわけでそりゃそうだよねという感じ。また，質問に応えるために読む必要のある文の数も似たり寄ったり (1.04 ~ 1.18 sentence) で，今のRCタスクは大体必要な箇所の1文を読むだけで解けてしまうような問題ばかりだということらしい。（ただしコンテキスト文全体から必要箇所を探すための労力については別問題）

感想

面白かった。とりあえず新し目のデータセットで精度競争を繰り返すだけになりがちなRCタスクで、そのタスクが解けると何の能力があると言えるのか？をちゃんと分析しているあまりないタイプの研究。最近流行りのSQuAD, MS MARCOなんかはやはりAverage prerequisite skillsが低く，そうなると多分単純にコンテキストの狭い範囲と質問文とのマッチを適切に取れるかがかなり重要になるのだろう。ニューラルモデルでどうアテンションを取るかみたいな研究が大量発生するわけだ・・・逆にモデルに◯◯を理解させたいと思って新しい提案手法を考えても，使うデータセットによってはその能力を必要としない場合があるわけでちゃんとモデルの提案or評価時に実際のデータを意識しなきゃいけないなあという感想。