https://aclanthology.org/2021.eval4nlp-1.4.pdf データセット論文。 既存の物語系データセットが割と人工的で日常的なテーマのごく短い話、物語というよりCommonsenseに基づいた行動の羅列と感じるものが多いのに対して、この研究では実際に出版されている…
https://aclanthology.org/2021.adaptnlp-1.22.pdf ドメイン適応についてのワークショップ論文．自分が将来引用することになった時向けのこういうのがあった，という簡単なメモ． 主な内容としてはfine-tuning時にout-domainのデータを混ぜて学習するマルチ…
https://arxiv.org/pdf/1904.09751.pdf 概要 ニューラルテキスト生成モデルのdecodingに関する論文． ニューラルテキスト生成では単語ごとに生成確率を推定して，そのargmaxを取っていく形 (いわゆるgreedy decoding) や beam searchによる生成が一般的なア…
https://www.aclweb.org/anthology/2020.acl-main.688.pdf タイトルの通り，機械翻訳における言語対間転移学習についての分析論文．想定している設定としては大規模データが存在する言語対 (e.g., En-> De) で訓練したモデル(parent) を小規模なデータしか無…
T-CVAE: Transformer-Based Conditioned Variational Autoencoder for Story Completion (Wang+, IJCAI'19)
https://www.ijcai.org/Proceedings/2019/0727.pdf Variational Transformers for Diverse Response Generation (Lin+, arXiv'20) を読んだ ので先行研究の方も読んでみる．こっちもコードが公開されている．概ね (Lin+, arXiv'20)のGVTと同じようなモデルで…
https://arxiv.org/pdf/2003.12738.pdf 自分が対話モデルを訓練する時は主にメジャーなフレームワーク中で実装されていることが多いという理由で通常のTransformerを使うことが多く，CVAEなどVariationalな系統のモデルは触ってはみたもののあんまり深入りし…
https://www.aclweb.org/anthology/D19-1364.pdf 概要 分類問題，例えば発話のintent classificationなどのモデルにおいて, 学習時に用いた出力ラベルセット中に含まれない Out-of-domain (OOD) example がテスト時には入力される事が考えられ，そうしたexam…
http://aclweb.org/anthology/D18-1431 ニューラル対話応答モデルにおいて起こりがちな、"I don't know." を連発するといったdull conversationを解決しようという話。 方針としてはベースラインとなるSeq2Seqでも用いている応答生成の確率分布 に加えて 発…
https://arxiv.org/pdf/1706.05098.pdf マルチタスク学習 (MTL) についてのサーベイ論文。マルチタスクの利点や考え方、これまでの手法などがニューラル・非ニューラル共に列挙されていて勉強になった。 自分がこれまで読んできたニューラルベースのMTL論文…
関係抽出タスクについて読んだものをメモ。新しいの読むたび更新。 Global Relation Embedding for Relation Extraction[Su+, NAACL'18] Neural Relation Extraction with Selective Attention over Instances[Lin+, ACL'16] End-to-End Relation Extraction…
https://arxiv.org/pdf/1710.06481.pdf 概要 WIKIHOPというReading comprehensionのデータセットの作成・分析についての話。データセットの分析や関連研究との比較，RCデータセットの構築で起こりがちなバイアスについてなどしっかり気を使っていて勉強にな…
URL: https://arxiv.org/pdf/1710.11041.pdf 概要 各言語の単言語コーパス+ cross-lingual embeddingsを使うことでパラレルコーパス無しで機械翻訳をしよう、という論文。 具体的にどうやるかというと下図のように言語共通のencoderと言語独立のattention付…
https://arxiv.org/pdf/1705.03995.pdf 概要 Relation Extractionと呼ばれる2つのエンティティ間の関係抽出タスクの論文。 具体的には(subj, rel, obj) の形式で表される知識ベースを仮定して，(subj, obj) を含む文（文の集合）からrelを当てるといった形式…
https://nlp.stanford.edu/pubs/clark2016improving.pdf 概要 C.Manningの研究室から出た共参照解析の論文で、[Lee+, EMNLP'17] に抜かれるまでCoNLL 2012 shared taskのSOTAモデル。概要としては従来のメンション間のスコアを算出して同一クラスタに属する…
https://transacl.org/ojs/index.php/tacl/article/view/1065/257 概要 ざっくり言うとword embeddingと同時にentity embeddingを学習するモデル (NTEE) を提案して、実際に学習したembeddingを色々なタスクで用いて評価したよ、という論文。 どう学習するか…
以前読んだ共参照解析の話をはじめ最近の話で評価に用いられるconll 2012 shared taskの評価指標であるMUC，, 辺りが馴染みがなかったので 自然言語処理シリーズの文脈解析を片手に調べた3.3節のメモ。この辺全く詳しくないのでなんか間違いがあるかも。 ま…
http://www.aclweb.org/anthology/P/P17/P17-1075.pdf 概要 Reading Comprehension(RC) タスクの目的の1つはモデルがどの程度文章を理解できるのかを測ることであり，コンテキストとなる文章を読んで関連する質問に答えられるかを問うことでそれを行う。 し…
https://aclanthology.coli.uni-saarland.de/papers/D17-1195/d17-1195 概要 言語モデルとjointlyに共参照解析をして文章中のエンティティへの言及を元にその分散表現の更新を動的に行い，現在の隠れ状態に加えて最近登場したエンティティの分散表現を考慮す…
https://www.aclweb.org/anthology/P/P17/P17-1018.pdf 概要 SQuAD QAでSOTAを出しましたという論文。会場で発表を聞いていたけどネットワークが複雑で一回だと良く分からなかった。 改めてもう一度読んでも良く分からなかった。一応読んだのでメモ。 SQuAD…
https://arxiv.org/abs/1706.00286 概要 Bahdanauの新作。従来の統計的テキスト処理では未知語はUNKトークンに変換された上で共通のものとして扱われるが、そこをWordNetの単語の定義文をエンコード（各単語ベクトルの平均 or LSTMの最終ステート）した補助…
cloze-style QAタスク(センター試験のような、文章を読んだ上でその文章に関するクエリのプレースホルダに正解の単語を埋める形式のQA) について読んだやつまとめ。（ある程度読んだら追加） CNN/Daily Mail QA Dataset Teaching Machines to Read and Compr…
http://aclanthology.coli.uni-saarland.de/pdf/P/P17/P17-1103.pdf 概要 学会中に発表聞きながら書いていたので短め。追記するかも。 How NOT to evaluate your dialogue system[Liu+, EMNLP'16] の著者の一人。 上記の論文中でBLEUなどの翻訳用のmetricや…
https://aclweb.org/anthology/E17-1060 概要 Wikipediaは多くの場合その記事に対応するWikidata item (他エンティティとの関係ラベルやある属性の値などの知識グラフ) を持つことを利用して、 ある人物についてWikidataから値を抽出したテンプレート (“TITL…
聴講＆ポスターを見ていて気になった論文をセッションごとに。読んで記事書いたら随時リンクを更新。 全体感想なんかもあとで。 Quastion Answering An End-to-End Model for Question Answering over Knowledge Base with Cross-Attention Combining Global…
Question answering over knowledge base (KB-QA) に関する研究。タスクとしては [Unger+, ‘14] が先駆け？タスクの定義の細かい所が分かっていないのだが単なるQAタスクでも手がかりとしてKBを使っていたらKB-QA? 他タスクの手がかりとしてKBを使う、という…
最近KB周りがマイブームなので実装の参考も兼ねて KB + Text => Great KB な論文を多読してみた とそこから辿れる少し前の論文を斜め読み。 基本的には (subject, relation, object) からなるtripleをグラフの2ノード間のラベル付きエッジとみなし、それぞれ…
https://nlp.stanford.edu/pubs/he2017collaborative.pdf 概要 それぞれが異なる知識を持つ対話エージェントについての研究。タスクが面白く、２つのエージェントは自分の友人のリスト（友人の名前、学校、会社などが書かれている）を渡される。 その中に共…
http://www.aclweb.org/anthology/P15-1173 概要 一回ちゃんと書いたやつが保存し忘れで消えてしまったので簡単にモデルの構成だけメモ。訓練済みのword embeddingsとWordnetのデータを使ってsynsetとlexemeについてもembeddingsを獲得するという研究。モデ…
以前教えて貰ったサーベイ記事。忘れないようにメモ。 対話のデータセットいろいろ https://breakend.github.io/DialogDatasets/ 対話の評価指標について https://github.com/pmineiro/ldlmd2016/blob/master/NIPSDec2016H.Hastie.pdf
http://www.sigdial.org/workshops/conference16/proceedings/pdf/SIGDIAL40.pdf 概要 Ubuntu forumのチャットルームの会話を使ってデータセットを作った＆それを用いて応答選択タスクをやってみたという論文。 データセットは長めのターン数（平均7.7ターン…
