paper
https://arxiv.org/pdf/1904.09751.pdf 概要 ニューラルテキスト生成モデルのdecodingに関する論文． ニューラルテキスト生成では単語ごとに生成確率を推定して，そのargmaxを取っていく形 (いわゆるgreedy decoding) や beam searchによる生成が一般的なア…
http://www.aclweb.org/anthology/P/P17/P17-1075.pdf 概要 Reading Comprehension(RC) タスクの目的の1つはモデルがどの程度文章を理解できるのかを測ることであり，コンテキストとなる文章を読んで関連する質問に答えられるかを問うことでそれを行う。 し…
https://aclanthology.coli.uni-saarland.de/papers/D17-1195/d17-1195 概要 言語モデルとjointlyに共参照解析をして文章中のエンティティへの言及を元にその分散表現の更新を動的に行い，現在の隠れ状態に加えて最近登場したエンティティの分散表現を考慮す…
https://www.aclweb.org/anthology/P/P17/P17-1018.pdf 概要 SQuAD QAでSOTAを出しましたという論文。会場で発表を聞いていたけどネットワークが複雑で一回だと良く分からなかった。 改めてもう一度読んでも良く分からなかった。一応読んだのでメモ。 SQuAD…
https://arxiv.org/abs/1706.00286 概要 Bahdanauの新作。従来の統計的テキスト処理では未知語はUNKトークンに変換された上で共通のものとして扱われるが、そこをWordNetの単語の定義文をエンコード（各単語ベクトルの平均 or LSTMの最終ステート）した補助…
cloze-style QAタスク(センター試験のような、文章を読んだ上でその文章に関するクエリのプレースホルダに正解の単語を埋める形式のQA) について読んだやつまとめ。（ある程度読んだら追加） CNN/Daily Mail QA Dataset Teaching Machines to Read and Compr…
http://aclanthology.coli.uni-saarland.de/pdf/P/P17/P17-1103.pdf 概要 学会中に発表聞きながら書いていたので短め。追記するかも。 How NOT to evaluate your dialogue system[Liu+, EMNLP'16] の著者の一人。 上記の論文中でBLEUなどの翻訳用のmetricや…
https://aclweb.org/anthology/E17-1060 概要 Wikipediaは多くの場合その記事に対応するWikidata item (他エンティティとの関係ラベルやある属性の値などの知識グラフ) を持つことを利用して、 ある人物についてWikidataから値を抽出したテンプレート (“TITL…
Question answering over knowledge base (KB-QA) に関する研究。タスクとしては [Unger+, ‘14] が先駆け？タスクの定義の細かい所が分かっていないのだが単なるQAタスクでも手がかりとしてKBを使っていたらKB-QA? 他タスクの手がかりとしてKBを使う、という…
最近KB周りがマイブームなので実装の参考も兼ねて KB + Text => Great KB な論文を多読してみた とそこから辿れる少し前の論文を斜め読み。 基本的には (subject, relation, object) からなるtripleをグラフの2ノード間のラベル付きエッジとみなし、それぞれ…
http://www.aclweb.org/anthology/P15-1173 概要 一回ちゃんと書いたやつが保存し忘れで消えてしまったので簡単にモデルの構成だけメモ。訓練済みのword embeddingsとWordnetのデータを使ってsynsetとlexemeについてもembeddingsを獲得するという研究。モデ…
http://www.sigdial.org/workshops/conference16/proceedings/pdf/SIGDIAL40.pdf 概要 Ubuntu forumのチャットルームの会話を使ってデータセットを作った＆それを用いて応答選択タスクをやってみたという論文。 データセットは長めのターン数（平均7.7ターン…
https://arxiv.org/pdf/1703.06103.pdf 概要 Graph Convolutional Network(GCN) を関係ラベル付き有向グラフも扱えるように拡張して、ノードのタイプの推定や欠けたエッジの補完を行う話。 Quitaの解説記事 がとてもわかりやすいのであまり自分で書くことが…
概要 元論文 ACL'17採録予定の論文。Multi-task learningのText classificationタスクへの応用。よくあるMulti-taskもののモデルではhidden layerやembedding layer全体をタスク間で共有する事が多く、そうした際に上手くタスク共有(shared)のパラメータとタ…
解説スライドを見つけたのでメモ。 以前読んだ論文でもそうだったが、Multi-task Learningにおいて普通にそれぞれのタスクの最適化をしてしまうと前のタスクの情報を忘れてしまう、そのためにどうにかして前のタスクの重みを覚えておこうという話。 全タスク…
概要 元論文 前回に引き続きニューラルネットによるmulti-task learningもの。 橋本さんの論文中のモデルでは各タスクを１つずつ解き状態ベクトルを後段のタスクへと渡していく構造であったが、 それに対してこのモデルではEncoder-Decoderモデルで解けるそ…
概要 元論文 鶴岡研の橋本さんの論文。単一のモデルで複数タスクを同時に解く事で全体性能を向上させる話。 対象とするタスクは基礎的なものから順に POS Tagging, Word Chunking, Dependency Parsing, Semantic Relatedness, Textual Entailment． モデルの…
概要 Bengioの有名な論文。誰か読んでまとめた記事があるんじゃないかなと探してみたらとても分かりやすいのがあった。 人間が物事を学習する時、いきなり難しい問題を与えられるよりも簡単なものから始まって徐々に難しくしていった方が効率よく学習が行え…
