2017-01-01から1年間の記事一覧
https://nlp.stanford.edu/pubs/clark2016improving.pdf 概要 C.Manningの研究室から出た共参照解析の論文で、[Lee+, EMNLP'17] に抜かれるまでCoNLL 2012 shared taskのSOTAモデル。概要としては従来のメンション間のスコアを算出して同一クラスタに属する…
https://transacl.org/ojs/index.php/tacl/article/view/1065/257 概要 ざっくり言うとword embeddingと同時にentity embeddingを学習するモデル (NTEE) を提案して、実際に学習したembeddingを色々なタスクで用いて評価したよ、という論文。 どう学習するか…
以前読んだ共参照解析の話をはじめ最近の話で評価に用いられるconll 2012 shared taskの評価指標であるMUC，, 辺りが馴染みがなかったので 自然言語処理シリーズの文脈解析を片手に調べた3.3節のメモ。この辺全く詳しくないのでなんか間違いがあるかも。 ま…
http://www.aclweb.org/anthology/P/P17/P17-1075.pdf 概要 Reading Comprehension(RC) タスクの目的の1つはモデルがどの程度文章を理解できるのかを測ることであり，コンテキストとなる文章を読んで関連する質問に答えられるかを問うことでそれを行う。 し…
https://aclanthology.coli.uni-saarland.de/papers/D17-1195/d17-1195 概要 言語モデルとjointlyに共参照解析をして文章中のエンティティへの言及を元にその分散表現の更新を動的に行い，現在の隠れ状態に加えて最近登場したエンティティの分散表現を考慮す…
https://www.aclweb.org/anthology/P/P17/P17-1018.pdf 概要 SQuAD QAでSOTAを出しましたという論文。会場で発表を聞いていたけどネットワークが複雑で一回だと良く分からなかった。 改めてもう一度読んでも良く分からなかった。一応読んだのでメモ。 SQuAD…
https://arxiv.org/abs/1706.00286 概要 Bahdanauの新作。従来の統計的テキスト処理では未知語はUNKトークンに変換された上で共通のものとして扱われるが、そこをWordNetの単語の定義文をエンコード（各単語ベクトルの平均 or LSTMの最終ステート）した補助…
cloze-style QAタスク(センター試験のような、文章を読んだ上でその文章に関するクエリのプレースホルダに正解の単語を埋める形式のQA) について読んだやつまとめ。（ある程度読んだら追加） CNN/Daily Mail QA Dataset Teaching Machines to Read and Compr…
http://aclanthology.coli.uni-saarland.de/pdf/P/P17/P17-1103.pdf 概要 学会中に発表聞きながら書いていたので短め。追記するかも。 How NOT to evaluate your dialogue system[Liu+, EMNLP'16] の著者の一人。 上記の論文中でBLEUなどの翻訳用のmetricや…
https://aclweb.org/anthology/E17-1060 概要 Wikipediaは多くの場合その記事に対応するWikidata item (他エンティティとの関係ラベルやある属性の値などの知識グラフ) を持つことを利用して、 ある人物についてWikidataから値を抽出したテンプレート (“TITL…
聴講＆ポスターを見ていて気になった論文をセッションごとに。読んで記事書いたら随時リンクを更新。 全体感想なんかもあとで。 Quastion Answering An End-to-End Model for Question Answering over Knowledge Base with Cross-Attention Combining Global…
Question answering over knowledge base (KB-QA) に関する研究。タスクとしては [Unger+, ‘14] が先駆け？タスクの定義の細かい所が分かっていないのだが単なるQAタスクでも手がかりとしてKBを使っていたらKB-QA? 他タスクの手がかりとしてKBを使う、という…
最近KB周りがマイブームなので実装の参考も兼ねて KB + Text => Great KB な論文を多読してみた とそこから辿れる少し前の論文を斜め読み。 基本的には (subject, relation, object) からなるtripleをグラフの2ノード間のラベル付きエッジとみなし、それぞれ…
https://nlp.stanford.edu/pubs/he2017collaborative.pdf 概要 それぞれが異なる知識を持つ対話エージェントについての研究。タスクが面白く、２つのエージェントは自分の友人のリスト（友人の名前、学校、会社などが書かれている）を渡される。 その中に共…
http://www.aclweb.org/anthology/P15-1173 概要 一回ちゃんと書いたやつが保存し忘れで消えてしまったので簡単にモデルの構成だけメモ。訓練済みのword embeddingsとWordnetのデータを使ってsynsetとlexemeについてもembeddingsを獲得するという研究。モデ…
以前教えて貰ったサーベイ記事。忘れないようにメモ。 対話のデータセットいろいろ https://breakend.github.io/DialogDatasets/ 対話の評価指標について https://github.com/pmineiro/ldlmd2016/blob/master/NIPSDec2016H.Hastie.pdf
http://www.sigdial.org/workshops/conference16/proceedings/pdf/SIGDIAL40.pdf 概要 Ubuntu forumのチャットルームの会話を使ってデータセットを作った＆それを用いて応答選択タスクをやってみたという論文。 データセットは長めのターン数（平均7.7ターン…
https://arxiv.org/pdf/1703.06103.pdf 概要 Graph Convolutional Network(GCN) を関係ラベル付き有向グラフも扱えるように拡張して、ノードのタイプの推定や欠けたエッジの補完を行う話。 Quitaの解説記事 がとてもわかりやすいのであまり自分で書くことが…
概要 Adversarial Multi-task Learning for Text Classification [Liu+, arXiv'17] の中で使われていたgradient reversal layerとは何だ？という事で読んだ．手法の部分しか読んでないので細かい実験結果などは省略． 文脈としてはMulti-task learningという…
概要 元論文 ACL'17採録予定の論文。Multi-task learningのText classificationタスクへの応用。よくあるMulti-taskもののモデルではhidden layerやembedding layer全体をタスク間で共有する事が多く、そうした際に上手くタスク共有(shared)のパラメータとタ…
解説スライドを見つけたのでメモ。 以前読んだ論文でもそうだったが、Multi-task Learningにおいて普通にそれぞれのタスクの最適化をしてしまうと前のタスクの情報を忘れてしまう、そのためにどうにかして前のタスクの重みを覚えておこうという話。 全タスク…
概要 元論文 前回に引き続きニューラルネットによるmulti-task learningもの。 橋本さんの論文中のモデルでは各タスクを１つずつ解き状態ベクトルを後段のタスクへと渡していく構造であったが、 それに対してこのモデルではEncoder-Decoderモデルで解けるそ…
概要 元論文 鶴岡研の橋本さんの論文。単一のモデルで複数タスクを同時に解く事で全体性能を向上させる話。 対象とするタスクは基礎的なものから順に POS Tagging, Word Chunking, Dependency Parsing, Semantic Relatedness, Textual Entailment． モデルの…
