Dynamic Entity Representations in Neural Language Models [Ji+, EMNLP'17]

https://aclanthology.coli.uni-saarland.de/papers/D17-1195/d17-1195 概要言語モデルとjointlyに共参照解析をして文章中のエンティティへの言及を元にその分散表現の更新を動的に行い，現在の隠れ状態に加えて最近登場したエンティティの分散表現を考慮す…

2017-05-10

Overcoming catastrophic forgetting in neural networks [Kirkpatrick+, arXiv'17]

paper multi-task

解説スライドを見つけたのでメモ。以前読んだ論文でもそうだったが、Multi-task Learningにおいて普通にそれぞれのタスクの最適化をしてしまうと前のタスクの情報を忘れてしまう、そのためにどうにかして前のタスクの重みを覚えておこうという話。全タスク…

2017-05-09

MULTI-TASK SEQUENCE TO SEQUENCE LEARNING [Luong+, ICLR'16]

paper multi-task

概要元論文前回に引き続きニューラルネットによるmulti-task learningもの。橋本さんの論文中のモデルでは各タスクを１つずつ解き状態ベクトルを後段のタスクへと渡していく構造であったが、それに対してこのモデルではEncoder-Decoderモデルで解けるそ…

2017-03-01

A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks [Hashimoto+, arXiv'16]

NLP paper multi-task

概要元論文鶴岡研の橋本さんの論文。単一のモデルで複数タスクを同時に解く事で全体性能を向上させる話。対象とするタスクは基礎的なものから順に POS Tagging, Word Chunking, Dependency Parsing, Semantic Relatedness, Textual Entailment．モデルの…

ブログではないです

ブログでなくはないです

multi-task

Dynamic Entity Representations in Neural Language Models [Ji+, EMNLP'17]

Overcoming catastrophic forgetting in neural networks [Kirkpatrick+, arXiv'17]

MULTI-TASK SEQUENCE TO SEQUENCE LEARNING [Luong+, ICLR'16]

A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks [Hashimoto+, arXiv'16]