ブログではないです

ブログでなくはないです

2020-01-01から1年間の記事一覧

In Neural Machine Translation, What Does Transfer Learning Transfer? (Aji+, ACL'20)

https://www.aclweb.org/anthology/2020.acl-main.688.pdf タイトルの通り，機械翻訳における言語対間転移学習についての分析論文．想定している設定としては大規模データが存在する言語対 (e.g., En-> De) で訓練したモデル(parent) を小規模なデータしか無…

T-CVAE: Transformer-Based Conditioned Variational Autoencoder for Story Completion (Wang+, IJCAI'19)

https://www.ijcai.org/Proceedings/2019/0727.pdf Variational Transformers for Diverse Response Generation (Lin+, arXiv'20) を読んだ ので先行研究の方も読んでみる．こっちもコードが公開されている．概ね (Lin+, arXiv'20)のGVTと同じようなモデルで…

Variational Transformers for Diverse Response Generation (Lin+, arXiv'20)

Dialogue まとめ

https://arxiv.org/pdf/2003.12738.pdf 自分が対話モデルを訓練する時は主にメジャーなフレームワーク中で実装されていることが多いという理由で通常のTransformerを使うことが多く，CVAEなどVariationalな系統のモデルは触ってはみたもののあんまり深入りし…

Out-of-Domain Detection for Low-Resource Text Classification Tasks [Tan+, EMNLP' 19]

OOD detection

https://www.aclweb.org/anthology/D19-1364.pdf 概要 分類問題，例えば発話のintent classificationなどのモデルにおいて, 学習時に用いた出力ラベルセット中に含まれない Out-of-domain (OOD) example がテスト時には入力される事が考えられ，そうしたexam…