Gradual Fine-Tuning for Low-Resource Domain Adaptation (Xu+, Adapt-NLP'21)

https://aclanthology.org/2021.adaptnlp-1.22.pdf

ドメイン適応についてのワークショップ論文．自分が将来引用することになった時向けのこういうのがあった，という簡単なメモ．
主な内容としてはfine-tuning時にout-domainのデータを混ぜて学習するマルチドメイン学習とfine-tuningを組み合わせたもので， 徐々に使うout-domainデータの比率を減らして最終的にin-domainのデータだけ使うように段階的に訓練していくような手法．

実験はMultiWOZを使ったDialog state tracking. 比較しているモデルはドメイン適応しないものと，通常のfine-tuningが主な所で，こういうout-domain, in-domainの比率や順番について論ずるならmixed fine-tuningとかドメインタグを使ったmulti-domain learningとかとも比較すべきなのでは？out-domainデータの割合がハイパラな割に，そこを明確に決めるのは難しくないか？その影響は？という辺りが感想．