Bilingual Autoencoders with Global Descriptors for Modeling Parallel Sentences (Biao Zhang; Deyi Xiong; jinsong su; Hong Duan; Min Zhang) ある文を多言語で表した時(例：你是谁? <-> "Who are you?") 、それらの文にAutoEncoderを使って構築される…

Fast Gated Neural Domain Adaptation: Language Model as a Case Study (Jian Zhang, Xiaofeng Wu, Andy Way, Qun Liu) General-domain / in-domain で訓練したNNの出力（embedding、隠れ層など）がそれぞれある時に一般的なdomain-adaptationの手法として…

今日は午前で終了。 CharNER: Character-Level Named Entity Recognition (Onur Kuru; Ozan Arkan Can; Deniz Yuret) タイトルの通り、NERをChar-based RNNでやったという話。手法としては各文字をRNNに通す時に、その文字が構成している単語のタグ情報 (PER…

発表が短いので前２日より更に理解が合ってるか怪しめ。。。 Expanding wordnets to new languages with multilingual sense disambiguation [Mihael Arcan, John Philip McCrae and Paul Buitelaar] 面白かった。英語しかないwordnet を他の言語に翻訳する…

Tutorial T-5 Translationese: Between Human and Machine Translation [Shuly Wintner] スライド 機械翻訳と、Translationese（翻訳された文章の文体含む特徴）についてのお話。 （人手で）翻訳された文章（以下translated, [T]）は元々その言語で書かれた…

内容の簡単なメモ、覚えておきたいこと、感想など。 聞きながら書いてるのでところどころ怪しいかも。 Tutorial T-2 : Chinese Textual Sentiment Analysis: Datasets, Resources and Tools [Lun-Wei Ku and Wei-Fan Chen] スライド 中国語の評判分析に関す…

概要 SMTがbrevity penaltyなどを用いて翻訳結果の長さの調整に腐心しているのに対し、 NMTは翻訳に失敗していたとしても比較的長さは入力と同じになりやすい。 その理由を分析するために a, b の2種類のトークンのみを用いて、入力と全く同じ出力を返すよう…

概要 タイトルの通り、Zero-shot learningにおけるHubness問題の原因の考察とそのシンプルな解決法。 Zero-shot Learningはある事例空間Aからラベル空間Bへの写像を学習し、テスト時には写像後に近傍探索することで画像のラベル付けなどを行う。 ラベル空間…

概要 係り受け解析器の訓練をオンライン学習で行う際、訓練データとして与えられる解析結果のツリー(oracle)はある操作、ある単語からある単語への係り受け関係（arc）を付与する、という操作のシーケンスとして表現され、モデルはある状況で1つ操作を選択す…

概要 Bengioの有名な論文。誰か読んでまとめた記事があるんじゃないかなと探してみたらとても分かりやすいのがあった。 人間が物事を学習する時、いきなり難しい問題を与えられるよりも簡単なものから始まって徐々に難しくしていった方が効率よく学習が行え…

概要 A Persona-Based Neural Conversation Model [Li+, ACL'16] の一つ前の論文。 実験していてもそうだったが、seq2seqベースの対話はやはり典型的な応答 （e,g, I don't know. ）が頻出する事が問題になるらしく、 それをどうにかしようという話。 手法 …

ググっても微妙に出てくる例が違う。下記は上手く行った例。 \usepackage[pass]{geometry} \usepackage{CJK,CJKspace,CJKpunct} \begin{document} \begin{CJK*}{UTF8}{min} --- 本文 --- \end{CJK*} \end{document}

はてなブログに移行 これまでHarooPadをメモ帳として使っていたけど，読んだ論文やアイディアについてタグや検索機能が無いのが後々辛くなりそうなので更新がめんどくさくならないかぎりこっちに書くことに。研究室でのメモ書き・バイト等のネットにかくとヤ…