読者です 読者をやめる 読者になる 読者になる

ブログではないです

読んだ論文と実験・研究のメモ書き

A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks [Hashimoto+, arXiv'16]

概要 元論文 鶴岡研の橋本さんの論文。単一のモデルで複数タスクを同時に解く事で全体性能を向上させる話。 対象とするタスクは基礎的なものから順に POS Tagging, Word Chunking, Dependency Parsing, Semantic Relatedness, Textual Entailment. モデルの…

COLING2016 6日目

Bilingual Autoencoders with Global Descriptors for Modeling Parallel Sentences (Biao Zhang; Deyi Xiong; jinsong su; Hong Duan; Min Zhang) ある文を多言語で表した時(例:你是谁? <-> "Who are you?") 、それらの文にAutoEncoderを使って構築される…

COLING2016 5日目

Fast Gated Neural Domain Adaptation: Language Model as a Case Study (Jian Zhang, Xiaofeng Wu, Andy Way, Qun Liu) General-domain / in-domain で訓練したNNの出力(embedding、隠れ層など)がそれぞれある時に一般的なdomain-adaptationの手法として…

COLING2016 4日目

今日は午前で終了。 CharNER: Character-Level Named Entity Recognition (Onur Kuru; Ozan Arkan Can; Deniz Yuret) タイトルの通り、NERをChar-based RNNでやったという話。手法としては各文字をRNNに通す時に、その文字が構成している単語のタグ情報 (PER…

COLING2016 3日目

発表が短いので前2日より更に理解が合ってるか怪しめ。。。 Expanding wordnets to new languages with multilingual sense disambiguation [Mihael Arcan, John Philip McCrae and Paul Buitelaar] 面白かった。英語しかないwordnet を他の言語に翻訳する…

COLING2016 2日目

Tutorial T-5 Translationese: Between Human and Machine Translation [Shuly Wintner] スライド 機械翻訳と、Translationese(翻訳された文章の文体含む特徴)についてのお話。 (人手で)翻訳された文章(以下translated, [T])は元々その言語で書かれた…

COLING2016 1日目

内容の簡単なメモ、覚えておきたいこと、感想など。 聞きながら書いてるのでところどころ怪しいかも。 Tutorial T-2 : Chinese Textual Sentiment Analysis: Datasets, Resources and Tools [Lun-Wei Ku and Wei-Fan Chen] スライド 中国語の評判分析に関す…

Why Neural Translations are the Right Length [Xing+, EMNLP'16]

概要 SMTがbrevity penaltyなどを用いて翻訳結果の長さの調整に腐心しているのに対し、 NMTは翻訳に失敗していたとしても比較的長さは入力と同じになりやすい。 その理由を分析するために a, b の2種類のトークンのみを用いて、入力と全く同じ出力を返すよう…

Ridge Regression, hubness, and Zero-Shot Learning [Shigeto+, ECML'15]

概要 タイトルの通り、Zero-shot learningにおけるHubness問題の原因の考察とそのシンプルな解決法。 Zero-shot Learningはある事例空間Aからラベル空間Bへの写像を学習し、テスト時には写像後に近傍探索することで画像のラベル付けなどを行う。 ラベル空間…

A Dynamic Oracle for Arc-Eager Dependency Parsing [Goldberg+, COLING'12]

概要 係り受け解析器の訓練をオンライン学習で行う際、訓練データとして与えられる解析結果のツリー(oracle)はある操作、ある単語からある単語への係り受け関係(arc)を付与する、という操作のシーケンスとして表現され、モデルはある状況で1つ操作を選択す…

Curriculum Learning [Bengio, ICML'09]

概要 Bengioの有名な論文。誰か読んでまとめた記事があるんじゃないかなと探してみたらとても分かりやすいのがあった。 人間が物事を学習する時、いきなり難しい問題を与えられるよりも簡単なものから始まって徐々に難しくしていった方が効率よく学習が行え…

A Diversity-Promoting Objective Function for Neural Conversation Models [Li+, NAACL'15]

概要 A Persona-Based Neural Conversation Model [Li+, ACL'16] の一つ前の論文。 実験していてもそうだったが、seq2seqベースの対話はやはり典型的な応答 (e,g, I don't know. )が頻出する事が問題になるらしく、 それをどうにかしようという話。 手法 …

Overleafで日本語を使う

ググっても微妙に出てくる例が違う。下記は上手く行った例。 \usepackage[pass]{geometry} \usepackage{CJK,CJKspace,CJKpunct} \begin{document} \begin{CJK*}{UTF8}{min} --- 本文 --- \end{CJK*} \end{document}

メモ帳をブログに移行・投稿用チートシート

はてなブログに移行 これまでHarooPadをメモ帳として使っていたけど,読んだ論文やアイディアについてタグや検索機能が無いのが後々辛くなりそうなので更新がめんどくさくならないかぎりこっちに書くことに。研究室でのメモ書き・バイト等のネットにかくとヤ…