https://arxiv.org/pdf/1703.06103.pdf 概要 Graph Convolutional Network(GCN) を関係ラベル付き有向グラフも扱えるように拡張して、ノードのタイプの推定や欠けたエッジの補完を行う話。 Quitaの解説記事 がとてもわかりやすいのであまり自分で書くことが…

概要 Adversarial Multi-task Learning for Text Classification [Liu+, arXiv'17] の中で使われていたgradient reversal layerとは何だ？という事で読んだ．手法の部分しか読んでないので細かい実験結果などは省略． 文脈としてはMulti-task learningという…

概要 元論文 ACL'17採録予定の論文。Multi-task learningのText classificationタスクへの応用。よくあるMulti-taskもののモデルではhidden layerやembedding layer全体をタスク間で共有する事が多く、そうした際に上手くタスク共有(shared)のパラメータとタ…

解説スライドを見つけたのでメモ。 以前読んだ論文でもそうだったが、Multi-task Learningにおいて普通にそれぞれのタスクの最適化をしてしまうと前のタスクの情報を忘れてしまう、そのためにどうにかして前のタスクの重みを覚えておこうという話。 全タスク…

概要 元論文 前回に引き続きニューラルネットによるmulti-task learningもの。 橋本さんの論文中のモデルでは各タスクを１つずつ解き状態ベクトルを後段のタスクへと渡していく構造であったが、 それに対してこのモデルではEncoder-Decoderモデルで解けるそ…

概要 元論文 鶴岡研の橋本さんの論文。単一のモデルで複数タスクを同時に解く事で全体性能を向上させる話。 対象とするタスクは基礎的なものから順に POS Tagging, Word Chunking, Dependency Parsing, Semantic Relatedness, Textual Entailment． モデルの…

Bilingual Autoencoders with Global Descriptors for Modeling Parallel Sentences (Biao Zhang; Deyi Xiong; jinsong su; Hong Duan; Min Zhang) ある文を多言語で表した時(例：你是谁? <-> "Who are you?") 、それらの文にAutoEncoderを使って構築される…

Fast Gated Neural Domain Adaptation: Language Model as a Case Study (Jian Zhang, Xiaofeng Wu, Andy Way, Qun Liu) General-domain / in-domain で訓練したNNの出力（embedding、隠れ層など）がそれぞれある時に一般的なdomain-adaptationの手法として…

今日は午前で終了。 CharNER: Character-Level Named Entity Recognition (Onur Kuru; Ozan Arkan Can; Deniz Yuret) タイトルの通り、NERをChar-based RNNでやったという話。手法としては各文字をRNNに通す時に、その文字が構成している単語のタグ情報 (PER…

発表が短いので前２日より更に理解が合ってるか怪しめ。。。 Expanding wordnets to new languages with multilingual sense disambiguation [Mihael Arcan, John Philip McCrae and Paul Buitelaar] 面白かった。英語しかないwordnet を他の言語に翻訳する…

Tutorial T-5 Translationese: Between Human and Machine Translation [Shuly Wintner] スライド 機械翻訳と、Translationese（翻訳された文章の文体含む特徴）についてのお話。 （人手で）翻訳された文章（以下translated, [T]）は元々その言語で書かれた…

内容の簡単なメモ、覚えておきたいこと、感想など。 聞きながら書いてるのでところどころ怪しいかも。 Tutorial T-2 : Chinese Textual Sentiment Analysis: Datasets, Resources and Tools [Lun-Wei Ku and Wei-Fan Chen] スライド 中国語の評判分析に関す…

概要 SMTがbrevity penaltyなどを用いて翻訳結果の長さの調整に腐心しているのに対し、 NMTは翻訳に失敗していたとしても比較的長さは入力と同じになりやすい。 その理由を分析するために a, b の2種類のトークンのみを用いて、入力と全く同じ出力を返すよう…

概要 タイトルの通り、Zero-shot learningにおけるHubness問題の原因の考察とそのシンプルな解決法。 Zero-shot Learningはある事例空間Aからラベル空間Bへの写像を学習し、テスト時には写像後に近傍探索することで画像のラベル付けなどを行う。 ラベル空間…

概要 係り受け解析器の訓練をオンライン学習で行う際、訓練データとして与えられる解析結果のツリー(oracle)はある操作、ある単語からある単語への係り受け関係（arc）を付与する、という操作のシーケンスとして表現され、モデルはある状況で1つ操作を選択す…

概要 Bengioの有名な論文。誰か読んでまとめた記事があるんじゃないかなと探してみたらとても分かりやすいのがあった。 人間が物事を学習する時、いきなり難しい問題を与えられるよりも簡単なものから始まって徐々に難しくしていった方が効率よく学習が行え…

概要 A Persona-Based Neural Conversation Model [Li+, ACL'16] の一つ前の論文。 実験していてもそうだったが、seq2seqベースの対話はやはり典型的な応答 （e,g, I don't know. ）が頻出する事が問題になるらしく、 それをどうにかしようという話。 手法 …

ググっても微妙に出てくる例が違う。下記は上手く行った例。 \usepackage[pass]{geometry} \usepackage{CJK,CJKspace,CJKpunct} \begin{document} \begin{CJK*}{UTF8}{min} --- 本文 --- \end{CJK*} \end{document}

はてなブログに移行 これまでHarooPadをメモ帳として使っていたけど，読んだ論文やアイディアについてタグや検索機能が無いのが後々辛くなりそうなので更新がめんどくさくならないかぎりこっちに書くことに。研究室でのメモ書き・バイト等のネットにかくとヤ…