MotivationCV 和 NLP 领域的一些工作发现对各层做 aggregation 能够获得比较好的效果，因此尝试将该思想加入 NMT 中，通过 聚合各层信息 来提升翻译质量。尽管残差已经是利用了多层信息，但这种简单的单步融合的方式太“浅”。 Author: Zi-Yi Dou, Zhaop ...

Learning Theory 如何形式化机器学习问题 问题 “learnable” 是什么含义 如何建立学习算法 Introduction to generalizationAim: 收集数据 -> (训练)模型 -> (预测)未知数据 模型应该 fit unknown data 胡 ...

场景 个性化新闻排序 广告 对话式推荐 (Coversational Recommendation) User ModelUser Big Data -> User Representation Explicit vs Implict App - User ModelQuery lo ...

Introduction本文的任务是做 User intent detection

Intro这篇文章发表在 ICLR 2018 wordshop 上，文章总共只有四页，基本上属于讨论性质。在文章中，作者给 Dynamic Routing 做出了设想，认为其是在优化一个 聚类loss + KL 散度，并据此优化问题给出了一个自己的理论上更合理的解，在实验中初步证明了修改过的 Rou ...

Motivation灵感来源于作者之前的有关 word embedding 的工作。（ Context-dependent word representation for neural machine translation）作者发现 word embedding vectors 中的每一维在不同的 ...

这篇文章主要介绍一下自己搭建博客的流程，内容主要是综合网上各大教程所得。

Dims of deep NLP Robustness Accuracy Ambiguity Efficiency Parsing configurations Efficiency use packing cell by cell in parse chart use ubertagging ...

Motivation训练 RNN Language Model 时，大词表是系统瓶颈。 本文提出一种空间压缩方法，通过共享输入和输出的 embedding 层的结构参数来减少总参数，并能够保持原来的表示能力。 MethodsRandom Parameter SharingInput Embeddin ...

Motivation利用大量的单语语料提升 MT 效果。 前人工作有一些共通的原则： Initialization: 利用双语词典来 初始化 MT 系统 Language modeling: 通过将 seq2seq 系统作为一个 denoising autoencoder 来利用强能力的 语言模型 ...