MotivationWord reordering 是SMT中非常重要的组件。 作者认为可以将 Word Reordering Knowledge 加入到NMT中以增强 attention 机制。 Methods 基本想法是在计算 attention 机制中的 $\alpha$ 时，加入考虑 re ...

Motivation 两种翻译系统中可能出现的问题。 一个词被翻译成不连续的片段 (新生银行 -> new … bank) 过度翻译 (两个女孩 -> two girls and two girls) 这些都是未遵循原文的句法信息导致的问题。作者认为可以通过整合源端syntax信息 ...

Motivation在NMT系统中，很难将先验知识整合到神经网络中去。 一方面，神经网络使用连续的实数值向量，很难从语言学角度解释网络里每一层 另一方面，先验知识一般以词典、规则等离散形式表示，不容易变成神经网络需要的连续形式 前人工作主要有修改模型架构和修改训练目标两种 但这些方法框架不能整合 ...

[TOC] Motivation当前的提升NMT效果的方法主要有： OOV词的翻译 设计attention机制 高效参数学习 利用源端语法树 作者发现长距离上的句法错误经常出现在翻译结果中，说明线性RNN不容易捕捉到细微的长距离word dependency。 这种长距离的词语相关可以通过句法依 ...

Motivation使用binary code来编码单词有助于减少输出层的计算量(logn)。 MethodsOutput Layers输出层的设计有如下三种 其中混合型的意思为常用词使用$v’$编码，稀有词使用$q$编码（即binary code） ModelsNot Interesting ...

Motivation采用layer-wise relevance propagation （LRP）来计算展现NMT系统的内部组织 Methods定义着重关注源端和目标端对几种内部状态的贡献： 为了更好的形式化，作出如下定义： LRP 以上图为例，relevance传递如下： ...

MotivationNMT能够达到很好的翻译效果，本文旨在探索NMT模型学习语言词法学的能力. 本文主要想研究如下相关问题: NMT架构的哪一部分负责捕捉词结构（word structure）？ 不同组件之间的分工如何？ 不同的词表示（word representations）如何帮助更好的学习词 ...

MotivationNMT方法效果很好，但也有局限性： NMT使用 Recurrent 架构，是 non-Markov 的。因此不能使用 DP 的方法并且限制了对全局特征或约束的利用。 目标端的句子内部的 inter-dependencies 没有考虑 可以将解码的不连续优化过程转化成连续优 ...

Intro Author: Liheng Zhang, Marzieh Edraki, and Guo-Jun Qi from Laboratory for MAchine Perception and LEarning (MAPLE) Accepted by NIPS 2018 #

文章统计 会议 文章数 ACL17 14 EMNLP17 10 编码解码框架的改进这一类文章主要瞄准的问题是在当时最新的网络架构RNNsearch的基础上，针对其训练需要时间长、效率差、优化困难等问题，提出的一系列解决方案。 ACL17： A Convolutional ...