Deep Neural Machine Translation with Linear Associative Unit

Motivation

使用RNN作为encoder和decoder往往会有梯度爆炸／消失问题，优化困难。传统的做法是加residual或者fast-forward connections。本文提出使用Linear Associative Unit (LAU)来减少梯度传播的距离。

Method

GRU

GRU的激活函数由update门和reset门组成，隐状态计算如下：

$$h_{t} = (1-\textbf{z}_{t})\odot{\textbf{h}_{t-1}} + \textbf{z}_{t}\odot{\tilde{\textbf{h}_{t}}}$$

其中

$$\tilde{\textbf{h}_{t}} = tanh(\textbf{W}_{xh}\textbf{x}_{t} + \textbf{W}_{hh}(\textbf{r}_{t}\odot{\textbf{h}_{t-1}}))$$ $$\textbf{r}_{t} = \sigma{(\textbf{W}_{xr}\textbf{x}_{t} + \textbf{W}_{hr}\textbf{h}_{t-1})}$$ $$\textbf{z}_{t} = \sigma{(\textbf{W}_{xz}\textbf{x}_{t} + \textbf{W}_{hz}\textbf{h}_{t-1})}$$

$\textbf{r}_{t}$ 是reset gate，$\textbf{z}_{t}$ 是update门

LAU

与普通的GRU相比，LAU增加了input门$g_{t}$，控制直接对应输入$x_{t}$的仿射变换量$H(x_{t}) = W_{x}x_{t}$
。这在翻译任务中有利于那些不应经过变换直接传递到下一个阶段的量，例如在翻译人名”Bahrain”时，LAU倾向于在隐层输出保持其embedding，而不是做出不必要的变换(由于有关”Bahrain”的训练数据较少)。

Experiments

1. SOTA of course.

2. 架构基本上是替换LAU的RNN search.

实验证明LAU能够支持更深层的RNN网络，取得更好的效果。

Questions

1. POSUNK?
2. 为什么这样设计？
3. 为什么能够减少梯度衰减的情况？