bertgpt

Transformer完全改变了2017年后NLP领域的模型方向 从某种意义上说BertGPT等模型都是Transformer模型的变体 虽然模型结构有各种改变 但是其中的一些基本计算单元则变化较小. Transformer几乎就是为了改善计算性能而专门设计的模型. 完全没有RNN之类的循环计算需求 这就极大降低了计算过程中的顺序依赖 可以极大提高并行性. 正是由于Transformer使用到的基本计算单元非常简单 几乎就只有 gemm +-*/ layernorm softmax 也没有奇怪的计算流程 所以原文的作者将其称为一个"简单"的模型是很有道理的. 本文就是简单记录Transfomer中使用到的基本计算单元. 属于未分类分类。作者是edimetia3d。