各位朋友大家好，欢迎来到月来客栈，我是掌柜空字符。

7万字、60余幅示例图、4个下游微调场景、从零实现NSP和MLM预训练任务，带你步步走进BERT。公众号后台回复BERT获取下载链接！

经过几个月的梳理掌柜总算是把整个BERT模型的基本原理、代码实现以及原论文中所提到的4个微调任务场景都给详细地介绍了一遍。不管是对于模型本身还是各个下游任务场景，掌柜都通过图示清晰的展示了任务场景数据集的构建流程、模型的构建原理等，力争以最简单、最直白和最清晰的方式向大家介绍各个任务的模型构建原理，并且同时还能够掌握对应的代码实现。

以NSP和MLM任务为例，掌柜首先通过图1介绍了这两个任务的基本原理。

同时，在所有任务的数据预处理环境都可以通过日志的输出等级来选择是否打印数据预处理时的中间结果，而这对于我们理解模型也是至关重要的一部分。

[2022-01-17 20:27:38] - DEBUG:  ## 当前样本构造结束==================

然后通过图3介绍了构建NSP和MLM这两个任务的基本原理。

最后，还得到了如下所示的推理结果。

- INFO: ====================

由于整个BERT模型的内容讲解过长，近7万余字，所以大家直接通过下载PDF阅读即可（公众号后台回复BERT获取下载链接），完整内容目录如下。