在2年前，OpenAI搞了一个1750亿个参数的神经网络模型 即GPT-3(是它的前辈GPT-2 约15亿个参数 的100多倍)。可惜的是 GPT-3并没有开源它预训练的参数数据集，使用者只能调用他们提供的API，由于这个API必须要申请，所以我还没机会用到。不过，已经有很多公司基于GPT-3开发了一些应用，比如说GitHub就开放一个GitHub Copilot用于智能补全代码，大家感兴趣的可以去试试。 通常而言，GPT-3这种级别的神经网络模型只有OpenAI 谷歌这种巨头科技公司能够开发和训练，毕竟1750个参数可不是一个小数目。但是，一个由约1000多个学术志愿者组成的国际志愿者不信邪，他们正在用价值700万美元的公共资金赞助的计算时间去训练一个具有1760亿个参数的自然语言模型，BLOOM。 出于兴趣爱好，我在自己的Macbook Pro上测试了这个BLOOM-1b3模型，顾名思义就是该模型有13亿参数。为什么不测试完整的1750亿个参数呢？因为光读取13亿参数到Python中，就需要占用6G左右的内存，完整的1750亿个参数，起码得是一个1T内存的服务器才行。而且完整参数版还没有完工，仍在训练中。 可惜我的能力有限，对BLOOM的探索就止步于此了，等到后续我对Transformers有更多的掌握后，再更新相关的内容吧。 参考资料 - [URL]