1b3

在2年前，OpenAI搞了一个1750亿个参数的神经网络模型 即GPT-3(是它的前辈GPT-2 约15亿个参数 的100多倍)。可惜的是 GPT-3并没有开源它预训练的参数数据集，使用者只能调用他们提供的API，由于这个API必须要申请，所以我还没机会用到。不过，已经有很多公司基于GPT-3开发了一些应用，比如说GitHub就开放一个GitHub Copilot用于智能补全代码，大家感兴趣的可以去试试