分配内存
初始化的方法主要做一件事情分配内存,初始化参数
初始化的方法主要做一件事情分配内存,初始化参数。这里比较关心权重初始化的值是多少,因为会影响到模型训练。固定写死的方法,都是 [-scale scale]的均匀分布, scale 是根据输入大小计算的,在这里的输入大小就是 batch 的大小
初始化的方法主要做一件事情分配内存,初始化参数。这里比较关心权重初始化的值是多少,因为会影响到模型训练。固定写死的方法,都是 [-scale scale]的均匀分布, scale 是根据输入大小计算的,在这里的输入大小就是 batch 的大小