batch

初始化的方法主要做一件事情分配内存，初始化参数。这里比较关心权重初始化的值是多少，因为会影响到模型训练。固定写死的方法，都是 [-scale scale]的均匀分布， scale 是根据输入大小计算的，在这里的输入大小就是 batch 的大小

用CNN做文本分类有一段时间了，关于训练数据不平衡的问题，我一直使用一个简单的方法，复制样本数据少的类别，在训练的时候，每个mini-batch都能相对均匀的抓取每个类别的信息。 今天一个偶然，去查了查CNN数据不均衡的问题，发现网上资料不少，主要围绕过采样的方法，看了下定义，原来就是我的这个操作方式，这种方式不适合在SVM里面使用，因为数据表现的信息恒定不变，可是为啥在CNN里面效果好呢？复制样本并没有添加任何的信息。只是为了让mini-batch更均衡的使用每个类别数据