batch

老话一句，谢谢您们一路以来的指导循循善诱，有了您们才有现在的我们。感谢上帝让我在Education Fair遇见了您们，得知 Mikasano 所提供的这个留日的好机会，圆了我的“留学梦”。在 Mikasano 那4个月的课程里，确实让我学会，领悟到了许许多多的东西，不只是多学会一种外语，也明白了一些人生的道理，知识的重要性

最近在和研一学弟学妹交流的时候，发现它们对深度学习中一些非常基础的概念不是很理解，于是我想做一个汇总，大家有认为不太好理解的概念，可以在评论区提出，我会逐渐添加到这篇文章中 分布（distribution）：分布不是让你真的去算这个一系列数据属于正态分布还是均匀分布等，而是一种大致的感觉，例如别人和你说，我们的数据分布特别不均衡，这个人所说的数据分布指的就是各个类别样本的数量比例；再比如别人和你说，这个样本的预测概率分布比较均匀，其实他的意思就是这个样本预测的概率向量比较均匀，例如一个二分类问题，那可能就是[0.50.5]这样，当然实际上这不是什么好的情况，因为这样我们就不知道这个样本到底该被预测为哪个类别了 维度（dimension）：维度分两种情况理解。假设一个人和你说：“这个数据的维度是2维的”，那其实就表示这个数据是一个矩阵；如果一个人和你说：“它的维度是128维”，那其实就表示矩阵中的某一个位置维度是128维的，比如一个句子经过WordEmbedding之后它的维度是[batch_size seq_len emb_dim]，那么我说emb_dim这个位置的维度是128维的 学长，我今年研一，两年制硕士。目前已经看了吴恩达和李宏毅还有部分李沐的课程，感觉对于深度学习的理解还停留在理论阶段，应该怎么规划实践路线呢，因为老师没有项目，自己又不知道该怎么沿着一条路系统地提升，有些焦虑

Delicious是一个国产的Del.icio.us Client。它以中文界面(简体中文)让你在Windows之内管理Del.icio.us之内的Bookmark。 Delicious的界面十分简单，只有左右个视窗

Delicious是一个国产的Del.icio.us Client。它以中文界面(简体中文)让你在Windows之内管理Del.icio.us之内的Bookmark。 Delicious的界面十分简单，只有左右个视窗

在神经网络的训练过程中，我们一般会将输入样本特征进行归一化处理，使数据变为均值为0，标准差为1的分布或者范围在0~1的分布。因为当我们没有将数据进行归一化的话，由于样本特征分布较散，可能会导致神经网络学习速度缓慢甚至难以学习。 上图中样本特征的分布为椭圆，当用梯度下降法进行优化学习时，其优化过程将会比较曲折，需要经过好久才能到达最优点

Delicious是一个国产的Del.icio.us Client。它以中文界面(简体中文)让你在Windows之内管理Del.icio.us之内的Bookmark。 Delicious的界面十分简单，只有左右个视窗

Delicious是一个国产的Del.icio.us Client。它以中文界面(简体中文)让你在Windows之内管理Del.icio.us之内的Bookmark。 Delicious的界面十分简单，只有左右个视窗

初始化的方法主要做一件事情分配内存，初始化参数。这里比较关心权重初始化的值是多少，因为会影响到模型训练。固定写死的方法，都是 [-scale scale]的均匀分布， scale 是根据输入大小计算的，在这里的输入大小就是 batch 的大小

用CNN做文本分类有一段时间了，关于训练数据不平衡的问题，我一直使用一个简单的方法，复制样本数据少的类别，在训练的时候，每个mini-batch都能相对均匀的抓取每个类别的信息。 今天一个偶然，去查了查CNN数据不均衡的问题，发现网上资料不少，主要围绕过采样的方法，看了下定义，原来就是我的这个操作方式，这种方式不适合在SVM里面使用，因为数据表现的信息恒定不变，可是为啥在CNN里面效果好呢？复制样本并没有添加任何的信息。只是为了让mini-batch更均衡的使用每个类别数据