NumPy批量处理

在深度学习中，由于源数据都比较大，所以通常需要用到批处理，如利用批量来计算梯度的随机梯度法（SGD）就是一个典型应用。深度学习的计算一般比较复杂，并且数据量一般比较大，如果一次处理整个数据，较大概率会出现资源瓶颈。为了更有效地计算，一般将整个数据集分批次处理。

与处理整个数据集相反的另一个极端是每次只处理一条记录，这种方法也不科学，一次处理一条记录无法充分发挥 GPU 和 NumPy 的平行处理优势。

因此，在实际使用中往往采用批量处理（Mini-Batch）的方法。

如何把大数据拆分成多个批次呢？可采用如下步骤：

1. 得到数据集
2. 随机打乱数据
3. 定义批大小
4. 批处理数据集

下面我们通过一个示例来具体说明：

import numpy as np

#生成10000个形状为2X3的矩阵
data_train = np.random.randn(2000, 2, 3)
#这是一个3维矩阵, 第1个维度为样本数, 后两个是数据形状
print(data_train.shape)
#(10000,2,3)
#打乱这10000条数据
np.random.shuffle(data_train)
#定义批量大小
batch_size=100
#进行批处理
for i in range(0,len(data_train),batch_size):
    x_batch_sum=np.sum(data_train[i:i+batch_size])
    print("第{}批次，该批次的数据之和：{}".format(i,x_batch_sum))

运行结果：

(2000, 2, 3)
第0批次，该批次的数据之和：-9.308741645955498
第100批次，该批次的数据之和：32.35559294218453
第200批次，该批次的数据之和：-11.861583953891046
第300批次，该批次的数据之和：17.96593793982428
第400批次，该批次的数据之和：-42.80131768606121
第500批次，该批次的数据之和：-9.716756691902336
第600批次，该批次的数据之和：-19.48607669927781
第700批次，该批次的数据之和：3.486042861593658
第800批次，该批次的数据之和：-14.28531351734479
第900批次，该批次的数据之和：-32.96999579309573
第1000批次，该批次的数据之和：-0.7251674142801512
第1100批次，该批次的数据之和：7.5213947548894575
第1200批次，该批次的数据之和：-10.215508100326279
第1300批次，该批次的数据之和：-12.18791584939293
第1400批次，该批次的数据之和：-29.792363766913127
第1500批次，该批次的数据之和：8.767114966381298
第1600批次，该批次的数据之和：-4.908531806928961
第1700批次，该批次的数据之和：-7.523182605046644
第1800批次，该批次的数据之和：5.147548514201093
第1900批次，该批次的数据之和：41.036640967932996

说明：批次从 0 开始，所以最后一个批次是 1900。