您好，欢迎体验MindSpore。

您遇到的疑惑我们正在分析，会尽快给出答复，请耐心等待下，谢谢。

1.  dataset_sink_mode=True时，数据处理（dataset加载及其处理）会和网络计算构成Pipeline方式，即：数据处理在逐步处理数据时，处理完一个batch的数据，会把数据放到一个队列里，这个队列用于缓存已经处理好的数据，然后网络计算从这个队列里面取数据用于训练，那么此时数据处理与网络计算就Pipeline起来了，整个训练耗时就是数据处理 / 网络计算耗时最长的那个。

   

2. dataset_sink_mode=False时，数据处理（dataset加载及处理）会和网络计算构成串行的过程，即：数据处理在处理完一个batch后，把这个batch的数据传递给网络用于计算，在计算完成后，数据处理再处理下一个batch，然后把这个新的batch数据传递给网络用于计算，如此的循环往复，直到训练完。该方法的总耗时是数据处理的耗时 + 网络计算的耗时 = 训练总耗时。

3. 你对于数据处理的理解稍微有点偏差，我这么解释下：

   数据处理一般分加载、处理、batch 三个阶段，在加载阶段一般会获取整个数据集的meta信息，基于此meta信息可以进行数据集的shuffle（整个数据集的），也可做数据的分片，用于分布式训练，然后基于这个meta信息一个一个样本的从存储上加载至内存中，样本加载至内存后，会在处理操作（map操作）中一步一步的处理，最后传递至batch操作，组织成batch size大小。

   对于整个数据集的shuffle一般在数据集加载接口里面就可以使用，shuffle=True。

   参考：https://www.mindspore.cn/doc/api_python/zh-CN/r1.2/mindspore/dataset/mindspore.dataset.MindDataset.html#mindspore.dataset.MindDataset 

   
   

4. 你说的会建立一个空间大小用于shuffle数据，是我们的 dataset.shuffle(buffer_size=N)逻辑。

   参考：https://www.mindspore.cn/doc/api_python/zh-CN/r1.2/mindspore/dataset/mindspore.dataset.MindDataset.html#mindspore.dataset.MindDataset 中的shuffle(buffer_size)函数。