译者：AI研习社（季一帆）

双语原文链接：Tutorial on reading large datasets

大规模数据集

对数据科学家和Kaggler来说，数据永远不嫌多。

我敢肯定，你在解决某些问题时，一定报怨过没有足够的数据，但偶尔也会抱怨数据量太多难以处理。本文探讨的问题就是对超大规模数据集的处理。

在数据过多的情况下，最常见的解决方案是根据RAM采样适量数据，但这却浪费了未使用的数据，甚至可能导致信息缺失问题。针对这些问题，研究人员提出多种不同的非子采样方法。需要注意的时，某一方法是无法解决所有问题的，因此在不同情况下要根据具体需求选择恰当的解决方案。

本文将对一些相关技术进行描述和总结。由于Riiid! Answer Correctness Prediction数据集由10列，超1亿行的数据组成，在Kaggle Notebook中使用pd.read_csv方法读取会导致内存不足，因此本文将该数据集做为典型示例。

不同安装包读取数据的方式有所不同，Notebook中可用方法包括（默认为Pandas，按字母表排序）：

• Pandas

• Dask

• Datatable

• Rapids

除了从csv文件读取数据外，还可以将数据集转换为占有更少磁盘空间、更少内存、读取速度快的其他格式。Notebook可处理的文件类型包括（默认csv，按字母表排序）：

• csv

• feather

• hdf5

• jay

• parquet

• pickle

请注意，在实际操作中不单单是读取数据这么简单，还要同时考虑数据的下游任务和应用流程，综合衡量以确定读取方法。本文对此不做过多介绍，读者可自行查阅相关资料。

同时，你还会发现，对于不同数据集或不同环境，最有效的方法往往是不同的，也就是所，没有哪一种方法就是万能的。

后续会陆续添加新的数据读取方法。

方法

我们首先使用Notebook默认的pandas方法，如前文所述，这样的读取因内存不足失败。

Pandas介绍

Pandas是最常用的数据集读取方法，也是Kaggle的默认方法。Pandas功能丰富、使用灵活，可以很好的读取和处理数据。

使用pandas读取大型数据集的挑战之一是其保守性，同时推断数据集列的数据类型会导致pandas dataframe占用大量非必要内存。因此，在数据读取时，可以基于先验知识或样品检查预定义列数据的最佳数据类型，避免内存损耗。

RiiiD竞赛官方提供的数据集读取方法就是如此。

帮助文档: https://pandas.pydata.org/docs/

Dask介绍

Dask提供并行处理框架对pandas工作流进行扩展，其与Spark具有诸多相似之处。

帮助文档：https://docs.dask.org/en/latest/

Datatable介绍

受R语言data.table的启发，python中提出Datatable，该包可快速读取大型数据集，一般要比pandas快得多。值得注意的是，该包专门用于处理表格数据集，能够快速读取大规模的表格数据集。

帮助文档：https://datatable.readthedocs.io/en/latest/index.html

10*10

Rapids介绍

Rapids提供了在GPU上处理数据的方法。通过将机器学习模型转移到GPU，Rapids可以在一个或多个GPU上构建端到端的数据解决方案。

帮助文档：https://docs.rapids.ai/

文件格式

通常，我们会将数据集存储为容易读取、读取速度快或存储容量较小的格式。数据集存储有各种不同的格式，但不是每一种都可以被处理，因此接下来，我们将介绍如何将这些数据集转换为不同的格式。

数据集的所有格式可从此处获取，不包括竞赛组提供的原始csv数据。

csv格式

大多数Kaggle数据集都提供了csv格式文件。该格式几乎成为数据集的标准格式，而且所有方法都支持从csv读取数据。

更多相关信息见: https://en.wikipedia.org/wiki/Comma-separated_values

feather格式

以feature（二进制）格式存储数据对于pandas极其友好，该格式提供了更快的读取速度。

了解更多信息：https://arrow.apache.org/docs/python/feather.html

hdf5格式

HDF5是用于存储、管理和处理大规模数据和复杂数据的高性能数据管理组件。

了解更多信息：https://www.hdfgroup.org/solutions/hdf5

jay格式

Datatable支持.jay（二进制）格式，其在读取jay格式数据时速度快得超乎想象。从下面的示例可以看到，该方法读取整个riiid数据集用时甚至不到1秒！

了解更多信息：https://datatable.readthedocs.io/en/latest/api/frame/to_jay.html

parquet格式

在Hadoop生态系统中，parquet是tabular的主要文件格式，同时还支持Spark。经过近年的发展，该数据格式更加成熟，高效易用，pandas目前也支持了该数据格式。

pickle格式

Python对象可以以pickle格式存储，pandas内置支持pickle对象的读取和写入。

了解更多信息：https://docs.python.org/3/library/pickle.html

不同方法各有千秋

每种方法都有自己的优缺点，例如：

• Pandas在处理大规模数据时对RAM的需求增加

• Dask有时很慢，尤其是在无法并行化的情况下

• Datatable没有丰富的数据处理功能

• Rapids只适用于GPU

因此，希望读者掌握不同的方法，并根据实际需求选择最恰当的方法。我始终相信，研究不是技术驱动的，技术方法只是手段，要有好主意、新想法、改进技术才能推动数据科学的研究与发展。

在经过大量研究后，我确信不同数据集具有不同的适用方法，因此要多尝试，千万不要试图一招半式闯江湖。

在不断更新的开源软件包和活跃的社区支持下，数据科学必将持续蓬勃发展。

AI研习社是AI学术青年和AI开发者技术交流的在线社区。我们与高校、学术机构和产业界合作，通过提供学习、实战和求职服务，为AI学术青年和开发者的交流互助和职业发展打造一站式平台，致力成为中国最大的科技创新人才聚集地。

如果，你也是位热爱分享的AI爱好者。欢迎与译站一起，学习新知，分享成长。

雷锋网版权文章，未经授权禁止转载。详情见。