数据处理任务介绍详解大数据

数据处理的一些基本任务：

与外界进行交互：读取各种文件（txt，csv，doc）和数据库中的数据

准备：对数据进行加工处理，清洗、变形等以便以后进行数据分析

转换：做一些数学和统计的计算，产生一个新的数据集。

建模和计算：将数据应用到统计模型、机器学习或其他计算工具中

展示：生成图表、图片、文字摘要等

主要用到的工具：

pandas：能够快捷的处理结构化数据。主要有Series（一维数组），DataFrame（二维数组），以及多维数组等数据结构

matplotlib：绘制数据图表的python库。

numpy：python科学计算的基础包。用于创建多维数组，可以执行元素级计算，也可以直接对数据进行数学运算。