数据处理任务介绍详解大数据

数据处理的一些基本任务:

与外界进行交互:读取各种文件(txt,csv,doc)和数据库中的数据

准备:对数据进行加工处理,清洗、变形等以便以后进行数据分析

转换:做一些数学和统计的计算,产生一个新的数据集。

建模和计算:将数据应用到统计模型、机器学习或其他计算工具中

展示:生成图表、图片、文字摘要等

 

主要用到的工具:

pandas:能够快捷的处理结构化数据。主要有Series(一维数组),DataFrame(二维数组),以及多维数组等数据结构

matplotlib:绘制数据图表的python库。

numpy:python科学计算的基础包。用于创建多维数组,可以执行元素级计算,也可以直接对数据进行数学运算。

 

原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/tech/bigdata/9228.html

(0)
上一篇 2021年7月19日 09:18
下一篇 2021年7月19日 09:18

相关推荐

发表回复

登录后才能评论