数据工程师：数据工程师是从未格式化的原始数据中准备数据的人，这些数据可能包括人为或机器错误以解决业务问题。数据科学家或数据分析师会进一步分析干净的数据。数据工程师从各种资源中提取、收集和整合数据，并通过实施各种方法来提高数据的效率、质量和可靠性来管理这些数据。数据工程师不仅编写复杂的查询以确保数据的可用性，而且还通过使用大量大数据技术构建自由流动的数据管道来实现实时分析。数据工程师使用 MySQL、Hive、Oracle、Cassandra、Redis、Riak、PostgreSQL、MongoDBgoDB 和 Sqoop 等各种工具来处理数据。数据工程师不依赖任何人。此外，数据工程师只是收集数据，因此不需要他在公司决策过程中的建议。
数据科学家：数据科学家处理数据工程师提供的数据。数据科学家依赖于数据工程师。数据科学家分析数据并根据该数据分析提供有关公司应如何工作的见解。为此，数据科学家使用各种机器学习和统计模型来准备用于预测和规范建模的数据。为了克服业务需求，数据科学家使用来自内部和外部来源的大量数据进行研究，以预测、探索和检查数据，以找到将成为决策基础的隐藏模式。数据科学家使用各种编程语言(如 Python、R、SAS、SPSS、Julia)以及众多数据可视化和数据操作库来构建决策模型。所以我们可以说，当涉及到决策时，数据科学家的分析被考虑在内。
以下是数据工程师和数据科学家之间的区别表：
| S.No | 数据工程师 | 数据科学家 |
|---|---|---|
| 1 | 数据的“建筑师” | “建筑师”计划的“建造者” |
| 2 | 提取、收集、科学家和整合数据 | 分析工程师提供的数据 |
| 3 | 依赖于经理、非技术主管和利益相关者以满足业务需求。 | 取决于工程师的数据 |
| 4 | 决策没有发言权 | 数据科学家的分析被认为是公司的决策过程 |
| 5 | 数据仓库、ETL、高级编程、Hadoop、SQL、数据架构和流水线、机器学习等是需要的技能 | R 或 Python 或 SAS、统计分析、Apache Spark、机器学习和人工智能、数据可视化和数据挖掘所需的技能。 |
| 6 | 对数据的准确性负责。 | 在利益相关者和客户之间建立联系。 |
| 7 | 处理原始数据 | 处理数据工程师处理的数据 |
| 8 | 不需要任何讲故事的技巧来传达结果 | 需要有讲故事的技巧来呈现分析 |
| 9 | 用于处理数据的工具是 MySQL、Hive、Oracle、Cassandra、Redis、Riak、PostgreSQL、MongoDBgoDB 和 Sqoop | 使用的编程语言是 Python、R、SAS、SPSS、Julia 以及各种可视化技术。 |
虽然两者互不相同，但都是组织机构的重要组成部分。两者缺一不可，相辅相成。
原创文章，作者：ItWorker，如若转载，请注明出处：https://blog.ytso.com/266979.html