对软件行业的理解
可以用需求、架构、工具和算法四个词对软件行业做一个整体的概括。
需求是推动软件行业发展的源动力，需求的变化带来了架构、工具和算法的进步。
架构这个层面上，主要涉及的是一种解决问题的思想和策略，好的架构的诞生源于对需求和技术的深入了解，但与具体的技术实现联系不是太紧密。
工具是有需求带动的，工具的产生会受到架构的限制，不同的工具一般对某一领域更擅长。
算法的进步依赖于基础学科，是对具体问题的优化处理。
总之，无论是需求、架构、工具，还是算法，很少出现跳跃性的进步和创新，大多是在以前的基础上做改进。
对大数据的理解
大数据的HDFS（分布式文件系统）实际上就是在Linux文件系统之上安照其文件系统的原理又实现了一遍文件系统，并且加入了网络相关内容的处理。这也是为什么理解、熟悉Linux文件系统的实现细节对大数据的学习很有帮助的原因。
如果不考虑每个节点主机的运算能力的话，HDFS管理的就是一个磁盘阵列。加上并行运算技术以后，各个节点主机的运算能力利用起来了，就逐渐演变成了现在的Hadoop。
从以上来看，大数据没有多少新东西，最关键的还是机器学习部分。这才是在大数据领域保持向上发展的决定部分。
By印臣
原创文章，作者：ItWorker，如若转载，请注明出处：https://blog.ytso.com/tech/opensource/191289.html