机器学习采用的6种工具

“机器学习”这个术语赋予了神奇的光环。普通人通常不会采用机器学习，而数据科学家才是高度专业化的炼金术士，他们在研究部门和实验室中将数据转化为“黄金”，而只是简单地说机器学习是一门科学，在此之外几乎没有提供解释。

当然，这可能是一个鲜为人知的事实，但多年来机器学习工具已经发展到这样一个地步：几乎任何人都可以按下按钮，并启动一些机器来学习有价值的东西。这并不是一件容易的事，但将数据整合并将其转化为可操作见解的工作已经实现自动化，很多具有这种动机的组织可以做到这一点。

这种缓慢的复兴是由商业世界中许多非程序员已经相当精通数据的现实所推动的。加载数字的电子表格是各级业务决策者的通用语言，机器学习算法也像表格中数据清晰定义的行和列一样。机器学习的新工具基本上只是另一组策略和选项，用于将表格数据转换为有用的答案。这些工具的优势在于能够处理收集数据、添加结构，并保持一致性，然后开始繁重的计算工作。它们简化了数据收集过程，简化了将信息保存在行和列中的工作。

这些工具还不够智能，无法为用户完成所有这些学习。用户必须提出正确的问题并找到合适的地方。但是这些工具加速了对答案的搜索，因此可以覆盖更多的范围，并在进行更多的搜索。

最近，新的流行术语“AutoML”开始出现，表示机器学习算法附带了一个额外的自动化元层。标准算法一直被设计用于自行查找模式和规则，但传统算法带有许多选项和参数。数据科学家经常花费80%到99%的时间致力于找到很具预测性的规则。

AutoML通过尝试一系列选项，测试它们然后尝试更多来自动化这个阶段。它不是采用机器学习算法运行一次，而是运行N次，进行一些调整，再次运行N次，如此反复，直到用户的预算、时间、耐心耗尽。

AutoML工具非常适合云计算，因为它们在云中可以启动足够的机器并行运行，然后在完成后将它们返回池中。用户只需在峰值计算时间支付费用。

一般来说，AutoML算法是人们开始自己探索机器学习的一个良好选择。自动化通过处理一些设置参数和选项的基本工作来简化工作，然后再为用户测试结果。随着用户变得更加复杂，并开始理解结果，他们可以承担更多这些工作，并自行设置价值。

新的系统还可以让用户更轻松地了解机器的学习方式。如果经典编程将规则和数据转化为答案，那么机器学习算法将会反向工作，并将答案和数据转换为规则。这些规则可能会告诉用户业务发生的事情。这些简化工具的开发人员还创建了解释算法发现的规则的接口，更重要的是如何复制结果。他们想打开黑盒以促进理解。

所有这些功能都为那些使用数字、电子表格和数据的人们开启了机器学习的世界，消除了对编程和数据科学的巨大需求。下面的六个选项简化了用户使用机器学习算法在数字海洋中找到答案。

Splunk的原始版本最初是作为一种工具，通过现代Web应用程序创建的大量日志文件进行搜索或“窥探”。它已经发展成为可以分析所有形式的数据，特别是时间序列和其他按顺序生成的数据。该工具将结果显示在具有复杂可视化例程的仪表板中。

新版本包括将数据源与TensorFlow等机器学习工具和一些优质Python开源工具集成的应用程序。它们提供快速解决方案，用于检测异常值、标记异常，并生成对未来值的预测。它们经过优化，可以在非常大的数据集中搜索文件。

DataRobot内部的堆栈是一些用R、Python或其他几个平台编写的开源机器库的集合。用户将只处理一个Web界面，该界面显示用于设置管道的类似流程图的工具。DataRobot连接到主要数据源，其中包括本地数据库、云数据存储和下载的文件或电子表格。用户构建的管道可以清理数据，填充缺失值，然后生成标记异常值，并预测未来值的模型。

DataRobot还可以尝试提供关于为什么进行某些预测的“人性化解释”， 这对于理解人工智能的应用非常有用。

它可以部署在云端和内部部署解决方案的混合体中。云计算可以通过共享资源提供大的并行性和吞吐量，而本地安装可以提供更多的隐私和控制能力。

H2O喜欢用“无驱动的人工智能”来描述其探索各种机器学习解决方案的自动化堆栈。它将数据源(数据库、Hadoop、Spark等)联系在一起，并将它们输入到具有广泛参数的各种算法中。用户可以控制用于该问题的时间和计算资源，并测试各种参数组合，直到完成预算。其结果可以通过仪表板或Jupyter笔记本进行浏览和审核。

H2O的核心机器学习算法以及与Spark等工具的集成是开源的，但所谓的“无驱动” 选项是销售给企业客户的专有包之一。

RapidMiner生态系统的核心是一个用于从可视图标创建数据分析的工作室。它将清理用户的数据，然后通过各种统计算法运行它。如果用户想使用机器学习而不是更传统的数据科学，自动模型将从多种分类算法中进行选择，并搜索各种参数，直到找到合适的匹配。该工具的目标是生成数百个模型，然后确定优质模型。

创建模型后，该工具可以部署它们，同时测试它们的成功率，并解释模型如何做出决策。可以使用可视化工作流编辑器测试和调整对不同数据字段的敏感度。

最近的改进包括更好的文本分析、用于构建可视化仪表板的各种图表以及用于分析时间序列数据的更复杂算法。

BigML仪表板提供了数据科学的基本工具，用于识别可以构成机器学习更复杂工作基础的相关性。例如，他们的深度网络提供了用于测试和优化更精细的神经网络的复杂机制。可以将模型的质量与其他算法进行比较，并使用标准化的比较框架，帮助用户在经典数据科学和更复杂的机器学习之间进行选择。

BigML的仪表板在浏览器中运行，其分析可以在BigML云平台中运行，也可以在服务器机房中运行。其云计算版本的价格较低，以鼓励早期应用，甚至还有一个免费套餐。其成本主要取决于数据集大小的限制以及可以调用的计算资源量。免费套餐将使用不超过两个并行运行的进程分析最多16MB的数据。规模较小的付费账户的定价非常合理，每月账单只需30美元，但随着资源需求的增加，其价格会上升。

对于非程序员来说，R并不是一种容易使用的语言，但它仍然是进行复杂统计分析的最基本工具之一，因为它深受核心数据科学家的欢迎。R Studio是一个工具，为用户提供一组菜单和点击选项，使其更容易与深入内部运行的R层进行交互。

能够处理电子表格的高级管理人员可以使用最简单的选项来运行基本分析，甚至是一些复杂的分析。但有些部分会让一些用户感到困惑，但它正处于开放的边缘，每个对其感兴趣的人员都可以访问。虽然仍然会有一些困惑，但对于想要探索前沿工具的人来说，这是值得的。