2017 数据领域的8大发展趋势

　　2017年科技领域第一波震动就是Master横扫中日韩围棋界，其背后是人工智能的突破。从人工智能到解耦，数据领域也将产生更大的变化。O’Reilly媒体公司的首席数据科学家Ben Lorica最近推出一篇文章，解读2017年数据领域的8大发展趋势。

　　1：越来越多的数据科学家将开始使用深度学习

　　2016年深度学习领域取得的主要成就，不仅有简化深度学习的工具发布，而且还出现了整合大数据平台和架构的工具。这很明显，数据科学家将在2017年更多地使用深度学习，因为利用它能够创造更大的价值，比如时间序列、事件数据、物联网以及传感器数据分析，语音识别等等。

　　2：对数据工程相关技能的需求将会持续上升

　　在2012年，《哈弗商业评论》把数据科学家称之为“21世纪最性感的职业”，但愿2017年这样的需求会持续下去。不过，人才需求主要集中在数据工程师。现在，许多公司都在寻找会编程的数据科学家。毫无疑问，这是独一无二的技能，他们同样会获得除薪水之外的快乐。

　　3：更多的公司将会在云端使用托管服务

　　据一项最新的O’Reilly调查显示，一个组织在云端使用完大数据之后，这会催生出更多类似的大数据服务。

　　如今，很多公司都接触到能够提供存储、数据处理、可视化、分析以及人工智能的托管服务。虽然业内存在很多可解决这些问题的开源组件，但专有的托管服务逐渐被证明成为大众的选择。因为这些工具将由服务提供商管理，这让机构内的数据专业人士能够关注手头问题，不用理会需要使用哪些工具，但是他们不得不学习如何设计、搭建以及管理在云端运行的应用。

　　4：不是所有的东西都会迁移到公共云

　　遗留系统、敏感数据、安全、法律以及隐私问题等等，这让公共云并不能解决一切问题，因此混合云的架构可能更适合实际。现在，同样会存在使用定制乃至私有云的应用，就像为工业物联网设计的Predix或者AWS的CIA。许多公司将会需要能够应对复杂情况的解决方案架构。

　　5.数据的民主化：任务因工作更简单而简化

　　提供自助分析的新工具使许多数据分析的任务变的更加简单，有一些甚至都不需要编程，同时另外一些工具让代码、图像和文本在同一个工作流下的融合变得更加简单。这并不是统计学家或数据极客的授权用户所做地常规数据分析，它让数据专家有更多的时间去处理复杂项目，或者优化端到端的传输途径和应用。

　　这几年，这一切都在发生，我们发现：许多使得先进分析更加民主化的工具正在兴起(比如微软的Azure)，能够支持对大规模的流数据资源进行采集，并让先进的机器学习能够得到发展和应用(像谷歌的Cloud Platform和亚马逊的Machine Learning)。

　　6.储存和计算的分离将会加速

　　去年十一月，加州大学伯克利分校的AMPlab项目已经完成，但是在Apache Spark和Alluxio背后的团队并不是唯一一个强调存储和计算相分离的项目。正如上面所说的那样，在云端流行的存储项目，以及一些最新的深度学习架构使得该典范更加突出。

　　7.笔记本和工作流工具会得到持续的发展

　　Jupyter的笔记本因具有能提供可以解决许多问题的多元化架构，包括数据清洗、转换、数字化的仿真、统计学模型和深度学习在内，正被数据科学家使用和重组。(譬如O’Reilly使用Jupyter笔记本作为Oriole Interactive Tutorials的基础)。对数据小组来说，它十分有用。因为在notebook里能创造和分享包含动态代码、公式、可视化和说明性文本在内的文件。通过将Jupyter和Spark连接，你将能够通过简单接口使用Spark编写Python代码而不是使用Linus的命令输入或是Spark shell。

　　数据专家们将会一直使用多样化的工具。Beaker笔记本能够支持很多编程语言，现在还有将Spark社区作为目标的复合笔记本。(Spark Notebook、Apache Zeppelin及Databricks Cloud)。但并不是所有的数据专家都使用笔记本：因为笔记本不能适应对复杂数据渠道的管理，工作流工具更加适合这点。数据工程师门喜欢软件开发者使用的工具。随着深度学习和其他新技术进入数据科学和大数据社区，我们估计现存的工具将会得到进一步的发展和优化。

　　8.数据社区将会进一步找出方法来解决像隐私和伦理道德一样的问题。

　　由于机器学习的普及化、数据资源的多样化以及算法的复杂化，使得透明度变得越来越难实现。在数据应用中实现公平变得比以往更加具有挑战性。纵观2017年我们希望能够看到涉及以下几个方面的国家政策的讨论：对偏见测试的最佳实践以及偏向的理论导致偏向结果的意识在不断提升。