InfoWorld 2017年度技术奖得主

你注意到了吗，谷歌正在赠送它的魔法酱汁？谷歌工程师过去只会写论文介绍他们的创作，然后交给其他人来开发软件。现在，我们很幸运能够直接从源头获得数据中心编配或深度学习等方面的真正成果。

同样，其他云计算巨头也在通过开源项目解决常见问题并共享解决方案。Facebook想出了一个更好的方法来构建移动应用程序，这是不是一个惊喜？还是客户端从服务器获取数据的更好方法？也许不是，但你可能会对Facebook在端点安全方面采取的巧妙方法感到惊讶。

在我们最新的年度技术奖得主中，您会发现这些以及其他诞生于云、为云设计或受云启发的创新。这些工具由InfoWorld的编辑和产品评审人员选择，是我们在过去一年中遇到的应用程序开发、数据中心和云操作、数据分析和信息安全的最佳工具。继续阅读，与我们的获胜者见面。

另请参见：
2017年度技术：最佳硬件、软件和云服务

[InfoWorld快速指南：数字化转型和敏捷企业|切入技术趋势和IT突破的关键新闻《信息世界日报》时事通讯，我们对顶级科技事件的总结。]

亚马逊的Echo设备系列已经被证明是一个巨大的热销产品，Echo和Echo Dot在圣诞节的热潮中都被抢购一空。Echo为Amazon和合作伙伴服务提供了一个语音驱动的接口，是一个强大的工具，但它也是一个有趣的例子，说明了使用亚马逊Alexa语音识别工具。Amazon提供了一套工具来构建Alexa应用程序（也称为“技能”），利用AWS Lambda的无服务器计算功能，只在Echo设备触发时运行应用程序。

Alexa技能可用于连接到通用web服务，允许用户通过语音命令访问现有和新的web内容和服务，方法是将服务请求链接到用户“话语”。更具体的API提供对家庭自动化（“Alexa，打开厨房灯”）和物联网设备（“Alexa，孩子房间的温度是多少？”），而其他API会触发叙述信息的快速传送。

许多人可能会将Echo视为亚马逊销售产品的另一个渠道，这当然是真的。对于开发人员来说，它还允许他们向用户交付AWS应用程序，尤其是可以使用AWS来反映Alexa到IoT设备的消息的应用程序。说“Alexa，打开办公室灯”要比在装有无数其他应用程序的智能手机上找到合适的应用程序来匹配合适的灯容易得多。Echo和Alexa制作了自然的用户界面。这对开发者和物联网来说是个好消息。

--西蒙·比森

虽然许多大型科技公司已经建立了流行的服务，这些服务具有基于人工智能的语音识别、自然语言解析和语言翻译功能，但以大多数标准衡量，这一领域的领导者是谷歌。在封面之下，翻译、地图、搜索和Google Now服务都依赖于一个机器学习和神经网络库，TensorFlow公司考虑到TensorFlow自2015年以来一直是开源的，你可以将谷歌的秘密酱汁应用到自己的项目中了解如何.

我并不是说TensorFlow很容易学习或使用，但如果你有必要的Python、微积分、统计和深度学习背景，并且愿意投入努力，你会发现TensorFlow是一个有用、强大、可移植且广泛适用的库。该软件包本身可以处理各种神经网络，包括目前正在改变图像识别和语言处理领域的深度卷积网络和长短期记忆（LSTM）递归模型。定义层的代码可能比方便的代码更详细一些，但您可以使用三个可选的深度学习界面中的任何一个来修复它。虽然调试异步网络解算器可能很重要，但TensorBoard软件可以帮助您可视化图形。

您可以在本地安装TensorFlow或使用云。也许是最强大的使用TensorFlow的方法是使用云机器学习和本地TensorFlow安装建立一个Google云平台项目。也许是最容易的使用TensorFlow的方法是在Amazon Linux上启动一个深度学习AMI，该AMI已经安装了TensorFlow和其他四个深度学习库。如果你计划用大数据训练很多深度学习模型，一定要安排使用CUDA兼容GPU的云实例，这些GPU目前可从亚马逊和Azure获得，很快将从谷歌获得。

--马丁·海勒

数据积木，的开发商的当前所在地阿帕奇火花，提供Spark即服务（在AmazonWebServices之上运行）以及集群管理器、Jupyter笔记本兼容接口、仪表板和作业。它具有完整的摄取、特征选择、模型构建和评估功能，以及与数据源的良好集成和出色的可扩展性。

虽然安装独立的Spark相对简单，但安装Hadoop集群要复杂一些，需要大量硬件。使用Databricks无需处理硬件或安装Hadoop、Spark或集群管理器。

斯帕克的MLlib库提供了常见的机器学习算法，如分类、回归、聚类和协作过滤（但不是深层神经网络）。有用于特征提取、转换、降维和选择的工具，以及用于构建、评估和调整机器学习管道的工具。Spark MLlib还包括以下实用程序保存和加载算法、模型和管道用于数据处理，以及用于线性代数和统计。

MLlib有针对Scala和Java的完整API，主要是针对Python的完整API和针对R的粗略的部分API。一个免费的Databricks社区集群为您提供了一个具有6GB RAM和0.88内核的节点。付费集群可以在预算允许的范围内进行扩展。您可以使用从1.3到当前版本（撰写本文时为2.1.0）的任何Spark版本在Databricks上随意创建集群。

--马丁·海勒

如果您正在编写需要在大型集群上分布处理的代码，并且希望它快速且在内存中--火花这就是我们现在的做法。如果您正在捕获事件流，并且希望使用一个简单的API来处理它们，特别是当您必须在事件发生时对其进行处理时，那么Spark现在是业界默认的。所有这些几乎都发生在一夜之间。 

Spark改变大数据世界的速度快于Hadoop供应商重新绘制平台图的速度。2016年，该项目发布了两个主要版本：1.6和2。两者都带来了重大性能改进和主要新功能全面的（SQL、流媒体、机器学习和图形处理），尤其是在流动如果你一直在等待Spark“做好生产准备”，你就没有任何借口了。Spark已经为您的工作量做好了准备，很高兴使用它。

--安德鲁·奥利弗

如果说2016年是深度学习的一年，那也是英伟达CUDA的一年。您可能知道图形处理单元（GPU），它最初用于加速个人计算机上的3D游戏。图形处理单元上的通用计算（GPGPU）是将GPU用于非图形编程，通常是涉及大矩阵和基本线性代数的科学计算。

GPGPU领域始于2001年，并在2000年代中期开始发挥作用。如今，全球大多数速度最快的计算机上都有GPGPU。异构计算，主要使用英伟迪亚的图形处理单元（GPU）作为联合处理器对于Intel或AMD CPU，是一个流行的选择每瓦特性能比率和更高的绝对性能。

虽然有几种用于高性能GPGPU计算的开放式、供应商中立标准，如OpenCL、OpenACC和OpenHMPP，但该领域的主导框架是Nvidia的专有库达平台和API，支持G8x系列以后的Nvidia GPU。CUDA（Compute Unified Device Architecture，计算统一设备体系结构）在计算生物学、密码学和其他领域得到了广泛的应用，在这些领域，它通常比仅使用CPU的计算提供一个数量级的加速。

今年最引人注目的是，CUDA支持出现在所有主要的神经网络和深度学习包中，所有主要的云供应商都宣布或发布了包括Nvidia GPU的计算实例类型。一块Nvidia K80板（可容纳两个GPU）足以将许多深度学习模型培训的速度提高10倍，而即将普及的P100板速度更快。

--马丁·海勒

虽然传统的机器学习方法仍然被广泛使用，但许多人已经将深度学习技术作为一种更好的选择。深度学习将转换输入或提取特征的处理单元链接在一起，链中的每一层都接收前一层的输出。这些链可以任意长，在某些情况下，数据可以多次流经链的部分或全部。

这种计算的本质——在多个数据元素上并行执行相同的程序——恰好是GPU设计用于的那种处理，这就是为什么如此多的深度学习库支持开箱即用的GPU优化。为了满足这种处理不断增长的需求，亚马逊去年秋天发布了新的P2实例类型。

配备多达16台Nvidia Tesla GK210 GPU，Amazon EC2 P2实例在方便、按需的基础设施上，快速训练深层神经网络。如果单台16-GPU机器还不够，Amazon允许您创建P2实例集群，在机器之间使用10或20千兆网络。除了P2实例类型之外，Amazon还发布了一个新的深度学习AMI，该AMI预装了一些GPU优化的库和框架，以便您可以直接使用。P2实例目前在美国东部、美国西部、欧盟和GovCloud（美国）都有。

--乔纳森·弗里曼

有时“大数据”真的意味着大数据，例如数百PB甚至EB。当达到这个规模时，大多数云数据库服务都无法跟上。

Amazon Aurora是最具伸缩性的云关系数据库之一，其容量上限为64 TB。第二大可扩展云NoSQL数据库Amazon Redshift的压缩数据最高可达1 PB左右，只能通过硬盘存储处理这么多数据。

要处理数百PB或更多的数据，您要么需要运行自己的庞大HBase、Cassandra或Accumulo集群，这些集群都不容易构建、安装或管理，也不便宜；或（鼓乐）使用谷歌云Bigtable.

Cloud Bigtable是一个公共的、高度可扩展的、面向列的NoSQL数据库，作为一种服务，它使用与谷歌的内部版本完全相同的代码，谷歌在2000年代早期发明了该版本，并于2006年发表了一篇关于该版本的论文。Bigtable过去和现在都是许多广泛使用的谷歌服务的底层数据库，包括搜索、分析、地图和Gmail。这个大容量纸张是Apache HBase、Apache Cassandra和Apache Accumulo的灵感来源。

Cloud Bigtable的定价为每节点每小时65美分（至少三个节点），外加每月每GB 17美分（SSD）和网络出口。对于30个具有SSD存储和1 PB数据的Bigtable节点（出于性能目的可能是低端节点），每月总计约185000美元。考虑到30个节点每秒可以为您提供300000个查询，每秒可以以6毫秒的延迟对PB级数据进行6.6GB-秒的扫描，这很便宜。

--马丁·海勒

关系数据库引擎数据结构的基础是在20世纪70年代建立的。B树或多或少是读优化的，而日志结构的合并树或多少少是写优化的。最流行的关系数据库MySQL使用InnoDB作为默认引擎，该引擎依赖B树作为索引。亚马逊极光（Amazon Aurora）在去年的年度技术奖（Technology of the year awars）中占据了重要位置，它是一个在强大基础设施上运行的MySQL的非常优化的实现。

如今，在B-trees出现40年后，深度信息科学的汤姆·黑泽尔（Tom Hazel）想出了更好的方法。本质上，DeepSQL的连续自适应顺序信息摘要（CASSI）使用机器学习算法来维护优化的内存动态数据结构和优化的资源调度；同时，磁盘上的物理数据库是附加的。结果是尽可能接近理论上的最小磁盘寻道成本，即写入为0，读取为1。

布丁的证据是DeepSQL对于非常大的数据库，在混合事务性和分析性负载方面可以超过Amazon Aurora，因为通过我监督的两个基准测试证明此外，DeepSQL无需手动调整，可以在本地或任何云中运行，并且可以免费进行开发和测试。

--马丁·海勒

这个开源、内存、磁盘备份的NoSQL数据存储有很多功能。Redis（Redis）不仅是一个应用程序加速缓存，但它是一个通用的“数据结构服务器”，能够支持广泛的可能应用.它甚至可以为Spark等大数据框架添加性能提升。Redis能够满足广大用户的多样化需求是其吸引力的重要组成部分。

2016年5月，Redis公布了一项期待已久的新功能的细节，旨在使Redis更加多用途：Redis模块它允许开发人员通过API将新的数据结构和功能引入Redis。虽然API仍在开发中，但Redis的模块已经开始出现，可以提供有价值的现实世界功能，包括全文搜索、图像处理和机器学习.

模块提供的可能性远远超出了传统的扩展Redis、Lua脚本的方法，后者只能向Redis的现有数据类型添加功能。因为模块是用C编写的，所以它们以真正的Redis速度运行。

--塞尔达尔·耶古拉普

过去几年对于经典程序员的编辑器来说是一次复兴。基于GitHub的Electron HTML5框架，微软的Visual Studio代码它从一开始就快速、轻量级和跨平台，并很快成为JavaScript和TypeScript开发的流行工具。然后在2016年，微软添加了一个可扩展性框架，允许开发人员引入功能和语言支持。结果，在几个月内，就有数百个扩展，支持每一种主要的编程语言。

最流行的下载之一使VSCode成为用谷歌Go语言构建应用程序的强大工具。其他插件还引入了Emacs或Vim的键映射，以及Python和PHP等语言的调试器，更不用说C、C++和C#了。还可以将其链接到外部工具和服务，从而将VS代码构建到持续开发和持续集成管道中。

VS代码可能没有完整的Visual Studio IDE的完整GUI，但它通过内置的命令行调色板以及JSON配置文件公开其配置功能。主题可以改变外观，插件可以利用Microsoft的IntelliSense代码补全工具和VS code的内置代码段支持来加速开发。使用Electron的HTML5开发环境还意味着Microsoft可以为MacOS、Linux以及Windows提供Visual Studio代码。该项目是开源的，源代码在GitHub上，非常活跃，微软每月发布新版本。

--西蒙·比森

小语种本可以发展成为大语种，而且确实如此。十年后，生锈已经成为C和C++的可靠替代品，它本来就是一种编写低级、高性能代码的语言，默认情况下也是安全的。Rust在2016年推出了一系列新版本，从加速编译和运行时并提供更好的错误消息到稳定语言的核心库.

但是发生了什么围绕语言更为重要。费多拉添加了铁锈作为该发行版中受支持的语言，Rust的创始人Mozilla帮助完成了一个项目帮助开发端口C代码以使其生锈。这最后一步被视为重写遗留基础结构代码防锈，确保安全稳定。这不会在一夜之间发生——遗留软件项目臭名昭著的守旧--但Rust背后的动力似乎克服了任何挑战。

--塞尔达尔·耶古拉普

本地移动开发的挑战众所周知：程序员成本高昂，应用程序构建时间较长，跨平台错误众多，维护成本高昂。但是，使用Apache Cordova的WebViews很难实现平滑的60fps动画或任何类似于本地感觉的效果。如果你真的想治愈手机用户界面的忧郁症，试试脸书的开源框架，反应本机.

使用React Native，您可以使用JavaScript和React（也来自Facebook的web UI库）构建声明性UI。React Native通过直接Java或Objective-C调用在JavaScript和底层平台API之间架起桥梁，从而在设备上生成本机iOS或Android UI组件。生成的视图看起来是本地的，感觉也是本地的，因为它们是本地的。此外，该框架还公开了与设备外围设备（如相机和地理定位服务）直接通信的接口。

React Native支持热重新加载，因此无需重新编译整个应用程序即可进行代码更新。您仍然可以使用本机模块；React Native与您自己的Java、Objective-C和Swift组件并行工作。

在过去的一年里，由于Git的帮助，在框架更新期间合并冲突解决变得成熟。新的Yarn包管理器简化了应用程序依赖性跟踪。

React Native减少了移动开发中的复杂性，以提供流畅的本地体验，而无需依赖性开销和平台本地开发的费用。

--詹姆斯·博克

对于web应用程序开发人员来说，有效的数据管理是抵御应用程序延迟的最佳防御措施。图形QL是一种新的查询语言，用于获取超越现有范式的数据。

使用GraphQL，可以将多个数据源和嵌入的依赖项组合到统一的JSON图形对象中，该对象是从单个API端点获取的。您只会获得所需的数据，这些数据的格式完全符合您的需要，以满足特定视图的要求。其结果是一种可扩展的数据提取机制，与从多个端点收集响应的REST方法相比，它简化了开发，节省了带宽，并提供了更全面的效率。

GraphQL源于Facebook，由于其健壮的类型验证、用于查询开发的元数据自省以及对后端数据源的不可知立场，它很快成为了应用程序开发人员的go-to工具。社区支持也在增加，包括第三方工具，如AWS Lambda的GraphCool以及中的GraphQL客户端和服务器开发工具阿波罗数据.

使用GraphQL，开发数据驱动应用程序的许多复杂性都可以在服务器端得到解决，其中数据源之间的模式关系是预先映射的。好消息是，建立GraphQL端点并不困难。考虑到GraphQL具有明显的性能优势和可预测的模式响应，这很值得付出努力。 

--詹姆斯·博克

经过多年的数据库和辅助工具建设，MongoDB Inc.终于步入了数据库服务的世界MongoDB地图集去年夏天发布的MongoDB Atlas通过简单的web界面为用户提供了一个完全受管理的平台。在几分钟内，任何人都可以在AWS基础设施上提供一个高度可用的分片副本集，包括可配置的实例大小调整和存储卷加密。

从当前的四个AWS区域列表中进行选择后，Atlas将跨三个可用区域分发副本（三个、五个或七个），以最大限度地延长正常运行时间。一旦配置好集群，您就可以利用Atlas提供的监视和警报工具。警报会根据大量可用指标查找用户特定的条件。当满足这些条件时，Atlas可以直接发送电子邮件或SMS，也可以通过其他集成（如Slack或PagerDuty）发送消息。

MongoDB Atlas的UI简单而优雅，这使得它比自己配置AWS基础设施更加友好，更不用说服务中内置的所有配置和集群最佳实践了。虽然这项服务还很年轻，而且还在不断增长，但如果考虑到它是由数据库创建者维护的，并且通常成本是竞争对手对可比集群收费的一半到四分之一，那么它绝对值得一看。

--乔纳森·弗里曼

码头工人允许您轻松打包、运送和运行称为容器的轻量级“虚拟机”。你注意到那些关于“虚拟机”的引语了吗？是的，这里有些不同。与VMware等“传统”虚拟化技术不同，Docker不模拟硬件或封装整个机器，而是依赖于OS级虚拟化。便携性和头顶高度的区别就像羽毛和35磅重的哑铃。

Docker是三个强大的旧概念的结合。首先是我们从BSD监狱和Solaris区域了解到的容器虚拟化概念。第二是具有某种继承性的基本包装。第三是存储库的概念。这些都不是新的，但Docker将它们结合在一起，形成了强大的协同效应。而且它还不止于此。

人们可能更喜欢Linux，但要完全掌控市场Docker必须支持Windows它做到了。OS级虚拟化很好，但要运行真正的基础设施，您需要某种集群支持。进入Docker’sSwarm功能最重要的是，与大多数虚拟化技术不同，Docker不会让开发人员把笔记本电脑扔到房间里。开发人员实际上喜欢Docker。最后，这可能是最重要的。

--安德鲁·奥利弗

库伯内特斯今年过得很好。开源容器集群管理器在过去12个月里取得了长足的发展，提高了对Amazon Web Services、Microsoft Azure和其他云平台的支持。但2016年Kubernetes的真实故事是，它正以惊人的势头成为初创公司和企业的首选集群管理者。

进入2017年，谷歌支持的项目现在支持有状态应用程序,混合云部署和其他容器技术，如CoreOS Rkt（当然，Docker支持仍然是王道）。该项目还得到了越来越多的软件供应商和云运营商的支持，他们将Kubernetes作为其管理系统的关键组件。

Ebay推出了自己的Kubernetes工具，苔丝大师，以管理OpenStack中的容器。米兰提斯收养了库伯内特斯管理OpenStack作为一堆集装箱。CoreOS发布操作员是一个使用Kubernetes进行通用应用程序管理的系统。VMware将Kubernetes集成到其Photon平台中，Kubernete构成了Red Hat的OpenShift平台的核心。Kubernetes集成到VMware的光子平台，它构成了Red Hat的OpenShift PaaS的核心。库伯内特斯甚至补充道Windows支持，能够协调Hyper-V容器和Windows Server容器。

预计2017年Kubernetes的实力会越来越强，可能会开始侵占全球的OpenStack安装。如果你是一名系统管理员或开发工程师，而且你还没有投入工作，那么你最好现在就投入工作。去年的“那是什么？”技术就是今年的“你为什么不呢？”技术。你不想被落在后面！

--Ian Pointer和Serdar Yegulalp

为云构建应用程序需要一种不同的思维方式，专注于可伸缩的微服务和部署这些服务的新途径。推动这一转变的关键技术之一是容器化，它将用户土地的虚拟化与包装应用程序和服务的方法结合起来，以实现快速、轻松的部署。为了从容器中获得最大的好处，您需要一个具有最少服务集的轻量级操作系统。

就在那里Windows Server 2016 Nano服务器开始发挥作用。这个新的Windows Server安装选项提供了一个更精简、更易于维护的操作系统，您可以使用它来托管Windows Server容器、Hyper-V容器或基于开源构建的应用程序。核心净值。没有GUI，也没有本地登录。管理只能通过API和特定于Nano服务器的PowerShell版本完成，删除了千兆字节的熟悉Windows Server舒适性，以支持大规模自动化服务器部署。

其结果是，服务器几乎可以即时启动，部署速度也差不多，并大大减少了存储需求、攻击面和维护空间。此外，Nano Server可以用作虚拟基础设施和容器的核心。它可能不是一个单内核操作系统，但它可能更加灵活，与Windows Server的关系也更加密切。

--西蒙·比森

领事是用于服务发现、监视和配置的工具。这些系统从20世纪80年代就已经存在了（有人记得Genera的名称空间吗？），但随着分布式系统的兴起，它们在今天变得更加重要，因为在分布式系统中，进程需要相互协调。

ZooKeeper是第一次尝试为分布式应用程序创建协调服务，Consul和ZooKepper共享类似的服务器节点架构，这些服务器节点需要定额节点才能运行。ZooKeeper工作得很好，但只公开键值语义，因此每个分布式应用程序都需要在ZooKeper之上构建自己的服务发现和协调层。对于开发人员来说，这是他们不必担心的另一个因素。

相比之下，Consul支持许多现成的通用模式。例如，内置了对多个数据中心的本机支持、集成健康检查和访问控制。可以使用DNS接口和HTTP查询注册的服务和节点，从而减少了分布式应用程序协调部分的开发时间。

Consul是开放源码的，为一个开放源码项目提供了令人惊讶的优秀文档。HashiCorp提供支持。

--史蒂文·努内斯

互联网不是存储敏感信息的安全场所。大多数软件在编写时都没有考虑到安全性，事后构建健壮的安全性并不容易。拱顶通过提供安全访问敏感信息的工具，帮助开发人员编写更安全的应用程序。

Vault保护传输中和静止的敏感信息，并提供多种身份验证和审核日志记录机制。动态密钥生成允许Vault避免为客户端提供对底层系统的根权限，并允许进行密钥滚动和撤销。Vault还可以在不存储数据的情况下对数据进行加密，因此安全团队可以持有密钥，开发人员可以以任何方式存储加密数据。

如今，安全解决方案有很多重叠。一些解决方案，如Kerberos，已经成熟并得到了很好的验证，但具有很高的实现开销。其他解决方案，如AWS身份和访问管理，通过保护脚本提供了一块拼图，但没有太多其他解决方案。Vault将企业可能需要的一切结合在一个易于实施的高质量解决方案中。这是一种普遍实用的方法，可以为开发人员提供构建更安全应用程序所需的内容。

--史蒂文·努内斯

为了让我们所有人都能得到更好、更安全的应用程序，开发人员必须获得适合应用程序开发工作流的安全工具，并与他们已经使用的工具集成。开发人员并不总是确切地知道有多少库被拉入给定的软件项目，甚至不知道这些组件是如何包含的。例如，一个Node.js应用程序可能很容易有350多个依赖项，其中大多数都没有明确包含，因此开发人员几乎不可能掌握最新的漏洞公告和版本更新。

来源清除通过云平台解决app-dev安全挑战，该云平台扫描软件项目，并详细说明正在使用的开源库和框架、它们的使用方式、这些组件是否包含易受攻击的代码以及它们包含的漏洞类型。该公司于2016年5月发布了其平台的社区版，名为SourceClear Open，并添加了与JIRA、Bitbucket和GitHub的主要集成，因此开发人员更容易跟踪代码中的安全问题。SourceClear的Dependency Visualizer可帮助开发人员发现哪些开源库正在使用，哪些库存在漏洞，哪些库在更安全的版本中可用。开发人员还可以看到潜在的许可冲突。

对不安全代码进行抨击是一件事。直到开发人员有了实际的解决方案，应用程序安全才真正成为一个后顾之忧。SourceClear提供了一些工具，帮助开发人员检测正在使用的库中的安全问题，并在它们成为安全灾难之前修复它们。

--法赫米达·拉希德

想象一下，如果Windows、MacOS和Linux端点的整个网络中的文件、进程和事件实时记录在数据库中。查找恶意进程、软件漏洞和其他恶意工件就像查询数据库一样容易。这就是OS查询这是一个Facebook开源项目，它使筛选系统和处理信息以发现安全问题变得像编写SQL查询一样简单。

2016年，Facebook将OSquery移植到Windows，最终让管理员在所有三个主要平台上使用功能强大的开源端点安全工具。在每个Linux、MacOS和Windows系统上，OSquery创建各种表，其中包含操作系统信息，如运行进程、加载的内核模块、开放网络连接、浏览器插件、硬件事件和文件哈希。当管理员需要答案时，他们可以询问基础结构。

查询语言类似SQL。例如，以下查询将返回从磁盘中删除自己的恶意软件启动的恶意进程：

从进程中选择名称、路径、pid WHERE on_disk=0；

自2014年以来，Linux和MacOS管理员就可以使用此功能，Windows管理员现在才开始使用。

将OSquery从Linux移植到Windows并非易事。需要一些创造性的工程来克服某些技术挑战，例如重新实现进程表，以便可以使用现有的Windows Management Instrumentation（WMI）功能来检索正在运行的进程列表。（负责该项目的安全咨询公司Trail of Bits，在其博客中共享详细信息.)  

管理员无需依赖复杂的手动步骤来执行事件响应、诊断系统操作问题和处理Windows系统的安全维护。使用OSquery，一切都在数据库中。

--法赫米达·拉希德

Cymmetria的网络欺骗平台马泽鲁纳承认许多安全专业人员面临的严峻现实：如果攻击者想进入，他们就会进入。网络欺骗将入侵视为事实，并通过向网络中散布“面包屑”凭据以及其他有趣的信息来压制攻击者，以阻止攻击者使用真实资产，并将其引入诱饵虚拟机，在那里对其进行隔离和分析。

这些诱饵机器运行真实的操作系统和服务，但允许您研究攻击者，学习他们的工具和技术，并使用这些信息检测和防止未来的攻击。这种方法类似于运行蜜罐，但比运行蜜罐更加密集。

目标是使攻击者在网络中移动更加耗时且成本更高，但防御者更容易识别和分析威胁。毕竟，有了诱饵，就没有假阳性这回事了。如果攻击者到达欺骗主机，则会对攻击进行指纹识别，并生成攻击签名并分发给防御者。

不管你部署了多少防火墙或反恶意软件工具，坏人都会找到进入网络的途径，所以为什么不诱使他们误入歧途呢？如果攻击者学会了担心他们试图运行的下一个工具或命令可能会导致主机被设计成陷阱，那么我们真的将开始扭转局面。

--法赫米达·拉希德

亚马逊（Amazon）选择了一个最偶然的时间揭幕AWS屏蔽这是一项托管服务，旨在帮助亚马逊客户抵御针对亚马逊网络服务基础设施的DDoS攻击。几天后就来了针对DNS提供商Dyn的大规模DDoS攻击由于部分互联网无法访问，AWS Shield的到来解决了IT团队面临的问题：如何弥合与云提供商的安全鸿沟？

在AWS Shield之前，缓解针对AWS基础设施的DDoS攻击的唯一实用方法是在AWS之前放置一些其他平台，例如Cloudflare，以检测和过滤恶意流量。虽然可以自动缩放服务器以吸收攻击流量，但这将导致月底的天文数字账单，并且故障转移到其他服务器或提供商会增加整体基础架构的复杂性。

AWS Shield与Elastic Load Balancers、Amazon CloudFront和Amazon Route 53协同工作，使运行在AWS中的系统更能抵御DDoS攻击。该服务面向所有客户，可保护web应用程序免受体积攻击、反射攻击、状态耗尽攻击和应用程序层攻击。“专业”版本AWS Shield Advanced提供了额外的缓解能力和攻击检测智能。

考虑到DDoS攻击的规模呈指数级增长，令人惊讶的是，所有云提供商都没有提供本机DDoS缓解工具。轮到你了，谷歌和微软。

--法赫米达·拉希德

Apache Hadoop解决了从各种来源收集大量数据的问题，Apache Spark提供了内存中数据分析框架，但对于信息安全分析师来说，大数据难题中还缺少一块：一种处理海量机器数据的方法，这些机器数据表示网络流量，并将好流量与坏流量分开。就在那里Apache Spot公司进来了。

Spot不再依靠向后看的规则和签名来识别安全威胁，而是应用先进的分析技术来检测异常网络流量，并专注于新的复杂攻击。例如，Spot可以使用机器学习作为过滤器来区分不良流量和良性流量，以及表征网络流量行为。Spot还可以使用上下文丰富、噪声过滤、白名单和启发式方法来生成可能的安全威胁的候选名单。

Apache Spot基于Intel和Cloudera早期的Open Network Insight项目，但已扩展到包括其他功能，如对DNS和代理服务器日志的支持（已经支持NetFlow）。网络、端点和用户数据的通用开放数据模型为丰富的事件数据提供了标准格式，从而更容易集成跨应用程序数据。数据模型还使组织更容易共享分析，并鼓励应用程序开发人员贡献新的安全分析功能，以便其他人都能受益。

--法赫米达·拉希德

消息传递系统又是新的了，除了现在我们的实时数据流被更恰当地描述为实时消防水管。Apache Kafka提供了一个高吞吐量、低延迟的消息传递主干，但它缺乏企业功能可能会带来很大的负担。

这个合流平台--构建于Kafka之上，并提供免费的开源和企业版——填补了空白，为驯服Kafka数据流提供了更完整的框架和工具。

无代码配置允许您通过向导连接上游源代码，并结合诸如高容量容错之类的基本企业功能。内置的分析、监控和警报可以通过可验证的审计跟踪快速呈现有意义的见解。

对于Kafka的Java客户端，Confluent提供了额外的Python和C/C++支持，为HDFS和JDBC预先构建的连接器，它自己的REST代理，以及包含版本控制和元数据自省功能的模式注册中心。

最令人印象深刻的是，Confluent Control Center通过其基于浏览器的仪表板，用深度性能指标和消息传递状态反馈取代了Kafka的基本吞吐量监控。与本机Kafka不同，Confluent透明地重新调整异步操作和错误的时间戳，以揭示管道沿线任何地方的交付失败和延迟问题。

Confluent Enterprise版提供了更多功能，包括负载平衡、集群管理和技术支持。

Kafka适合简单的消息传递。流连接和聚合等更高级的操作需要更多功能。对于实时流的调试、监控和性能优化，Confluent Platform提供了更多功能。

--詹姆斯·博克

Apache Solr在大数据生态系统中是一块隐藏的宝石，但它因难以设置和操作而名声大噪。输入Lucidworks融合.Fusion不仅可以轻松管理Solr集群，还包括连接到大量数据源的连接器。利用Apache Spark提供的现成连接以及构建数据接收和查询管道的能力，您可以将搜索扩展到企业的所有领域。

过去一年，Fusion有了许多改进，包括用于IBM Watson AI服务的连接器、Apache Spark与平台的深度集成、时间序列数据的处理改进，以及可插拔SAML身份验证等经常需要的企业功能。

虽然Apache Solr的暴躁一面现在可能有点言过其实，但Lucidworks Fusion毫不费力地挖掘了现有或新Solr安装的潜力，使您能够在不到一秒钟的时间内查询数十亿文档，从而减少操作麻烦。

--伊恩·波因特

日志分析非常重要。日以继夜，服务器大量输出千兆字节的非结构化文本，而公司现在保留了几年前才转到/dev/null的所有内容。挑战：你如何在这些不断增长的大草堆中找到针？

这个弹性堆叠--Elasticsearch、Logstash和Kibana是非常受欢迎的开源堆栈，正是为了做到这一点而设计的。Elastic Stack具有高可扩展性和卓越的搜索功能，是Netflix、Verizon和Salesforce等大型运营商进行日志分析的工具。

尽管日志分析工具多年来一直在信息安全领域流行，但它们正在其他地方迅速被采用，尤其是在云操作和物联网领域。凭借从数千个来源捕获和搜索数据的能力，Elastic是分析大型系统或设备云的完美工具包。连接器（用于系统级统计、网络流量数据、Windows事件）和插件（用于监视、警报、报告和用户管理）的稳定积累使Elastic更适合企业。

Elastic和Splunk是该领域最大的企业级解决方案。三年前，Elastic甚至不在地图上；如今，许多公司都在迁移，这主要是因为Splunk的按字节付费模式。不可否认，Splunk更精致，功能更丰富，但Elastic拥有典型用户所需的大部分功能。如果你愿意花点时间根据自己的需要进行调整，Elastic可能是正确的解决方案。

--史蒂文·努内斯

如果你在HDFS上部署了任何实质性的东西，你就会知道这是一种有点奇怪的技术：一个用Java编写的分布式文件系统，它通过几个“名称节点”限制了所有东西。尽管在你调优了HDFS和运行它的VM之后，原始块的性能并不差，Namenode似乎从未退出过。哦，如果你有错。。。嗯，恢复HDFS与恢复大多数文件系统不同。

输入地图R-FS它不是开源的，但它是纯本地代码，并遵循经验证的分布式文件系统设计原则。这意味着更少的锁定，更好的故障切换和恢复。MapR-FS是与HDFS兼容的API，因此您可以在现有的Hadoop应用程序中使用它。

最后，如果能在新的分布式计算领域的核心中看到一个开源的分布式文件系统，那将是一件好事。然而，在进行了如此多的生产部署之后，HDFS并不能真正胜任这项任务。如果您现在需要一个更好、可靠、可恢复的分布式文件系统，那么您应该看看MapR-FS。

--安德鲁·奥利弗

默认情况下，所有网络流量都应加密。让我们加密正致力于实现这一目标。

Let’s Encrypt由非营利性互联网安全研究小组（ISRG，包括Mozilla Foundation和密歇根大学）创建，是一个免费的证书颁发机构，它使用开放和自动化的机制颁发域有效的SHA-2证书，取代了成本和复杂性。如果你拥有一个域名，你可以从Let’s Encrypt免费获得一个可信证书

证书申请和续订过程通过以下方式实现自动化Certbot公司，电子前沿基金会的自动证书管理环境（ACME）客户端。其他客户端也可用，包括Bash脚本、C、Java、PHP和Perl，以及手动采购，但Let’s Encrypt证书的90天到期日强烈鼓励使用自动化工具。

让我们对IdenTrust的DST Root X3授权进行加密，确保其交叉签名证书在大多数现代浏览器中都能验证。虽然Let’s Encrypt已经活跃了一年多一点，但它已经是周围最大的证书颁发机构之一。

Let's Encrypt并不能满足所有需求。它不提供组织验证（OV）或扩展验证（EV）证书或通配符支持。此外，每个证书的主题替代名称限制为100个，尽管这对于大多数主流用途来说应该是实用的。

HTTPS提供了一种重要的保护措施，以保护流量免受恶意窥探。“让我们加密”最终使这种保护成为一种简单且价格合理的建议。

--詹姆斯·博克

面对现实：大多数it组织在管理和部署方面都遵循微软的领导。所以这很重要Microsoft提供了全方位设备管理在Windows 10周年更新（版本1607）和后续的Windows信息保护更新中，采用苹果发明的核心方法几年前，将移动设备引入台式机、笔记本电脑、二合一、，标签以及正在出现的所有其他PC变体。此举将最终结束移动设备和计算机之间的错误二分法，从而使IT部门获得更一致、更可靠的控制和安全性。

与所有管理和安全工具一样，Windows 10的全方位设备管理仍在进行中，但核心现在已经到位，IT组织可以在引入Windows 10设备时开始测试和部署。更好的是，尽管微软希望您使用自己的管理工具，但您可能已经拥有的企业移动管理（EMM）工具在很大程度上支持新的全能设备管理功能。

荣誉奖：移动铁桥，它允许使用现有的组策略对象在新的omnidevice方法中保留遗留管理规则。

--盖伦·格鲁曼

“Style”不是一个通常与密码管理相关的单词，但仪表板是个例外。Dashlane已经完成了您从密码管理器以及一些惊喜，以获得更好的用户体验。浏览器和移动设备的集成既牢固又干净，提供了一个简单的用户界面来填写密码或创建新密码。密码存储在本地并加密，如果您每年以低于40美元的价格购买高级订阅，则可以选择设备同步。

Dashlane超越了简单的召回和生成密码。在某些网站上，它会自动登录，而不是提供交互式提示来填写信息，从而节省更多的点击次数。Dashlane的安全仪表板不仅可以评估每个密码的强度，还可以告诉您密码是否已过时或已被重用。

除密码外，您还可以在Dashlane中保存其他个人信息，以便自动填写表单。Dashlane通过保存和收回信用卡、银行账户详细信息和PayPal账户，很好地处理了在线支付。一旦您在Dashlane中保存了付款方式，它甚至会保存您的付款收据，从而更容易跟踪您过去的购买情况。在大多数情况下，Dashlane的免费版本已经足够了，这意味着你可以在投入任何现金之前下载并试用它。

--乔纳森·弗里曼

随着云计算变得越来越普及，许多公司仍然对如何开始持怀疑态度或陷入困境。即使对于我们这些确切知道要迁移哪些服务器的人来说，实现这一目标的道路也并不总是平坦或清晰的。

让亚马逊为这条路铺路。这个AWS服务器迁移服务它使用一个可下载的连接器来帮助简化服务器迁移过程，既免费又简单。

与在每台运行中的服务器上部署代理不同，Amazon的服务器迁移连接器安装了一个FreeBSD设备，作为本地VMware环境和Amazon云之间的网关。

服务器迁移连接器通过一个向导驱动的过程嗅探现有服务器卷和网络拓扑。它捕获基本的服务器清单和卷快照，然后在后台将卷复制为Amazon EC2中的Amazon Machine Images。

好的仪表板可以深入了解迁移状态和迁移时每个服务器的运行状况。迁移完成后，只需从AWS管理控制台将新卷作为EC2实例启动即可。

实时虚拟机的复制通过推送增量更新来节省带宽，并且可以通过板载调度程序实现自动化。综上所述，AWS服务器迁移服务不仅简化了服务器迁移，而且还是一种可靠的业务连续性和灾难恢复模型。

AWS服务器迁移服务目前仅支持VMware虚拟机监控程序和VMotion，但KVM和Hyper-V的扩展覆盖范围也不会落后太多。AWS服务器迁移服务是一种平稳集成的方法，可最大限度地减少停机时间和中断，与EC2 VM导入功能中当前可用的基本选项相比，有了显著改进。 

--詹姆斯·博克