亚马逊网络服务高级副总裁Andy Jassy上周并没有开玩笑,因为他暗示亚马逊计划在其庞大的阵容中增加大数据服务。今天,该公司宣布推出Kinesis,这是一种接受实时数据,复制并将其交付给在亚马逊上运行的应用程序的新工具。

借助Kinesis,开发人员可以更加了解如何处理实时流动的大量数据。在亚马逊云上构建应用程序的开发人员现在可以更轻松地利用传感器收集数据,这是物联网提速并且消费者尝试连接到互联网的设备的重要一步。
“Hadoop集群世界非常适合分析或实际处理大量数据,但它绝对不适合进行实时操作,”亚马逊网络首席技术官Werner Vogels表示,他正在宣布Kinesis在亚马逊网络服务公司的拉斯维加斯发明会议上。“我们需要让任何人都能更轻松地进行实时操作。”
在数据流中,Kinesis将其复制到三个可用区域,或者彼此分离但足够接近以提供彼此之间的低延迟的设施。
如果突然出现大量数据,Kinesis可以扩大规模。如果有一个安静的时期,Kinesis可以自动缩小。数据可以包括用户点击的内容,传感器正在拾取的内容,人们在社交网络上的内容 - 无论如何。关键是,亚马逊正在使应用程序更改以响应热门的新数据变得更容易。或者,如果数据不适用于世界上任何人都可以使用的应用程序,那么它的内部分析现在可以更新。
与现有的亚马逊数据处理服务集成对于采用像Kinesis这样的东西至关重要,事实上亚马逊今天在舞台演示中展示了Kinesis如何获取实时推文并将它们直接推送到DynamoDB NoSQL数据库中以查看哪些字最多现在流行。
另一个演示显示,Kinesis向亚马逊的数据仓库Redshift发送了两天的推文,该数据仓库保存了历史分析数据。Redshift中的分析不仅有助于回答有关哪些行星在推文中受欢迎而且还有关于原因的问题。人们在推特上发布了有关火星的信息,但“摇滚”,“表演”和“音乐会”等词汇也经常与“火星”一起被提及。很明显布鲁诺火星的粉丝是所有关于火星的兴奋的罪魁祸首。
最后,一个演示显示所有这些关于Bruno Mars的推文来自哪里,可视化由Kinesis提供数据,并使用Amazon的RDS关系数据库和新发布的PostgreSQL查询引擎支持查询。
Kinesis的神奇之处在于其与流行的亚马逊服务的兼容性及其简单明了; 具有所有这些功能的应用程序花了不到一周的时间让两名工程师进行构建。
Kinesis背后的技术架构涉及亚马逊行话,例如流,分片,数据记录,数据blob等。有兴趣的人可以在亚马逊的博客文章中了解这些事情 - 以及定价模式。开发人员现在可以注册,以便尽早访问有限的服务预览。

