加快Hadoop搜索查询-Apache Drill
2014-08-17 10:31:36 
阿炯
Apache Drill是为大数据集的互动分析而生，是Google的Dremel的开源版本。它的目标是可以高效地对大数据集进行分析，可以运行在1000台以上的服务器，在几秒内处理PB级的数据和万亿条的数据记录，目前Drill还在Apache进行孵化。Apache Drill 实现了 Google's Dremel，采用Java开发并在Apache协议下授权，可跨平台运行。Apache 基金会已经宣布 Apache Drill 成为基金会的顶级项目。据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。
Modern big data applications such as social, mobile, web and IoT deal with a larger number of users and larger amount of data than the traditional transactional applications. The datasets associated with these applications evolve rapidly, are often self-describing and can include complex types such as JSON and Parquet. Apache Drill is built from the ground up to provide low latency queries natively on such rapidly evolving multi-structured datasets at scale.
该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而“Drill”将有助于Hadoop用户实现更快查询海量数据集的目的。
“Drill”项目其实也是从谷歌的Dremel项目中获得灵感：该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。
通过开发“Drill”Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。
最新版本：1.0
这是一个里程碑版本。此版本在 SQL-on-Hadoop上提升了安全性能，此外它还解决了Hadoop上自助服务 SQL 查询的空缺，尤其复杂动态 NoSQL 数据类的查询。它的一大性能优势是能够访问Hadoop数据，和 Qlik 一起使用的话，能够让用户发现更多数据方面的商用价值。
项目主页：http://drill.apache.org/