Hadoop – 实时查询Drill详解大数据

1.概述

  在现实业务当中,存在这样的业务场景,需要实时去查询HDFS上的相关存储数据,普通的查询(如:Hive查询),时延较高。那么,是否存在时延较小的查询组件。在业界目前较为成熟的有Cloudera的Impala,Apache的Drill,Hortonworks的Stinger。本篇博客主要为大家介绍Drill,其他两种方式大家可以自行下去补充。

2.Drill Architecture

2.1 Cilent

  使用Drill,可以通过以下方式进入到Drill当中,内容如下所示:

  • Drill shell:使用客户端命令去操作
  • Drill Web Console:Web UI界面去操作相关内容
  • ODBC/JDBC:使用驱动接口操作
  • C++ API:C++的API接口

2.2 Drill Query Execution

  执行流程如下图所示:

Hadoop - 实时查询Drill详解大数据

2.3 Core Modules

  核心模块图,如下所示:

Hadoop - 实时查询Drill详解大数据

  至于详细的文字描述,这里就不多做赘述了。大家看图若是有疑惑的地方,可以去官方网站,查看详细的文档描述。[官方文档

3.Drill使用

  介绍完Drill的架构流程,下面我们可以去使用Drill去做相关查询操作。安装Drill的过程比较简单,这里就不多做详细的赘述了。首先,去Apache的官网下载Drill的安装包,这里笔者所使用的本版是drill-1.2.0。可独立部署在物理机上,不必与Hadoop集群部署在一起。这里需要注意的是,物理机的内存至少留有4G空闲给Drill去使用。不然,在执行查询操作的时候会内容溢出,查询Drill的官方文档,官方给出的解释是,操作的内容都在内容中完成,不会写磁盘,除非你强制指明去写磁盘,但是,一般考虑到响应速度因素,都会在内容中完成。笔者曾试图降低其内存配置小于4G,然并卵。所以,在使用Drill做查询时,需要保证物理机空闲内存大于等于4G。

  目前,Drill迭代版本比较快速。大家在下载Drill版本的时候,可以多多留意下版本内容变化。

  在解压Drill的压缩包后,在其conf文件夹下有一个drill-override.conf文件,这里我们在里面添加Web UI的访问地址,添加的内容我们可以在drill-override-example.conf模版文件中查找对应的内容。添加内容如下所示:

drill.exec: { 
  cluster-id: "drillbits1", 
  zk.connect: "dn1:2181,dn2:2181,dn2:2181", 
  http: { 
    enabled: true, 
    ssl_enabled: false, 
    port: 8047 
  } 
}

  这里需要注意的是,Drill需要用ZK,这里笔者就直接使用Hadoop集群的ZooKeeper集群连接信息地址。在添加完内容后,可以使用以下命令启动。

./drillbit.sh start

  启动之后,Web UI界面如下所示:
Hadoop - 实时查询Drill详解大数据

  目前条件有限,只有单台物理机,所以只部署了单台Drill。若是,大家条件允许,可以查看官网文档去部署Cluster。Drill插件默认是没有HDFS的,需要我们主动去创建,默认只有以下插件,如下图所示:

Hadoop - 实时查询Drill详解大数据

  这里,笔者已经配置过HDFS的插件,故上图出现HDFS插件信息,其配置信息如下所示:

{ 
  "type": "file", 
  "enabled": true, 
  "connection": "hdfs://hadoop.company.com:9000/", 
  "workspaces": { 
    "root": { 
      "location": "/opt/drill", 
      "writable": true, 
      "defaultInputFormat": null 
    } 
  }, 
  "formats": { 
    "csv": { 
      "type": "text", 
      "extensions": [ 
        "csv" 
      ], 
      "delimiter": "," 
    }, 
    "tsv": { 
      "type": "text", 
      "extensions": [ 
        "tsv" 
      ], 
      "delimiter": "/t" 
    }, 
    "parquet": { 
      "type": "parquet" 
    } 
  } 
}

  PS:这里要保证HDFS的地址信息正确。另外,Drill支持的存储介质较多,大家参考官方文档去添加对应的存储介质。

  在添加HDFS插件之后,我们可以通过Web UI界面的查询界面进行文件查询,也可以使用Drill Shell命令在终端去查询。查询方式如下所示:

  • Web UI查询命令:

Hadoop - 实时查询Drill详解大数据

  • Web UI结果如下:

Hadoop - 实时查询Drill详解大数据

  另外,其查询记录详情可以在Profiles模块下查看。如下图所示:
Hadoop - 实时查询Drill详解大数据

  • Drill Shell查询:
./sqlline -u jdbc:drill:zk=dn1,dn2,dn3:2181
  • Drill Shell 查询结果:

Hadoop - 实时查询Drill详解大数据

4.总结

  这里,笔者做过一个性能测试比较,数量级分别为10W,100W,1000W的不重复数据,其响应时间依次递增。结果如下图所示:

Hadoop - 实时查询Drill详解大数据

  通过测试结果可以看出,若是数量级在100W时,响应时间平均在秒级别,可以尝试用Drill去中OLTP业务。若是在1000W以上级别,显然这个延时做OLTP是难以接受的,这个可以去做OLAP业务。

5.结束语

  这篇博客就和大家分享到这里,如果大家在研究学习的过程当中有什么问题,可以加群进行讨论或发送邮件给我,我会尽我所能为您解答,与君共勉!

原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/9909.html

(0)
上一篇 2021年7月19日
下一篇 2021年7月19日

相关推荐

发表回复

登录后才能评论