ITeye博客

dayutianfei的博客

dayutianfei · 共 5 篇文章

Kudu简介

今天浏览Cloudera的官博,发现了一篇介绍《Kudu: New Apache Hadoop Storage for Fast Analytics on Fast Data》的文章,摘记如下: 1. 什么是Kudu This new open source complement to HDFS and Apache HBase is designed to fill gaps in Hadoop’s storage layer that have given rise to stitched-together, hybrid architectures. 可以看出这个新组件有两个特点:1)…

2015-09-29T17:02:03Z · 开源软件 · 评论(1)

impala参考资料

记录一些有用的Impala资料 1. 入门资料 >>官网翻译: http://my.oschina.net/weiqingbin/blog?catalog=423691 2. 实用进阶 >>代码&架构分析: Impala/Hive现状分析与前景展望:http://yanbohappy.sinaapp.com/?p=220 Impala架构和RPC:http://yanbohappy.sinaapp.com/?p=314 SQL解析与执行计划生成:http://yanbohappy.sinaapp.com/?p=339 backend查询执行过程:http://yanbohappy.sinaa…

2015-07-18T14:50:03Z · 开源软件 · 评论(0)

impala-2.1.2-CDH5.3.2

最近在整理impala编译的东西,简单记录几个要点: 根据官网的信息(https://github.com/cloudera/Impala/wiki/How-to-build-Impala): 1. 首次编译impala,推荐使用命令: ${IMPALA_HOME}/buildall.sh -skiptests -build_shared_libs -format 2.仅编译BE ${IMPALA_HOME}/bin/make_debug.sh [-notests] -build_shared_libs 编译后的文件在 be/bulid里面,编译出来的东西有200MB+,和官方的比20MB差…

2015-07-17T19:25:06Z · 开源软件 · 评论(0)

(转载)对SQL的认识(2010-08-30 09:45:36)

1. 为什么学习SQL 自人类社会形成之日起,社会的运转就在不断地产生和使用各种信息(文献、档案、资料、数据等);在如今所谓的信息时代,由于计算机和互联网的作用,信息的产生和使用达到前所未有的广度和深度。如何管好和用好信息,是(而且将一直是)IT行业一块重要的领域。 在过去几十年中,关系数据库一直在这一领域占主导地位,而建立在关系理论基础之上的SQL也成为数据库领域的既定标准。 目前的数据存储领域可称为三分天下: a. 少量数据的存储: 自定义数据文件或通用数据文件(单机数据库),通过自定义接口或通用API访问数据。如需要存储数据的单机软件或小型的动态网站。 b. 对一致性要求高的大量数据的…

2015-06-27T14:16:45Z · 数据库 · 评论(0)

SQL优化途径

SQL在执行过程中的优化途径,主要包括如下几个: 谓词下推(前推); 调整执行顺序:大小表Join; 合并:多个Limit合并; 表达式提前计算; 分区裁剪;

2015-06-26T17:44:54Z · 数据库 · 评论(0)