查看原文
其他

Apache Kyuubi:一个有趣的大数据开源项目

飞总本尊 飞总聊IT
2024-09-11

新粉请关注我的公众号

我很久没写大数据的东西了,最主要的原因是因为我不知道写啥。这个领域里面还在发生着很多事情,但是有深度的,有意义的事情不多,有趣的事情也不多。


最近看到了Apache Kyuubi这个项目,应该严格的说是Apache Kyuubi(incubating)。项目还在孵化器中,并没有升级成为Apache的正式项目。


这是一个挺有趣的项目,所以我打算来写写。


我花了一点时间去了解这个项目的实际情况,发现这个项目是由网易开源的,还是有点吃惊。


Kyuubi是一个什么项目呢?我们用它自己的英文介绍来说明一下:

Kyuubi is a distributed multi-tneant Thrift JDBC/ODBC server for large-scale data management, processing, and analytics, built on top of Apache Spark and designed to support more engines(Apache Flink). It has been open-sourced by NetEase since 2018. We are aiming to make Kyuubi an "out-of-the-box"tool for data warehouses and data lakes.


这个英文比较简单,我就不翻译了。我们还是用通俗易懂的方式来说一下吧。我在这里提到过,HIVE严格意义上来说是个数据仓库。


假设回到2012年,某个互联网公司用HIVE建了一个巨大无比的数据仓库,存储用HDFS,计算用MapReduce/Tez。


HIVE这个东西的架构在有些方面还是很好的,比如说,它实现了一个Thrift JDBC/ODBC server,这样,客户端用JDBC就可以直接和HIVE打交道了。用户只需要输入HIVE-QL就可以对数据进行查询和操作了。


当然这是理想情况,当然计算很慢。当然有很多缺陷。但是这并不妨碍一个公司围绕这个HIVE的数据仓库做一些周边开发,包括内部的web tool的开发,无非就是通过JDBC连过去。


然而现在我们是在2022年了,Spark/Flink/Trino无论哪个作为SQL的计算引擎,显然都比HIVE自带的强多了。然而我们很难把它们作为一个数据仓库来使唤。


最起码的一点,我们不能简单的像HIVE那样,通过一个JDBC链接,输入SQL,就可以操作数据了。


Kyuubi做的事情很简单,就是搭了一个多租户的JDBC/ODBC Thrift server,这个server的通讯方式和HIVE Server 2兼容。然后在后台对租户绑定一个计算引擎,比如说Spark。


理论上讲,把HIVE的整个数据仓库迁移到Kyuubi上很简单,只需要把HIVE Server 2换成Kyuubi,把后面换成Spark的cluter,然后再把查询语言换成Spark SQL就行了。


当然实际上可能要更复杂一点,因为Spark SQL对HIVE-QL的兼容性问题,其实没有想的那么好。网易踩了很多坑,也替社区挖出了很多兼容性问题。所以现在其他人再用,就不会有同样的烦恼了。


Spark作为一个计算引擎来说,用作纯数仓的环境下也有可以提高的地方。所以Kyuubi也提供了一些Spark的插件,对一些东西,主要是Adaptive Query Execution的方面,进行了额外的优化。


当然,关于这个项目,我的介绍就非常简单了。我本人的目的也不是说要给出技术细节。毕竟我花休息时间去看看学习一下这个东西,能够了解的技术细节是有限的。


重点来了,为什么我觉得这个项目很有趣呢?因为它解决了一个很多企业迫切需要,但是Databricks却不会去做的事情。


这件迫切需要的事情就是很多企业希望一个更快的但是能够和HIVE很好兼容的数仓。


这事情说容易也容易,说不容易也不容易。因为大家都知道,最好的办法就是用Spark SQL作为语言,背后依托Spark的强大计算能力。


但是这样一个纯数仓的模式,把Spark的使用限定在纯Spark SQL的范围内,却不太符合Databricks自己对Spark的定义。Databricks更喜欢LakeHouse,就是既是湖又是仓,杂交的那个东西。


所以需求一直存在,Spark社区却不会真的投入大量精力来解决。即使要解决,也就是给个玩具。


我相信不止一个公司肯定想要这样一个解决方案,但是网易做了,系统开源了,而且整体设计上很灵活,给SQL爱好者提供了很多的想象空间。


虽然到今天纯SQL已经不是唯一的数据处理和查询的方案了,然而SQL的生命力始终都是强盛,纯SQL依然也有很大的空间。


这个项目和相关信息一开始是我在看ApacheCon视频的时候看到的。我觉得有趣以后又花了时间去研究了一下。


继续滑动看下一个
飞总聊IT
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存