ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

Kyuubi 指南:三分钟拉起多租户 SQL 网关

Kyuubi 指南:三分钟拉起多租户 SQL 网关 Kyuubi 指南三分钟拉起多租户 SQL 网关【免费下载链接】kyuubiApache Kyuubi is a distributed and multi-tenant gateway to provide serverless SQL on data warehouses and lakehouses.项目地址: https://gitcode.com/gh_mirrors/kyuubi1/kyuubiApache Kyuubi 是一个分布式多租户 SQL 网关你写普通 SQL它把查询交给 Spark、Flink 等引擎执行并管好资源隔离与会话复用。适合想让分析师直接用 JDBC 或 BI 工具查数仓、又不想每人各起一套引擎的团队平台管理员也能把它当现成的多租户接入层。Kyuubi 多租户 SQL 网关解决什么问题数仓服务全团队时常见两个疼每人自己起 Spark资源互相抢共用一套服务一个重查询拖慢所有人权限还分不开。Kyuubi 在中间加了一层客户端走标准 JDBC/Thrift 接口服务器为连接分配后端引擎也就是真正执行查询的进程同一用户复用同一引擎不同用户互不干扰。说白了你只需会 SQL不用懂 Spark。三分钟把 Kyuubi 跑起来 官方文档说 3~5 分钟能通装好 Spark 3.x 发行版把JAVA_HOME和SPARK_HOME写进conf/kyuubi-env.sh在 Kyuubi 根目录执行bin/kyuubi start用自带 beeline 客户端连接bin/kyuubi-beeline -u jdbc:kyuubi://localhost:10009/ -n apache接着跑SHOW DATABASES就能出结果。第一次连接会触发引擎启动第二次快很多。完整步骤见 docs/quick_start/。Kyuubi 引擎怎么分配给用户新连接能否复用已有引擎由引擎共享级别决定CONNECTION每个会话独占一个引擎隔离最强适合大 ETLUSER默认每个用户一个引擎日常即席查询最常用GROUP / SERVER按用户组或整集群共享利用率最高、隔离最弱。换句话说这是在隔离度和资源复用之间做取舍。引擎也不是拉起就白占资源空闲超时的引擎会自我终止默认 30 分钟把资源还给集群。参数细节见引擎共享级别和引擎生命周期。用 Kyuubi 控制台看引擎再连上 DBeaver ️服务器起来后打开本地 Web 控制台每个引擎实例和会话状态一目了然排查查询变慢很省事。也不必只用 beelineDBeaver、Hue 这类工具把它当普通数据库连即可JDBC URL 填jdbc:kyuubi://主机:10009用户名密码照旧。各客户端的具体配置参考 docs/client/。几个踩坑提醒 ⚠️Kyuubi 按 Spark 3 Scala 2.12 编译用 Spark 2 或其他 Scala 版本大概率抛运行时异常关闭连接不等于引擎马上退出它按共享级别和空闲超时存活连不上时先看logs/kyuubi-*.out里输出的 JDBC 连接串端口以那里为准多用户上生产记得配套认证与授权见 docs/security/。现在就打开 docs/quick_start/ 按三步走第一个该跑的命令是bin/kyuubi start想弄清会话、引擎和服务发现怎么协作再读架构章节。【免费下载链接】kyuubiApache Kyuubi is a distributed and multi-tenant gateway to provide serverless SQL on data warehouses and lakehouses.项目地址: https://gitcode.com/gh_mirrors/kyuubi1/kyuubi创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表