-
-
dremio 20 发布 - 荣锋亮
dremio 20 已经发布了，特性挺多，包含了安全的，性能提升的，以及功能增强以下主要说明一些对于私有部署比较有意义的 不兼容变动 logback.xml 的变动，审计日志影响比较大 新特性 审计日志（更加完善了，包含用户id，用户名，操作，sql，类型。。。。） NDV 拆分 目前数据预览特性， -
使用juicefs 做为dremio 的分布式存储 - 荣锋亮
dremio 包含了一个分布式存储的配置（默认使用本地存储），分布式存储在一些数据查询中是比较重要的比如iceberg 的支持 参考使用图 说明 我们基于juicefs 进行s3 的挂载处理，可以明显的提升s3 的性能，此处我们可以使用hdfs 或者直接挂载的模式 参考资料 https://docs -
Dremio | SQL Lakehouse Platform for High-Performance BI
Dremio is a SQL lakehouse platform that enables high-performing BI and analytics directly on data lake storage. Get started with Dremio today. -
Columnar Databases and Vectorization
In this article, author Siddharth Teotia discusses the Dremio database which is based on Apache Arrow with vectorization capabilities. -
基于dremio+oceanbase+cube.js 数据服务开发 - 荣锋亮
主要是一个集成尝试参考图如下： 说明：可以直接基于dremio （vds），或者直接使用oceanbase 的（olap，oltp）能力进行数据服务提供（多租户）同时我们也可以利用其他批处理或者cdc以及stream 模式集成外部数据进行服务开发，直接基于oceanbase 的好处是多租户能力，以及 -
dremio mysql arp 扩展 - 荣锋亮
开发此arp 扩展的目的是增强dremio 对于类mysql 数据库的兼容（比如oceanbase。。。doris 暂时还没测试） 因为默认官方的是基于maridb的（对于类mysql db 兼容有点问题） 参考代码 核心是arp conf 调整了支持使用mysql jdbc，默认使用了maridb -
apache kyuubi + dremio 集成试用 - 荣锋亮
主要是一个玩法的集成，使用apache kyuubi 简化spark 的使用，而且如果我们集成数据库存储格式也是很方便的（感谢网易做出的贡献） 参考图 简单说明： 我们直接基于apache kyuubi 进行delta lake 的操作，数据存储到minio s3 中，然后使用dremio 强大的能 -
使用jproflier 分析dremio - 荣锋亮
主要是测试，jprofiler 是收费的软件（可以自己购买），测试环境基于docker 运行 dockerfile FROM dremio/dremio-oss:19.0 USER root COPY dremio-env /opt/dremio/conf/dremio-env COPY jprof -
dremio rbac 功能简单说明一 - 荣锋亮
dremio rbac 功能是企业版的特性，但是如果我们想自己扩展dremio 的权限模式社区版也是可以支持的只是我们需要自己扩展设计(还是有难度的)，推荐还是阅读下，这样如果自己需要扩展dremio 权限的话才能设计的比较完备，后续会进行详细说明的 参考资料 https://docs.dremio -
dremio 19.0 几个扩展包说明 - 荣锋亮
主要还是以前bug修复的，已经更新到最新19.0 版本了，附带下github 地址 prometheus https://github.com/rongfengliang/dremio-promtheus-exporter mssql https://github.com/rongfengliang -
dremio 实现类似官方create user sql 处理的思路 - 荣锋亮
主要说明思路，后边有时间了会进行开发的说明 官方特性说明 sabot/kernel/src/main/java/com/dremio/exec/planner/sql/parser/SqlCreateUser.java public class SqlCreateUser extends SqlCa -
dremio 19.0 创建用户bug说明 - 荣锋亮
最近dremio 发布了19.0 体验了下还是不错的，但是也发现了一些bug 总的来说官方以前的一些bug 是解决了而且上次介绍到的一些功能的确是方便很多了 用户创建bug问题 现象 问题 按照目前玩法，因为创建用户已经是一个企业特性了，而且官方文档也说明 解决方法 当前来说并不是没有解决方法，官方 -
dremio 19.0 新特性 - 荣锋亮
新特性 apache iceberg hive table 支持 新的导航页面 pivot 以及unpivot 操作支持 移除混合类型支持 新job ui 做为默认 其他bug修复 ui 分钟级别的反射可以直接通过配置使用了（以前是需要修改代码。。。。） 移除了依赖arp 扩展的支持（所以以前开发的 -
dremio 开启新job ui 的开关 - 荣锋亮
参考配置 dremio.jobs.new.ui 效果 说明 目前的测试官方18.1 分钟级别的元数据刷新也是支持了 参考资料 https://docs.dremio.com/advanced-administration/support-settings/
