Apache Doris 3.0.6 版本正式发布
【摘要】 亲爱的社区小伙伴们,Apache Doris 3.0.6 版本已正式发布。 该版本进一步提升了系统的性能及稳定性,欢迎大家下载体验。行为变更禁止 Unique 表使用时序 Compaction存算分离场景下 Auto Bucket 单分桶容量调整为 10GB新特性Lakehouse支持访问 AWS S3 Table Buckets 中的 Iceberg 表格式详情请参考文档:Iceberg ...
亲爱的社区小伙伴们,Apache Doris 3.0.6 版本已正式发布。 该版本进一步提升了系统的性能及稳定性,欢迎大家下载体验。
行为变更
- 禁止 Unique 表使用时序 Compaction
- 存算分离场景下 Auto Bucket 单分桶容量调整为 10GB
新特性
Lakehouse
- 支持访问 AWS S3 Table Buckets 中的 Iceberg 表格式详情请参考文档:Iceberg on S3 Tables
存储
- 对象存储访问支持 IAM Role 授权 适用于导入 / 导出、备份恢复及存算分离场景 详情请参考文档
新增函数
- json_extract_no_quotes
- unhex_null
- xpath_string
- str_to_map
- months_between
- next_day
- format_round
改进
导入
- 引入黑名单机制:避免 Routine Load 将元信息分发至不可用 BE 节点
- 提高负载优先级阈值:load_task_high_priority_threshold_second 默认值增大
主键模型
- 减少冗余日志输出
存储优化
- 精简 Compaction Profile 及日志
- 优化调度策略提升 Compaction 吞吐量
存算分离
- 启动优化:加速 File Cache 初始化
- 查询加速:优化 File Cache 查询性能
- 元数据获取优化:解决 get_version 导致的性能瓶颈
- 对象回收加速:提升存算分离模式垃圾回收效率
- 稳定性提升:优化对象存储重试策略
- Profile 细化:增强 Tablet/Segment Footer 维度统计
- Schema Change 容错:默认启用 New Tablet Compaction 规避 -230 错误
Lakehouse
01 Catalog 增强
- Hive Catalog 支持分区缓存 TTL 控制(partition.cache.ttl-second) 详情参考文档:元数据缓存
- 支持 Hive 表 skip.header.line.count 属性
- 兼容 org.openx.data.jsonserde.JsonSerDe 格式的 Hive 表 详情参考文档:文本格式
- Paimon 版本升级至 1.0.1
- Iceberg 版本升级至 1.6.1
02 功能扩展
- 支持阿里云 OSS-HDFS Root Policy 功能
- 方言兼容:返回 Hive 格式查询结果 详情参考文档:SQL 转换器
异步物化视图
- 内存优化:降低透明改写内存占用
查询优化器
- 分桶剪枝性能提升
- Lambda 表达式增强:支持引用闭包外部 Slot
查询执行
- TopN 查询加速:优化存算分离场景性能
- 函数扩展:substring_index 支持变量参数
- 地理信息函数:新增 ST_CONTAINS/ST_INTERSECTS/ST_TOUCHES/ST_DISJOINT
核心组件
- 内存追踪优化:高并发场景性能提升约 10%
- 审计日志增强:通过 audit_plugin_max_insert_stmt_length 限制 INSERT 语句长度 详情请参考文档:审计插件
- SQL 转换器控制:新增会话变量 sql_convertor_config 和 enable_sql_convertor_features详情请参考文档:SQL 转换器
缺陷修复
导入
- 修复 BE 事务清理失败问题
- 优化 Routine Load 任务报错准确性
- 禁止向 disable_load=true 节点分发元信息任务
- 修复 FE 重启后消费进度回退
- 修复 Group Commit 与 Schema Change 冲突导致的 Core Dump
- 解决 S3 Load 使用 HTTPS 协议报错
主键模型
- 修复竞争导致的主键重复问题
存储
- 解决 CCR 与磁盘均衡竞争
- 修复默认分区 Key 未持久化问题
- CCR 支持 Rollup 表
- 修复 cooldown_ttl=0 边界问题
- 解决数据 GC 与 Publish 竞争导致数据丢失
- 修复 Delete Job 分区剪枝失效
存算分离
- 修复 Schema Change 阻塞 Compaction
- 解决 storage_vault_prefix 为空时对象回收失败
- 修复 Tablet Cache 导致的查询性能问题
- 消除残留 Tablet Cache 引起的性能抖动
Lakehouse
01 Export 修复
- 解决 FE 内存泄漏
- 避免 FE 死锁
02 Catalog 修复
- JDBC Catalog 支持组合条件下推
- 修复阿里云 OSS Paimon 表 Deletion Vector 读取
- 支持含逗号的 Hive 表分区值
- 修正 MaxCompute Timestamp 列类型解析
- Trino Catalog 支持显示 information_schema 系统表
03 文件格式
- 修复 LZO 压缩格式读取失败
- 兼容旧版 ORC 文件
- 修正 ORC 复杂类型解析错误
异步物化视图
- 修复同时指定 start time 与立即触发模式时的少刷新问题
查询优化器
- 修复 Lambda 表达式改写错误
- 解决 Group By 常量键规划失败
- 修正常量折叠逻辑
- 补全系统表信息
- 修复 NULL Literal 创建 View 的列类型错误
查询执行
- 解决 JSON 导入非法值导致 BE Core
- 修复 Intersect 输入 NULL 常量结果错误
- 修正 Variant 类型谓词错误执行
- 修复 get_json_string JSON Path 非法时的结果错误
- 对齐 MySQL 函数行为(JSON_REPLACE/INSERT/SET/ARRAY)
- 解决 array_map 空参数 Core
- 修复 Variant 转 JSONB 异常 Core
- 修复 explode_json_array_json_outer 函数缺失
- 对齐 percentile 与 percentile_array 结果
- 优化 UTF8 编码函数行为(url_encode/strright/append_trail_char_if_absent)
其他
- 修复高并发下审计日志丢失
- 解决动态分区建表导致元数据回放失败
- 避免 Global UDF 重启丢失
- 对齐 MySQL View 元数据返回格式
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)