作者小头像 Lv.3
更多个人资料
185 成长值
0 关注
0 粉丝
+ 关注 私信

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

IoT、数据库、大数据
个人勋章
TA还没获得勋章~
成长雷达
170
15
0
0
0

个人资料

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

IoT、数据库、大数据

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
全部时间
全部时间
最近三天
最近一周
最近一月
  • 全部
  • 工业IoT
  • 大数据
Doris Stream Load 超时后，为什么不能立刻换 label 重试
某制造企业每天把设备产量文件导入 Doris。一次网络抖动后，调度器认为导入失败，生成新 label 重试，结果同一批数据出现两份。排查发现，第一次请求已经提交，只是客户端没有及时拿到结果。对于允许重复行的目标表，这种“补偿”本身就是重复数据的来源。 把三个成功条件拆开本文依据 Doris 2.1 的 Stream Load 官方文档。需要分别观察网络请求是否完成、导入事务是否成功、数据是否...
作者小头像 luckyz 2026-11-13 11:57:09
0
0
0
2026-11-13 11:57:09
0
0
0
字段存在却仍然报空值：把数据标准落成 JSON Schema 契约
某制造企业接入设备台账，接口文档写着“设备编码必填，安装位置可空”。上线后，下游却同时收到字段缺失、显式 null 和空字符串。三种输入进入同一清洗分支，最后都变成“未知”，无法判断究竟是设备尚未安装，还是采集程序漏传字段。这个场景中的数据均为构造样例，问题来自契约没有区分存在性与取值范围。 先把争议变成四条样本我会先要求生产方和消费方共同确认四条输入的预期，而不是继续修改文字说明。设备编码...
JSON
作者小头像 luckyz 2026-11-12 09:02:59
2
0
0
2026-11-12 09:02:59
2
0
0
Hive 动态分区一次写了上千个分区就报错
某制造企业数仓里有一张设备运行记录明细表，按天分区，每天凌晨跑增量写入一直很稳。上周业务方要求回补过去一个月的历史数据，开发同学把日期范围一放宽，改成一次 INSERT 写 30 天的分区，结果作业跑了十几分钟后直接失败，日志里只有一行看着很陌生的报错：org.apache.hadoop.hive.ql.metadata.HiveFatalException: [Error 20004]:F...
Hive SQL
作者小头像 luckyz 2026-11-11 09:13:03
13
0
0
2026-11-11 09:13:03
13
0
0
DataX 一条脏数据拖垮整表同步：errorLimit 的 record 0 和 percentage 0.02 先改掉
某制造企业的数仓每天凌晨用 DataX 把业务库的订单明细同步到 Hive，跑了两个多月一直正常。某天凌晨，任务跑到 99% 突然失败，调度系统重试一次还是失败，值班同学只能手动重跑整表，报表晚了两个小时才出来。查日志，原因一句话就能说清：源表里混进了一条脏数据，金额字段里出现了一个空字符串，写目标表时类型转换失败。几十万条里就这一条有问题，可 DataX 的处理方式是：整单任务直接报错退出...
SQL
作者小头像 luckyz 2026-11-10 10:11:35
16
0
0
2026-11-10 10:11:35
16
0
0
Spark 作业堆内存没满，执行器却被 YARN 杀掉：先看 memoryOverhead 这 10%
某制造企业的夜间离线作业跑在 YARN 上，每天凌晨把当天的订单与生产数据做一次宽表关联。作业跑了两个多月一直正常，某天数据量涨了三成之后，开始隔三岔五失败。Spark 界面里看，失败任务的堆内存用得并不满，GC 也没有长时间停顿，可驱动器日志里反复出现同一行：ExecutorLostFailure (executor 7 exited caused by one of the runnin...
spark Yarn 容器
作者小头像 luckyz 2026-11-09 11:19:31
33
0
0
2026-11-09 11:19:31
33
0
0
Paimon 主键表写入变慢：两个默认参数先把写入顶停了
某制造企业的设备状态数据走 CDC 实时同步到 Paimon 主键表，底下是对象存储。表刚建好的头两周一切正常，写入延迟稳定在秒级；第三周开始，Flink 作业的写入吞吐隔一阵就掉到接近 0，持续几十秒后又恢复，检查点耗时也跟着上下抖动。日志里没有报错，没有异常堆栈，只有一条看着像正常现象的记录：写入任务周期性地停下来等合并。这不是流量问题，而是 Paimon 主键表的合并机制在按默认值工作...
对象存储服务 OBS
作者小头像 luckyz 2026-11-08 17:05:38
33
0
0
2026-11-08 17:05:38
33
0
0
Paimon 主键表在 S3 上越写越碎：先把 compaction 的默认 5 看懂
某制造企业的订单明细实时入湖：Flink 从业务库接 CDC 数据，写进 Paimon 主键表，数据存在 S3 上，按天分区。上线头两周一切正常，第三周开始，下游的日报查询从几分钟拖到几十分钟，单个分区在 S3 上的文件数从几百涨到了上万。第一反应往往是“S3 读得慢”，但这次问题不在存储，在写入侧：文件碎了。定性的方法很直接：拿同一个表的新分区和老分区对比。先数文件，再跑同一条查询——如果...
Flink
作者小头像 luckyz 2026-11-07 10:34:34
49
0
0
2026-11-07 10:34:34
49
0
0
DataX 同步一张大表特别慢：channel 配到 8 也没用，先看 splitPk 和 batchSize
某制造企业每天凌晨用 DataX 把 MySQL 里的设备台账表同步到数仓，表里 800 多万行。最开始 channel 配的是 1，跑了 40 多分钟；有人把 channel 改成 8，以为能快 8 倍，结果耗时几乎没变，日志里的记录写入速度一直卡在 18 万条/秒上下。遇到这种情况，先别急着加机器、加通道，问题大概率出在两个地方：读端没切分，写端批量太小。 一、channel 再多，也超...
SQL
作者小头像 luckyz 2026-11-06 09:48:10
54
0
0
2026-11-06 09:48:10
54
0
0
Spark 汇总作业越跑越碎：先把 shuffle 分区数从默认 200 改对
某制造企业的日终汇总作业最近越跑越不对劲：数据量没有明显增长，跑批时间却从十几分钟拖到半小时以上，下游一查输出目录，几百个几十 KB 的小文件躺在那里。开发第一反应是加资源、加并行度，结果越调越慢。真正的问题不在资源上，而在一个几乎没人动过的默认值上：Spark SQL 的 shuffle 分区数。 默认 200 分区，对谁都一样只要 SQL 里出现聚合、去重或者 Join，Spark 就会...
spark
作者小头像 luckyz 2026-11-05 10:23:51
52
0
0
2026-11-05 10:23:51
52
0
0
Doris 写入报 -235：别急着调大版本上限，先把高频小导入合并掉
某制造企业的设备状态明细表刚上线时跑得很顺，上线第三周开始，写入端隔三差五收到失败返回，BE 日志里出现这样一行报错：[E-235] Failed to init rowset builder官方导入 FAQ 对这个报错的解释很直接：导入频率太高，数据还没来得及被合并，单个 tablet 的版本数就超出了上限。也就是说，问题不是某一批数据写坏了，而是写入的节奏把存储层拖垮了。这篇文章就讲清楚...
作者小头像 luckyz 2026-11-04 18:22:04
64
0
0
2026-11-04 18:22:04
64
0
0
总条数：17
10
10
20
50
100
  • 1
  • 2

上滑加载中

https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注