作者小头像 Lv.2
更多个人资料
65 成长值
0 关注
1 粉丝
+ 关注 私信

个人介绍

CSDN万粉博主、专家、讲师，CSDN长沙代理人，百度长沙站长，腾讯博客专家等

感兴趣或擅长的领域

人工智能、大数据、数据库
个人勋章
TA还没获得勋章~
成长雷达
50
15
0
0
0

个人资料

个人介绍

CSDN万粉博主、专家、讲师，CSDN长沙代理人，百度长沙站长，腾讯博客专家等

感兴趣或擅长的领域

人工智能、大数据、数据库

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
全部时间
全部时间
最近三天
最近一周
最近一月
  • 全部
  • 暂无专栏分类
kettle开发篇-插入更新
前言：时间真快，转眼一年又从我们身边溜走了，从今天开始决定每天只讲一个知识点，将对应知识仔细解剖了，这样形成小颗粒的蛋白质，便于消费吸收，也便于自己的提高，一个东西你以为他懂，也只有你写出来，别人看懂了才是真的懂了。好了，废话不多说，上课。一、什么是插入更新插入更新的主要作用就是根据条件来检索数据，如果说相同更新记录，不相同增加记录。此时不懂的小明就会问了，里面的条件是指啥？是where条件...
作者小头像 他们叫我技术总监 2024-11-02 19:30:30
176
0
0
2024-11-02 19:30:30
176
0
0
kettle开发篇-执行SQ脚本避坑
前言：今天我们主要来捋一捋kettle中转换对象的执行顺序，按我们正常思维来说，对象总是从左至右执行，比如如下所示的，我们将表输入即读取数据，至表输入即写入数据。就是我们最常见的裁剪表。批量读取一定时间段的数据，进行全量更新，比如更新一天的数据、一个星期、一个月、一年等等。一、转换效率对比从前言中，我们得知，我们日常用的最多的就是使用裁剪表，但是裁剪表有个缺点就是会将输出表中的数据先全部清空...
作者小头像 他们叫我技术总监 2024-11-02 19:28:09
185
0
0
2024-11-02 19:28:09
185
0
0
kettle开发篇-读取CSV文件
前言：现在很多系统没有存储到数据库中，比如实验室的检测设备、近红外、粒度分析仪等，但是这些数据对企业产品质量的评估有不可或缺的影响。通常这些数据只能通过导出为CSV格式的文件存储起来，由于CSV文件本身的行数限制和性能达不到数据分析的要求，因此需要我们将CSV文件的数据存储至数据库里面。本文介绍通过kettle来存储CSV的文件的数据，并在入库前将异常数据进行清洗。一、什么是CSV文件CSV...
数据库
作者小头像 他们叫我技术总监 2024-11-02 19:24:26
198
0
0
2024-11-02 19:24:26
198
0
0
kettle开发篇-批量迁移不同数据库数据
前言：随着企业的发展，和数据库的多种多样，在搭建项目之初，并没有详细考虑到数据库的建设，当增加配置不能满足业务场景需要时，这时候考虑到使用更高性能的数据库，如将sqlserver更换为oracle数据库。或者在搭建新项目时，需要复制原数据库的表结构和数据至其他数据库。怎么快速响应业务要求呢？第一种方案：在目标库使用SQL语句批量建表，然后去修改字段的类型，主键等等。然后通过应用程序将数据插入...
数据库 数据迁移
作者小头像 他们叫我技术总监 2024-11-02 19:21:09
762
0
0
2024-11-02 19:21:09
762
0
0
kettle开发-超好用自定义数据处理组件
前言：        上节我们讲到使用主键+索引的方式来处理数据的新增，但是对会对历史数据进行增删改的操作就不好处理了。因此我们需要一种区别于现有功能的高效历史数据DML的操作。目前kettle在处理数据方面，常用组件，分别为“表输入”、“表输出”、“插入更新”、“执行SQL脚本”、“Java 代码”、“JavaScript代码”等。其中“表输入”就是用于读取数据，就不做过多的阐述。今天主要...
作者小头像 他们叫我技术总监 2024-11-02 19:15:40
175
0
0
2024-11-02 19:15:40
175
0
0
kettle开发-超好用AI+算力组合-算力提升器
前言：        上一节我们提到采用标记新旧数据的数据状态来快速整理需对比的数据，再选择性插入更新来保证数据的完整性。强强联合，保证了数据的高效和可用。        但是日常中，也存在部分场景，我们表输入是没有唯一性主键的，我们无法判断哪些数据有更新和插入，但我们又不能用裁剪表来直接删除后再更新，这时候我们该如何是好。很多人会想到，那就提高算力，提高数据处理速度就好，在1秒时间内完成1...
作者小头像 他们叫我技术总监 2024-11-02 19:07:50
184
0
0
2024-11-02 19:07:50
184
0
0
kettle开发-AI分流之case/switch
前言：        前面我们讲到了很多关于数据流的AI方面的介绍，包括自定义组件和算力提升这块的，今天我们来学习一个关于kettle数据分流处理非常重要的组件Switch / Case 。当我们的数据来源于类似日志、csv文件等半结构化数据时，我们需要在数据流将类似空数据、不想要的数据进行分流加工时，我们应该怎么做呢？ 一、Switch / Case         1、组件介绍     ...
作者小头像 他们叫我技术总监 2024-11-02 19:05:36
170
0
0
2024-11-02 19:05:36
170
0
0
数据库number类型数据case when 比较时的，小心机
前言：        当我们因为前端老是改显示数据，而对应显示名称需要重新赋值，比如数据库表t1存了字段，ID，name其中ID是number类型的字段的。类似这样存储在数据表中。一、case when 字段重新赋值                其中t1是枚举表，为了规范显示名称，需要将显示值固定显示，因此使用case when 重新赋值。代码：select ID, SHOWVALUE,c...
数据库
作者小头像 他们叫我技术总监 2024-11-02 19:01:52
188
0
0
2024-11-02 19:01:52
188
0
0
oracle 正则表达式多项匹配时，相似项有优先级
前言：Oracle常用正则表达式函数主要以下5个：REGEXP_LIKE：与LIKE的功能相似；REGEXP_SUBSTR ：与SUBSTR的功能相似；REGEXP_INSTR ：与INSTR的功能相似；REGEXP_REPLACE ：与REPLACE的功能相似；REGEXP_COUNT ：与COUNT的功能相似；常用的正则表达式匹配符有以下运算符，本文重点来阐述“|”指定多个选项，容易被忽...
Oracle 正则表达式
作者小头像 他们叫我技术总监 2024-11-02 18:56:58
171
0
0
2024-11-02 18:56:58
171
0
0
全网最详细，从一堆字符串，精确抓取想要日期时间的实战2.0
全网最详细，从一堆字符串，精确抓取想要日期时间
正则表达式
作者小头像 他们叫我技术总监 2024-11-02 18:49:18
161
0
0
2024-11-02 18:49:18
161
0
0
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注