Elastic实战:logstash将kafka数据同步到es时,如何将字符串型时间字段转换为时间戳

举报
wu@55555 发表于 2022/11/24 23:10:19 2022/11/24
【摘要】 今天群里有同学问如何将字符串型的时间字段转换为long类型的时间戳。特记录下供后续参考。 原问题:> 我接收数据方传过来的数据,其中有个时间类型是字符串类型,格式为:yyyy-MM-dd hh:mm:ss,我需要转成时间戳保存,我按照网上的方法试了好多种都无法成功转换。 > 数据方把数据发到kafka,我用logstash读kafka,经过处理存到es

0. 引言

今天群里有同学问如何将字符串型的时间字段转换为long类型的时间戳。特记录下供后续参考。
原问题:

我接收数据方传过来的数据,其中有个时间类型是字符串类型,格式为:yyyy-MM-dd hh:mm:ss,我需要转成时间戳保存,我按照网上的方法试了好多种都无法成功转换。
数据方把数据发到kafka,我用logstash读kafka,经过处理存到es

1. 思路

看到这个问题,首先的反应过来的是这是一个数据入库前的处理需求,所以很明显我们可以借助es的pipeline来解决这个问题。

但核心的问题在于字符串转时间,然后获取时间的时间戳,pipeline默认是使用painless语法的,那就要去painless官方文档看看时间转换的方法了。

2. 解决

1、因为painless是类java语法的,所以我的第一反应是看看这个需求用java如何书写
java实现如下

SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
long timestamp = sdf.parse("2021-01-11 00:00:00").getTime();

2、下面到painless官方文档中找找是否有SimpleDateFormat类
直接在share-api页面查找SimpleDateFormat

发现是有这个类的,并且也有parse方法
SimpleDateFormat
在这里插入图片描述
3、同时再看看Date类,很容易也找到了getTime方法
Date
在这里插入图片描述
4、于是我们就可以书写pipeline了

PUT _ingest/pipeline/string_to_datelong
{
  "description": "",
  "processors": [
    {
      "script": {
        "lang": "painless",
        "source": """
          SimpleDateFormat sdf = new SimpleDateFormat('yyyy-MM-dd HH:mm:ss');
         ctx.date_long = sdf.parse(ctx.date).getTime(); 
        """
      }
    }
  ]
}

5、在索引中引用pipeline

PUT date_index
{
  "mappings": {
    "properties": {
      "date": {
        "type": "keyword"
      },
      "date_long": {
        "type": "long"
      }
    }
  },
  "settings": {
    "default_pipeline": "string_to_datelong"
  }
}

6、插入一条数据,看看效果

PUT date_index/_doc/1
{
  "date": "2021-01-01 00:00:00"
}

7、可以看到成功转换为时间戳,问题解决

GET date_index/_search

在这里插入图片描述

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。