kafka connect基本概念、部署

Kafka connect：

一、是一个可以在kafka和其它数据系统中进行数据传输的工具，一般用于增量数据迁移或者导出导入数据到目标地址。

二、基本概念：

1）Connector：

有两种类型的connector，分别是sourceConnector和sinkConnector，其基类都是Connector：

sourceConnector：数据导入kafka集群功能；

sinkConnector：把数据导出kafka集群。

2）Task：

   是具体迁移数据的实现，也有两种类型的Task：

sourceTask：主要是不断地读取源文件/数据库中的变更数据，写入kafka集群，期间需要维护kafka相关的生产者偏移量信息；

sinkTask：主要是不断地读取kafka中的数据，写入目标地址，期间也需要维护kafka相关的消费者偏移量信息；

3）Worker：

可以理解为运行任务的进程，协调各个Connector的工作。

三：部署:

   下面只讲单机部署的步骤，主要是配置好相关的配置文件，例如zookeeper、kafka、connect-source\connect-sink文件：

   1）、下载kafka安装包（https://kafka.apache.org/downloads），解压并放在服务器某个目录上： 

   2）、配置相关文件，在kafka/config目录（以oracle为例）：

3）、启动zookeeper：

  bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4）、配置并启动kafka：

  bin/kafka-server-start.sh -daemon config/server.properties

5）、启动kafka connect：

     bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties