作者小头像 Lv.2
更多个人资料
73 成长值
0 关注
0 粉丝
+ 关注 私信

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

云计算、大数据、IOT、编程语言
个人勋章
TA还没获得勋章~
成长雷达
70
3
0
0
0

个人资料

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

云计算、大数据、IOT、编程语言

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
全部时间
全部时间
最近三天
最近一周
最近一月
  • 全部
  • 暂无专栏分类
DIS授权管理——通道授权说明
（1）授权指南:通过添加授权策略，可实现被授权的其他用户拥有DIS通道的上传和下载权限：（2）调用API： 上传数据：POST https://{endpoint}/v2/{project_id}/records{ "stream_name": "stream_test", "stream_id": "XXXXXXXXXXXXXXXX", //上传数据到被授权的通道时，必须配置...
数据接入服务 DIS
作者小头像 gaozhiliang 2020-10-28 17:22:18
9800
0
0
2020-10-28 17:22:18
999+
0
0
Dis-go-sdk使用样例
初始化客户端：disConf := models.DefaultDISClientConf() // 必选配置 disConf.AK = "YOUR_AK" // 用户Access Key ID，可在公有云“我的凭证”页面下载生成 disConf.SK = "YOUR_SK" ...
数据接入服务 DIS
作者小头像 gaozhiliang 2020-09-29 09:50:38
15456
0
0
2020-09-29 09:50:38
999+
0
0
kafka connect基本概念、部署
Kafka connect： 一、是一个可以在kafka和其它数据系统中进行数据传输的工具，一般用于增量数据迁移或者导出导入数据到目标地址。 二、基本概念： 1）Connector：有两种类型的connector，分别是sourceConnector和sinkConnector，其基类都是Connector：sourceConnector：数据导入kafka集群功能；sourceConnec...
Kafka
作者小头像 gaozhiliang 2020-08-25 09:53:11
10767
0
0
2020-08-25 09:53:11
999+
0
0
DIS Spark Streaming Plugins 常见客户问题
一、原理当前 Spark Streaming 插件使用的是类似于直接读取 Kafka 的方式来集成 DIS：Driver 使用subscribe方式订阅通道，然后根据 Executor 数量将通道分区分配给 Executor；Executor 使用assign方式消费通道数据并提交 Checkpoint二、FAQ2.1 如何控制 Spark Streaming 从 DIS 的消费速度？有关消...
spark 数据接入服务 DIS
作者小头像 gaozhiliang 2020-07-23 20:03:03
9795
0
0
2020-07-23 20:03:03
999+
0
0
GIT常用命令
专业术语Workspace：工作区Index/Stage：暂存区Repository：仓库区（本地仓库）Remote：远程仓库新建仓库在当前目录新建一个Git代码库shell$ git init下载一个项目和它的整个代码历史shell$ git clone [url]添加/删除文件添加指定文件到暂存区shell$ git add [file1] [file2] ...添加指定目录到暂存区，包...
Git
作者小头像 gaozhiliang 2020-07-23 19:54:51
8914
0
0
2020-07-23 19:54:51
999+
0
0
DIS Kafka Adapter 常见客户问题
1. Assign、Subscribe、Pattern 三种模式有什么区别？Assign模式 给Consumer手动分配分区，需要显式指定需要消费的分区。Subscribe模式 直接订阅通道，服务端直接完成分区分配。Pattern模式 也属于Subscribe模式，只不过是使用正则表达式的方式来订阅通道。2. DIS Consumer 如何指定线程数？props.setPrope...
数据接入服务 DIS Kafka
作者小头像 gaozhiliang 2020-06-22 11:04:16
9756
0
0
2020-06-22 11:04:16
999+
0
0
DIS Agent 常见客户问题
1. 如何判断是否有数据发送以下日志表示正在有数据发送到DIS：c.h.d.a.t.DISSender Put 1 records to [stz_test_agent] spend 1454ms 2. 数据是否可能出现重传和漏传单线程的情况下： 只可能出现重传。数据发送了，但是CheckPoint写成功之前进程挂了或者写失败了（比如磁盘满等），就有可能导致重传。多线程的情况下： 可...
数据接入服务 DIS 任务调度
作者小头像 gaozhiliang 2020-06-22 11:03:18
10085
0
0
2020-06-22 11:03:18
999+
0
0
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注