一、 背景

云眼系统Cloudeye服务为我们提供了针对弹性云服务器、宽带等资源的立体化监控平台。帮助我们全面了解华为云上的资源使用情况、业务的运行状况。将华为云Cloudeye服务接入 prometheus后，可以利用 Prometheus生态更好地监控和分析来自 Cloudeye服务的数据。

二、 简介

通过使用cloudeye-exporter，将华为云Cloudeye服务与华为云CCE集群(Kubernetes集群)中的Prometheus容器进行对接。继而使用Prometheus系统对云上资源的性能数据进行运维监控。
注意：该exporter仅适用于华为云局点。

三、实践演示

Prometheus将会以operator形式部署在kubernetes集群当中。所以也需要制作cloudeye-exporter容器镜像，然后容器化部署在kubernetes集群中。

3.1 获取cloudeye-exporter安装包

1. 下载最新版本的cloudeye-exporter
   查看插件Releases版本 (https://github.com/huaweicloud/cloudeye-exporter/releases) ，获取cloudeye-exporter下载地址，下载解压安装。
   mkdir cloudeye-exporter & cd cloudeye-exporter
wget https://github.com/huaweicloud/cloudeye-exporter/releases/download/v2.0.6/cloudeye-exporter.v2.0.6.tar.gz
2. 解压
   tar -xzvf cloudeye-exporter.v2.0.6.tar.gz
   

3.2 制作容器镜像

1. 需要编写Dockerfile文件 这里使用centos用作基础镜像

   FROM centos  
   COPY cloudeye-exporter logs.yml metric.yml /root/
   WORKDIR /root
   CMD ["/root/cloudeye-exporter"]
   

2. 构建容器镜像
   docker build -t swr.cn-north-4.myhuaweicloud.com/k8s-solution/cloudeye-exporter:v2.0.6 --platform=linux/amd64 .
   

3. 推送至镜像仓库
   建议使用华为云SWR镜像仓库

3.3 配置cloudeye-exporter的访问鉴权

1. 编辑clouds.yml文件配置公有云信息
   cloudeye-exporter 启动时需要使用该配置文件进行云服务的访问鉴权

   global:
     port: ":8087" # 监听端口 :8087代表在全部网络接口上开启监听8087端口，限定内部访问也可以指定IP例如：192.168.1.100:8087
     scrape_batch_size: 300
   auth:
     auth_url: "https://iam.cn-north-4.myhuaweicloud.com/v3"
     project_name: "cn-north-4" # 华为云项目名称，可以在“华为云->统一身份认证服务->项目”中查看
     access_key: "" # IAM用户访问密钥
     secret_key: ""
     region: "cn-north-4" # 区域ID
   

2. 基于该配置文件创建kubernetes secrets
   kubectl create secret generic clouds-exporter --from-file=clouds.yml -n monitoring
   容器化部署需要将该配置以secrets形式挂载给cloudeye-exporter

3.4 CCE集群(k8s集群)部署cloudeye-exporter

1. 首先部署负载和service

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: cloudeye-exporter
     namespace: monitoring
     labels:
       app: cloudeye-exporter
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: cloudeye-exporter
     template:
       metadata:
         labels:
           app: cloudeye-exporter
       spec:
         volumes:
           - name: cloudeye
             secret:
               secretName: clouds-exporter
         imagePullSecrets:
           - name: default-secret
         containers:
         - name: cloudeye-exporter
           image: swr.cn-north-4.myhuaweicloud.com/k8s-solution/cloudeye-exporter:v2.0.6
           ports:
             - containerPort: 8087
           resources:
             limits:
               cpu: 500m
               memory: 1Gi
             requests:
               cpu: 100m
               memory: 500Mi
           volumeMounts:
             - name: cloudeye
               mountPath: "/root/clouds.yml"
               subPath: clouds.yml
   
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: cloudeye-exporter
     namespace: monitoring
     labels: 
       app: cloudeye-exporter
   spec:
     selector:
       app: cloudeye-exporter
     ports:
     - name: ces
       targetPort: 8087  #业务监听端口
       port: 8087
       protocol: TCP
     type: ClusterIP
   
   

2. 确认是cloudeye-exporter否暴露指标
   部署成功，查看Pod信息。访问pod指标端点，确认指标源是否能暴露指标。
   curl http://podIP:8087/metrics?services='SYS.VPC'
   
   cloudeye-exporter Pod实例作为Prometheus抓取指标的源端，可以暴露监控数据。

   查看Service，确认访问Service能否获取数据
   

3. 注意
   需要注意: 由于cloudeye-exporter需要访问公网端点: iam.huaweicloud.com。如果您使用的kuberntes平台是CCE turbo集群，需要对容器网段配置公网snat。否则指标数据抓取会失败。

3.5 Prometheus对接cloudeye-exporter获取指标

修改prometheus中的prometheus.yml文件配置。由于现在k8s集群中都会采用prometheus-operator形态部署Prometheus。所以我们需要编写ServiceMonitor进行指标的获取。

1. 以监控华为云VPC,ELB服务为例
   抓取规则cloudeye-exporter-servicemonitor.yaml 如下:

   apiVersion: monitoring.coreos.com/v1
   kind: ServiceMonitor
   metadata: 
     name: cloudeye-exporter
     namespace: monitoring 
     labels:
       app: cloudeye-exporter
   spec:
     endpoints:
       - interval: 1m
         scrapeTimeout: 1m
         port: ces
         scheme: http
         params:
           services: ['SYS.VPC,SYS.ELB']
     namespaceSelector:
       matchNames:
       - monitoring
     selector:
       matchLabels:
         app: cloudeye-exporter
   

2. 将上述抓取规则于集群中创建。等待片刻可观察到Prometheus已经成功抓取
   
   

3. 至此，cloudeye-exporter成功接入Prometheus。

3.6 接入Grafana大盘

华为云社区提供了若干个云服务现成的dashborad。我们可以拿来使用。
https://github.com/huaweicloud/cloudeye-exporter/tree/v2.0.6/grafana_dashboard/templates
例如: 使用VPC云服务的dashboard。

1. 将该dashboard的json文件上传到grafana中
   
   选择好数据源后，点击导入即可。

2. 发现异常
   会发现dashboard并未产生数据
   

3. 解决方式
   根据华为云社区声明: 如果需要直接使用以下模板，需要修改prometheus配置，增加获取企业项目信息的任务。所以我们还需要修改servicemonitor，在原来cloudeye-exporter-servicemonitor的基础上增加一项配置

   apiVersion: monitoring.coreos.com/v1
   kind: ServiceMonitor
   metadata: 
     name: cloudeye-exporter
     namespace: monitoring 
     labels:
       app: cloudeye-exporter
   spec:
     endpoints:
       - interval: 1m
         scrapeTimeout: 1m
         port: ces
         scheme: http
         params:
           services: ['SYS.VPC,SYS.ELB']
       # 配置该任务获取企业项目信息，用于华为云云服务的dashboard
       - interval: 1m
         scrapeTimeout: 1m
         port: ces
         path: "/eps-info"
         scheme: http
     namespaceSelector:
       matchNames:
       - monitoring
     selector:
       matchLabels:
         app: cloudeye-exporter      
   

   在集群中将上述指标抓取规则更新后，等待片刻后。

4. 前往Prometheus页面可查看到，新的抓取任务已成功运行
   
   

5. 再次观察Grafana
   此时再前往Grafana前端查看dashboard: 华为云VPC云服务dashboard已成功展示
   

6. 导入ELB grafana dashboard
   
   华为云ELB监控信息也成功展示

四 、延伸扩展

目前已支持的Grafana Dashboard有:

• 云搜索服务 CSS
• 云专线 DCAAS
• 分布式缓存服务 DCS
• 弹性云服务器 ECS
• 弹性负载均衡 ELB
• 关系型数据库 RDS
• Web应用防火墙 WAF
• 弹性公网IP和带宽 VPC