yum -y install kernel-tools

2）调整为性能模式

echo performance > /sys/devices/system/cpu/cpu${i}/cpufreq/scaling_governor

cpupower frequency-set -g performance

3）部分硬件可能不支持，调整会出现如下错误：

    
     
      
       
      
      
       
        [root@CENTOS7-1 ~]# cpupower frequency-set -g performance
       
      
     
      
       
      
      
       
        Setting cpu: 0
       
      
     
      
       
      
      
       
        Error setting new values. Common errors: 
       
      
     
      
       
      
      
       
        - Do you have proper administration rights? (super-user?) 
       
      
     
      
       
      
      
       
        - Is the governor you requested available and modprobed? 
       
      
     
      
       
      
      
       
        - Trying to set an invalid policy? 
       
      
     
      
       
      
      
       
        - Trying to set a specific frequency, but userspace governor is not available,
       
      
     
      
       
      
      
        for example because of hardware which cannot be set to a specific frequency 
       
      
     
      
       
      
      
       
        or because the userspace governor isn't loaded?
       
      
    

4、优化网络参数

vi /etc/sysctl.d/ceph.conf

配置内容：  

     
      
       
        
       
       
        
         net.ipv4.tcp_rmem = 4096 87380 16777216 
        
       
      
       
        
       
       
        
         net.ipv4.tcp_wmem = 4096 16384 16777216 
        
       
      
       
        
       
       
        
         net.core.rmem_max = 16777216 
        
       
      
       
        
       
       
        
         net.core.wmem_max = 16777216
        
       
     

执行生效：

sysctl -p /etc/sysctl.d/ceph.conf

二、Ceph集群优化配置

1、Ceph的主要配置参数

FILESTORE 配置参数：

journal 配置参数：

osd config tuning 配置参数：

osd - recovery tuning 配置参数：

osd - client tuning 配置参数：

2、优化配置示例 

三、调优最佳实践

1、MON建议

Ceph 集群的部署必须要正确规划， MON 性能对集群总体性能至关重要。 MON 通常应位于专用节点上。为确保正确仲裁，MON 的数量应当为奇数。

2、OSD建议

每一 个 Ceph OSD 都具有日志。 OSD 的日志和数据可能会放置于同一存储设备上。当写操作提交至 PG 中所有 OSD 的日志后，标志写操作已经完成。因此，更快的日志性能可以改进响应时间。

在典型的部署中， OSD 使用延迟较高的传统机械硬盘。为最大化效率， Ceph 建议将单独的低延迟SSD 或 NVMe 设备用于 OSD 日志。 管理员必须谨慎，不可将过多 OSD 日志放在同一设备上，因为这可能会成为性能瓶颈。应考虑以下SSD 规格的影响：

• 受支持写入次数的平均故障间隔时间 (MTBF)
• IOPS 能力 (Input/Output Operations Per Second)，每秒的读写次数
• 数据传输速率
• 总线/SSD 耦合能力

Red Hat 建议每个 SATA SSD 设备不超过 6 个 OSD 日志，或者每个 NVMe 设备不超过 12 个 OSD日志。

3、RBD建议

RBD 块设备上的工作负载通常是 I/O 密集型负载，例如在 OpenStack 中虚拟机上运行的数据库。对于 RBD ， OSD 日志应当位于 SSD 或 NVMe 设备上。对于后端存储，可以根据用于支持 OSD 的存储技术（即 NVMe SSD 、 SATA SSD 或 HDD ），提供不同的服务级别。

4、对象网关建议

Ceph 对象网关上的工作负载通常是吞吐密集型负载。如果是音频和视频资料，可能会非常大。不过，bucket 索引池可能会显示更多的 I/O 密集型工作负载模式。管理员应当将这个池存储在 SSD设备上。

Ceph 对象网关为每个 bucket 维护一个索引， Ceph 将这一索引存储在一个 RADOS 对象中。当bucket 不断增长， 数量巨大时（超过 100,000 个），索引性能会降低（因为只有一个 RADOS 对象参与所有索引操作）。

为此， Ceph 可以在多个 RADOS 对象或者是分片 中保存大型索引。管理员可以通过在ceph.conf 配置文件中设置 rgw_override_bucket_index_max_shards 配置参数来启用这项功能。此参数的建议值是 bucket 中预计对象数量除以 100,000 。

5、CephFs建议

存放目录结构和其他索引的元数据池可能会成为 CephFS 的瓶颈。可以将 SSD 设备用于这个池。每一个CephFS 元数据服务器 (MDS) 会维护一个内存中缓存，用于索引节点等不同种类的项目。Ceph 使用 mds_cache_memory_limit 配置参数限制这一缓存的大小。其默认值以绝对字节数表示，等于 1 GB ，可以在需要时调优。

    
     
      
       
      
      
       
        ceph osd map cephfs_data test_ceph 
       
      
     
      
       
      
      
       
        ceph osd lspools 
       
      
     
      
       
      
      
       
        rados ls -p default.rgw.buckets.data
       
      
    

【与云原生的故事】有奖征文火热进行中：https://bbs.huaweicloud.com/blogs/345260