ceph rados命令使用

最近了解了rados命令的使用，感觉在对象操作这块还是非常实用。因为rados是属于底层存储核心，所以关于rados的命令针对对象的操作较多。
环境中执行 rados -h可以看到命令集分为几个大的模块：资源池、对象、以及一些全局选项 该命令用来做对象相关测试较为方便，可以操作单个对象，同时使用 rados bench命令进行集群io性能测试较多。本文不对 rados bench进行讲解，详细可以参考 io性能工具

当前rados命令是基于ceph 12.2.1 版本描述的，如过更高版本有更新的命令，欢迎大家补充。

Pool相关

• 显示资源池列表
  rados lspools
• 创建资源池
  rados mkpool pool1 auid rule_id

  rados mkpool pool1 12 2 #创建一个名称为pool1的资源池，执行该资源池的rule编号为2,用户编号为1 
  setting auid:12
  using crush rule 2
  successfully created pool test
  

• 资源池数据拷贝
  rados cppool pool1 pool2,将pool1的资源池数据拷贝到pool2的数据资源池
• 删除资源池
  rados rmpool pool1 pool1 --yes-i-really-really-mean-it
• 清除资源池数据
  rados purge pool1 --yes-i-really-really-mean-it
• 查看资源池信息
  rados df -p pool1 -p参数是指定具体资源池，如果不加，则显示所有

  [root@node1 ~]# rados df -p data
  POOL_NAME USED OBJECTS CLONES COPIES MISSING_ON_PRIMARY UNFOUND DEGRADED RD_OPS RD    WR_OPS  WR    
  data      662G   51636      0 619632                  0       0        0  48547 7745M 1653358 1274G total_objects    51883
  total_used       2195G
  total_avail      215T
  total_space      217T
  

• 列出资源池对象编号
  rados ls -p poo1，同样指定列出pool1资源池对象，否则列出所有

  [root@node1 ~]# rados ls -p data|less
  10000004481.00000002
  10000001b2f.00000000
  100000042f9.00000006
  10000004f62.00000001
  10000003e8c.00000003
  

• 修改资源池的用户编号，即auid
  rados chown auid

Object相关

• 获取对象内容get
rados -p data get 10000006b70.00000005 test.txt该命令需要指定资源池以及对象内容的输出文件,对象名称可以通过rados ls命令获取

  [root@node1 ~]# rados -p data get 10000006b70.00000005 test.txt
  [root@node1 ~]# cat test.txt  #该对象内容是一些时间戳
  161-20:45:49:35
  162-20:45:49:536
  163-20:45:50:53
  164-20:45:50:575
  165-20:45:51:83
  166-20:45:51:602
  167-20:45:52:114
  168-20:45:52:623
  169-20:45:53:129
  170-20:45:53:636
  171-20:45:54:150
  

• 将指定文件作为对象写入到资源池 put
rados -p test_rep_pool put obj_name test.txt将test.txt以obj_name为名称

  #写入之前的对象数data:
  pools:   2 pools, 256 pgs
  objects: 2 objects, 19B
  usage:   15.0GiB used, 96.4TiB / 96.4TiB avail
  pgs:     256 active+clean#写入之后的对象数
  data:
  pools:   2 pools, 256 pgs
  objects: 3 objects, 2.78MiB
  usage:   15.0GiB used, 96.4TiB / 96.4TiB avail
  pgs:     256 active+clean
  #查看对象列表如下
  [root@node1 ~]# rados -p test_rep_pool ls
  obj_name
  

  此外，该命令可以指定写入对象的偏移量，默认是从0开始，我可以指定具体的偏移量，单位为B
  rados -p test_rep_pool put obj_name test.txt --offset 1048576，我设置的是从起始地址偏移1M，执行结果如下

  data:
  pools:   2 pools, 256 pgs
  objects: 3 objects, 3.78MiB #本应该是2.78M,我偏移了1M开始写，现在变为3.78M  
  usage:   15.0GiB used, 96.4TiB / 96.4TiB avail
  pgs:     256 active+clean
  

  这个命令极大得方便我们去测试分析bluestore 的io流程

• 向指定对象追加内容append
rados -p test_rep_pool append obj_name ceph-osd.16.log

• 删除指定长度对象内容truncate
rados -p test_rep_pool truncate obj_name 524288 删除obj_name 对象512kb的容量

• 创建对象create
rados -p test_rep_pool create obj_name2这里是创建了一个空对象

  [root@node1 ~]# rados -p test_rep_pool ls
  obj_name2
  obj_name
  [root@node1 ~]# rados -p test_rep_pool stat obj_name2 #显示对象信息，包括所在资源池。修改修改时间，大小
  test_rep_pool/obj_name2 mtime 2019-05-10 21:12:40.000000, size 0
  

• 删除指定对象rm
rados -p test_rep_pool rm obj_name2 或者加--force-full时强制删除一个对象，不在乎对象此时状态

• 拷贝对象cp
rados -p test_rep_pool cp obj_name test_cp_obj

  [root@node1 ~]# rados -p test_rep_pool cp obj_name test_cp_obj
  [root@node1 ~]# rados -p test_rep_pool ls
  obj_name2
  test_cp_obj
  obj_name
  #查看这两个对象的信息，可以看到已经成功拷贝
  [root@node1 ~]# rados -p test_rep_pool stat obj_name 
  test_rep_pool/obj_name mtime 2019-05-10 21:08:49.000000, size 524288
  [root@node1 ~]# rados -p test_rep_pool stat test_cp_obj
  test_rep_pool/test_cp_obj mtime 2019-05-10 21:17:29.000000, size 524288
  

• 查看对象的属性 listxattr
rados -p data listxattr obj_name

• 获取对象指定属性getxattr
rados -p data getxattr obj_name attr

• 设置对象属性值setxattr
rados -p data setxattr obj_name attr val

• 删除对象指定属性rmxattr
rados -p data rmxattr obj_name attr

  #先设置对象属性值
  rados -p test_rep_pool setxattr obj_name test_attr true
  rados -p test_rep_pool setxattr obj_name test_attr2 false
  #列出对象属性值
  [root@node1 ~]# rados -p test_rep_pool listxattr obj_name
  test_attr
  test_attr2
  #获取对象指定属性值
  [root@node1 ~]# rados -p test_rep_pool getxattr obj_name test_attr
  true
  #删除test_attr属性,只剩下一个属性
  [root@node1 ~]# rados -p test_rep_pool rmxattr obj_name test_attr
  [root@node1 ~]# rados -p test_rep_pool listxattr obj_name
  test_attr2
  

  可以理解这几个命令可以为对象打标，来标记我们自己操作过的对象

• 查看对象信息
  rados -p test_rep_pool stat obj_name

  [root@node1 ~]# rados -p test_rep_pool stat obj_name
  test_rep_pool/obj_name mtime 2019-05-10 21:33:48.000000, size 524288
  

• 设置对象头部内容 setomapheader
[root@node1 ~]# rados -p test_rep_pool setomapheader obj_name 1

• 获取对象头部内容getomapheader
rados -p test_rep_pool getomapheader obj_name

  #设置对象头部信息为1
  [root@node1 ~]# rados -p test_rep_pool setomapheader obj_name 1
  #获取对象头部信息
  [root@node1 ~]# rados -p test_rep_pool getomapheader obj_name 
  header (1 bytes) :
  00000000  31                                                |1|
  00000001
  

• 设置对象的键值属性 setomapval
rados -p test_rep_pool setomapval obj_name key val

• 列出omap的键listomapkeys
rados -p test_rep_pool listomapkeys obj_name key val

• 列出omap的键listomapvals
rados -p test_rep_pool listomap obj_name keys

• 获取对象的指定键的值 getomap val
rados -p test_rep_pool getomapval obj_name key

• 删除对象的指定键和值 rmomapkey
rados -p test_rep_pool rmomapkey obj_name key

• 监控对象操作，并且向监控者发送消息 有点类似与局域网通信

  #终端一 :监听该对象
  [root@node1 ~]# rados -p test_rep_pool watch obj_name
  press enter to exit...#终端二：发送消息到终端一的该对象监听者
  [root@node1 ~]# rados -p test_rep_pool notify obj_name message
  reply client.86788 cookie 140047050446368 : 11 bytes
  00000000  07 00 00 00 6d 65 73 73  61 67 65                 |....message|
  0000000b#此时终端一接收到消息如下
  NOTIFY cookie 140047050446368 notify_id 940597837824 from 86797
  00000000  07 00 00 00 6d 65 73 73  61 67 65                 |....message|
  0000000b
  

• 查看有多少个对象监控者
  rados -p test_rep_pool listwatchers obj_name

  [root@node1 ~]# rados -p test_rep_pool listwatchers obj_name
  watcher=192.168.122.1:0/3015025283 client.86788 cookie=140047050446368
  

• 设置一个对象的大小以及写粒度，但是目前并未分析清除该设置所起的作用
  rados -p test_rep_pool set-alloc-hint 4194304 4194304大小为4M ,写粒度为4M

导出资源池数据

该命令方便数据备份

• 将资源池内容输出或者写入指定文件
  rados -p test_rep_pool export pool_content
  因为导出的文件为数据文件，所以查看内容需使用hexdum -C pool_content格式化输出或者使用vim进入一般模式输入:%!xxd 从而将该文件转换为16进制可读文件

   
  [root@node1 ~]# vim pool_content 
  0000000: ceff ceff 0200 0000 1200 0000 0a00 0000  ................
  0000010: 0101 0c00 0000 ceff 0a0a 0000 0000 0000  ................
  0000020: 0000 0101 0c00 0000 ceff 0303 2701 0000  ............'...
  0000030: 0000 0000 0301 2101 0000 0403 2a00 0000  ......!.....*...
  0000040: 0000 0000 0900 0000 6f62 6a5f 6e61 6d65  ........obj_name
  0000050: 32fe ffff ffff ffff ff00 0000 0000 0000  2...............
  ...
  00001b0: ec01 010c 0000 00ce ff04 0400 0000 0000  ................
  00001c0: 0000 0001 010c 0000 00ce ff03 0328 0100  .............(..
  00001d0: 0000 0000 0003 0122 0100 0004 032b 0000  .......".....+..
  00001e0: 0000 0000 000a 0000 006f 626a 5f63 7265  .........obj_cre
  00001f0: 6174 65fe ffff ffff ffff ff00 0000 0000  ate.............
  

• 将资源文件导入指定资源池
  rados -p test_rep_pool import pool_content
  导入之前，我们对以上资源池数据进行清除，操作如下

  [root@node1 ~]# rados purge test_rep_pool --yes-i-really-really-mean-it
  Warning: using slow linear search
  Removed 5 objects
  successfully purged pool test_rep_pool
  [root@node1 ~]# rados -p test_rep_pool import pool_content 
  Importing pool
  Write #-9223372036854775808:00000000:::obj_name2:head#
  Write #-9223372036854775808:00000000:::obj_create:head#
  Write #-9223372036854775808:00000000:::test_cp_obj:head#
  Write #-9223372036854775808:00000000:::obj_name:head#
  Write #-9223372036854775808:00000000:::obj_test:head#
  

因为rados命令集较为庞大，本文主要介绍的时rados对象操作相关的命令，还有一些其他命令未介绍，各位可以通过rados -h帮助信息进行查看。