ceph中的crush map

当集群系统变得复杂时，我们往往需要多种策略来存放不同类型的数据；例如，将热数据存放于SSD中，而将冷数据放在HDD中。CRUSH rule就是定义了一种选择策略，Ceph中每个逻辑池都必须对应一条合法的rule才能正常工作。还是以上面链接中的crushmap为例，分析一下rule的具体含义。

1rule replicated_ruleset{2ruleset03typereplicated4min_size15max_size106step take default7step chooseleaf firstn0typehost8step emit9}

• Line 1-2: rule的名称和编号
• Line 3: rule类型；replicated代表适用于副本池，erasure代表适用于EC池
• Line 4-5: rule适用的池size大小；本例表示1副本到10副本的池均可采用此条rule
• Line 6-9: 具体的选择步骤
  • take: 直接选中一项item，一般用于指定选择算法的起点；本例中名为default的root类型bucket即为起点
  • chooseleaf firstn 0 type host: 选择策略，这个是重点，后面细述
  • emit: 返回结果

<1>: choose/chooseleaf

• choose表示选择结果类型为故障域（由<4>指定）
• chooseleaf表示在确定故障域后，还必须选出该域下面的OSD节点（即leaf）

<2>: firstn/indep

• firstn: 适用于副本池，选择结果中rep（replica，指一份副本或者EC中的一个分块，下同）位置无明显意义
• indep: 适用于EC池，选择结果中rep位置不可随意变动

举例来说，副本池中每份副本保存的是完全相同的数据，因此选择结果为[0, 1, 2]（数字代表OSD编号）与[0, 2, 1]并无大的不同。但是EC池不一样，在2+1的配比下前两份是数据块，最后一份是校验块，后两份rep位置一交换就会导致数据出错。

<3>: num_reps

这个整数值指定需要选择的rep数目，可以是正值负值或0。

• 正整数值即代表要选择的副本数，非常直观
• 0表示的是与实际逻辑池的size相等；也就是说，如果2副本池用了这个rule，0就代表了2；如果3副本池用了此rule，0就相当于3
• 负整数值代表与实际逻辑池size的差值；如果3副本池使用此rule将该值设为了-1，那边该策略只会选择出2个reps

<4>: failure domain

指定故障域类型；CRUSH确保同一故障域最多只会被选中一次。

step take default step choose firstn3typehost step choose firstn1typeosd step emit

新增的一步会在上述基础上，再以每个选中的host为起点，在host下选择1个OSD。另一个更方便的方案是：