美团 Leaf-snowflake 分布式 ID 生成器 k8s 改造的想法

美团 Leaf-snowflake 分布式 ID 生成器 k8s 改造的想法

+--------------------------------------------------------------------------+ | 1 Bit Unused | 41 Bit Timestamp | 10 Bit workerID | 12 Bit Sequence ID | +--------------------------------------------------------------------------+

snowflake 生成的 ID 共 64 位：

1. 1 bit 符号位，固定 0，保证 ID 永远为正数
2. 41 bit 毫秒时间戳，相对于起始基准时间的毫秒偏移量
3. 10 bit 机器号，用于标识数据中心和机器节点
4. 12 Bit，同一毫秒内自增序号

原始的 snowflake 有两个问题：

1. workerId 需要手动配置，服务规模较大的话手动配置成本太高
2. 时钟回拨导致生成的 ID 重复

美团 Leaf-snowflake 解决了这两个问题。

自动生成 workerID

服务启动时遍历 zookeeperPATH_FOREVER节点的所有子节点，子节点的 key 格式为{ip}:{port}-xxxxxxxxxx，然后截取-的前面和本机的{ip}:{port}对比，如果一样则说明之前注册过，截取-后面的字符串转为int作为workerId。若不存在，则会在 zookeeper 创建一个格式为{PATH_FOREVER}/{ip}:{port}-的持久顺序 znode（比如/snowflake/com.sankuai.leaf.opensource.test/forever/192.168.124.1:8080-0000000000），截取出workerId存入本地文件workerID.properties中。如果服务启动时无法连接 zookeeper，本地文件workerID.properties中的workerId可以作为一个 failover。

本地启动后 zookeeper 内容如下，forever 只有一个节点192.168.124.1:8080-0000000000，节点的值中包含了服务器的 ip、port、当前时间戳：

[zk:127.0.0.1:2181(CONNECTED)40]ls/snowflake/com.sankuai.leaf.opensource.test/forever[192.168.124.1:8080-0000000000][zk:127.0.0.1:2181(CONNECTED)18]get /snowflake/com.sankuai.leaf.opensource.test/forever/192.168.124.1:8080-0000000000{"ip":"192.168.124.1","port":"8080","timestamp":1783139487629}

时钟回拨

1. 在自动生成workerID的同时在 value 中上报了机器的当前时间，除此之外还会开启一个定时任务每 3s 上报一次机器的当前时间。

2. 在启动时会去查询最后一次上报的时间，如果当前时间小于最后一次上报的时间则直接抛出异常，停止服务，防止生成的 ID 重复。

3. 如果是新服务节点，需要综合对比其余 Leaf 节点的系统时间来判断自身系统时间是否准确，具体做法是取leaf_temporary下的所有临时节点(所有运行中的Leaf-snowflake节点)的服务IP：Port，然后通过RPC请求得到所有节点的系统时间，计算sum(time)/nodeSize。

   1. 若abs( 系统时间-sum(time)/nodeSize ) < 阈值，认为当前系统时间准确，正常启动服务，同时写临时节点leaf_temporary/${self}维持租约。
   2. 否则认为本机系统时间发生大步长偏移，启动失败并报警。

4. 如果时钟回拨时间较短，可以 wait 一会，等本机时间追上上次上报时间后再提供服务。

在 GitHub - Meituan-Dianping/Leaf: Distributed ID Generate Service 中我只找到了 1、2，第 3、4 条是在 Leaf——美团点评分布式ID生成系统 | 美团 · 技术团队 提到的。

k8s 改造的想法

k8s StatefulSet 可以为 pod 提供稳定的 hostname、稳定唯一的网络标识符、稳定的存储，完全可以替代 zookeeper 的作用。

假设 StatefulSet 名称为 leaf，则各个 pod 的 hostname 为 leaf-0、leaf-1、leaf-2，Headless Service 名称为 leaf.svc 提供稳定的网络标识符，且使用 PVC 挂载了存储，leaf-0 会使用 pvc-0，leaf-1 会使用 pvc-1，pod 和 pvc 之间的关联是稳定的，重启后也是如此。使用 8080 端口启动所有 leaf 服务。

1. 自动workerID：直接解析 hostname 使用-后面的序号作为workerID即可，甚至不需要本地workerID.properties文件作为 failover。
2. 上报本机时间：不再上报给 zookeeper，而是存储在 pvc 挂载目录的本地文件中。
3. 获取其他 leaf 节点的服务IP、Port：不再使用leaf_temporary临时节点，改为直接调用 k8s API 查询 StatefulSet 下的 pod name。
4. 访问其他 leaf 节点获取系统时间：通过<pod-name>.<headless-svc-name>访问，例如访问 leaf-3 使用leaf-3.leaf.svc:8080。

参考

• Leaf——美团点评分布式ID生成系统 | 美团 · 技术团队
• GitHub - Meituan-Dianping/Leaf: Distributed ID Generate Service · GitHub