Vanity 测试技巧：用 chooses 方法编写可复现的 A/B 测试用例

Vanity 测试技巧：用 chooses 方法编写可复现的 A/B 测试用例

【免费下载链接】vanityExperiment Driven Development for Ruby项目地址: https://gitcode.com/gh_mirrors/va/vanity

Vanity 是一个面向 Ruby on Rails 的 A/B 测试框架，它让开发者可以轻松定义实验、随机分配用户并统计转化。但随机分配恰恰是写测试时的噩梦：测试结果不可复现，用例时好时坏。本文将介绍 Vanity 的核心测试技巧——chooses方法，帮你编写稳定、可复现的 A/B 测试用例，让每次测试都能精准命中你想要的实验版本。🎯

为什么 A/B 测试用例难以稳定？

在真实环境中，Vanity 通过 identity 的哈希值把用户随机分配到不同实验版本（可参考 ab_test.rb 中的 alternative_for 实现）。随机分配在线上是特性，在测试里却是"定时炸弹"：

• 断言"页面显示红色按钮"时，用户可能被分到蓝色版本；
• 同一用例反复执行，结果忽红忽蓝；
• 集成测试中一个断言失败，却说不清是代码 bug 还是版本随机。

解决办法只有一个：在测试里强制指定实验版本。这正是chooses方法存在的意义。

chooses 方法是什么？一个方法搞定版本控制

chooses是 Vanity 实验对象上的一个方法，作用是"强制本次实验使用某个特定版本"。它的实现位于 lib/vanity/experiment/ab_test.rb，注释里写得很明确："Forces this experiment to use a particular alternative... to obtain a deterministic test"（强制实验使用特定版本，以获得确定性的测试）。

核心用法只有一行：

experiment(:button_color).chooses(:red)

执行后，无论用户 identity 是什么，该实验都会返回:red版本，直到你再次调用chooses改变它。

快速上手：在 setup 和 teardown 中固定实验版本

最标准的写法是把chooses放进测试的 setup / teardown 流程中：

class ButtonColorTest < ActionController::TestCase setup do experiment(:button_color).chooses(:red) end teardown do experiment(:button_color).chooses(nil) # 清除选择，恢复随机 end def test_shows_red_button get :index assert_select "a.btn", text: "红色按钮" end end

两个关键点：

• setup 里 chooses 目标版本，保证用例内所有请求都命中同一版本；
• teardown 里 chooses(nil)，把状态清掉，避免影响其他用例。传入nil表示清除本次强制选择，这是官方文档明确推荐的做法，对应源码中的 chooses(nil) 分支。

进阶技巧：遍历所有版本，把 A/B 测试测全

很多团队只测了"默认版本"，导致线上另一个版本出问题。更专业的做法是循环所有版本逐个验证，官方文档 ab_testing.textile 中给出了完整范例：

def test_price_option [19, 25, 29].each do |price| experiment(:price_options).chooses(price) get :index assert_select "h2", text: "Get started for only $#{price} a month!" end end

这样一次测试跑完三个价格版本，任何版本的渲染错误都会立刻暴露。结合项目中的 ab_test 测试用例 可以看到，Vanity 官方在test_with_given_choice、test_chooses_cleared_with_nil等用例中正是用这个模式来保证测试确定性。

常见坑：chooses 不存在的版本会怎样？

如果你手误写了一个实验里不存在的版本，比如：

experiment(:simple).chooses(404) # 实验里没有 404 这个版本

Vanity 会直接抛出ArgumentError，源码中的校验逻辑在 chooses 方法的参数检查处。这其实是好事——它能在开发期就帮你发现拼写错误，而不是把错误静默吞掉。对应地，官方测试用例test_which_chooses_non_existent_alternative也验证了这一行为。

更多应用：结合 on_assignment 与 Dashboard 调试

• 触发回调：chooses同样会触发实验的on_assignment回调，可用于验证回调逻辑，对应测试见 test_calls_on_assignment_on_new_assignment_via_chooses；
• 手动调试：在 Dashboard 中也可以通过"show me"按钮临时指定版本（见 Rails 框架中的 chooses 调用），方便你在浏览器里肉眼检查每个版本。

总结：把随机留给线上，把确定留给测试

chooses方法让"可复现的 A/B 测试用例"从口号变成了几行代码。记住三个要点：

1. setup 中chooses(目标版本)，固定实验走向；
2. teardown 中chooses(nil)，清理状态防止串扰；
3. 遍历所有版本写断言，确保每个备选都经过测试。

如果你的项目还没安装 Vanity，可以通过git clone https://gitcode.com/gh_mirrors/va/vanity获取源码，参考 test/experiment/ab_test.rb 中的完整用例学习更多测试模式。用好chooses，你的 A/B 测试代码将从此告别"玄学"，每次运行都稳定可靠。✅

【免费下载链接】vanityExperiment Driven Development for Ruby项目地址: https://gitcode.com/gh_mirrors/va/vanity