原理与工程实现：从UCT到AlphaGo)
如果只看技术盘点文章，蒙特卡洛树搜索（MCTS）通常会被列为一句话带过的“AlphaGo核心组件”。但真正自己动手写过一次MCTS之后，我才明白为什么所有教程都要单独拿一章讲它——这套只有四步循环的算法，几乎把“如何在信息不全的时候做决策”这件事做到了极致。它的厉害之处不在于某个公式多深奥，而在于用大量随机模拟替代精确求解，换来了极强的通用性。这篇文章不打算复述教科书，而是从原理出发，把四步循环、UCT公式、工程实现、调参经验和进阶变体完整串一遍，适合已经对AI有一定了解、想真正把MCTS跑起来或者想搞懂AlphaGo背后逻辑的读者。
1. 穷举的死胡同：MCTS诞生的直接原因
很多人第一次接触博弈搜索，是从井字棋或者五子棋开始的。那种问题用Minimax加Alpha-beta剪枝就能解决，甚至状态少到可以整个展开成一棵完整的博弈树。我当时也天真地以为，只要树够大、搜索够快，围棋也不过是时间问题。真把棋盘换成19路围棋之后，才发现这条路从根上就走不通。
1.1 状态空间爆炸：传统搜索为什么走不远
围棋每步的合法着法大约有两百多种，一局棋平均要走两百手以上。博弈树的分支因子b大约是250，深度d大约在150到200之间，整棵树的规模是b的d次方，这是一笔在中长期预算里根本算不完的账。Alpha-beta剪枝能把搜索量降低到大约b^(d/2)，听起来很美好，但250的75次方依旧是个天文数字。
更麻烦的是，传统搜索算法依赖一个能评价局面优劣的静态评估函数。写一个好用的评估函数，本身就是一项几乎不可能完成的工作。围棋的棋形、厚势、劫争、地缘平衡，这些东西很难用几个特征公式表达清楚。你写一个“吃子多就赢”的评估函数，在复杂对局里会被各种反例打脸。传统搜索的路子到这里就卡住了：树展开不完，评估函数又不准。
1.2 换个思路：不精确求解，而是抽样估计
蒙特卡洛方法的核心思想其实很朴素：如果一个值算不出来，那就反复随机试验，用样本均值去估计它。最早用蒙特卡洛方法估算圆周率就是往正方形里撒点，数落在内切圆里的比例。把这个思路搬到棋类上，就变成了：我不知道某个局面到底好不好，那就不停地随机落子直到终局，统计这个局面下获胜的比例。
早期有人这么干过，叫纯蒙特卡洛搜索。每次决策时，对每个候选着法随机模拟若干局，选胜率最高的那一步。这个方案能跑，但棋力很弱，因为它把每一步决策都当成独立的抽样问题，忽略了不同局面之间的关联。真正让蒙特卡洛方法脱胎换骨的，是把抽样统计的结果组织成一棵动态生长的搜索树，让祖先节点的胜负信息能影响到子孙节点的选择。这个思路就是蒙特卡洛树搜索。
1.3 它解决的核心矛盾
MCTS真正解决的核心矛盾，是“有限的算力到底该花在哪些分支上”。传统搜索对每个分支一视同仁地展开，很多明显很烂的走法也消耗了大量搜索额度。MCTS则让搜索的重心自动向“看起来更有希望”的区域倾斜，访问次数多的分支被继续细化，访问次数少的分支暂时搁置。这种机制没有评估函数也能运转，只需要一个可以拿来随机模拟的对局环境，所以它天然适合围棋、国际象棋、扑克、实时策略游戏这类“规则复杂、写不出好启发式”的场景。
2. 四步循环：选择、扩展、模拟、回传到底做了什么事
MCTS的整个算法框架一眼就能看完，无非是重复四个步骤：选择、扩展、模拟、回传。但每个步骤里都有值得玩味的细节，我的建议是先把这四步当成一个闭环理解，再逐步关注实现层面的坑。
2.1 选择（Selection）：从根节点出发，走到一个还没展开完的节点
每次迭代开始时，你面前有一棵已经建了一部分的搜索树，根节点是当前实际局面。选择阶段的工作，是从根节点沿着树往下走，每一步都在当前节点的所有子节点中挑一个“最值得继续搜”的。这里的挑选标准不是单纯选胜率最高的，而是选那个“综合分数”最高的。什么分数，下一章会详细讲UCT公式。
选择会一直进行到某个节点，它的子节点还没全部展开完，或者它本身还是从未被访问过的叶子节点。这时候就停止往下走，进入扩展阶段。有一点容易忽略：如果树里存在尚未被访问过的子节点，正常做法是直接选它，不再继续用UCT比较，因为一次都没试过的分支无法估算真实水平，先给它一次机会是更合理的策略。
2.2 扩展（Expansion）：给叶子节点添一个孩子
到了该扩展的节点之后，从所有合法动作里挑一个“本次迭代准备探索”的动作，把它作为新的子节点加入树中。只扩展一个节点，而不是一次性展开所有子节点，这是MCTS的一个重要设计。好处是节省内存，坏处是你需要反复迭代才能慢慢把一棵树“养大”。如果某个节点的可选动作非常多，而算力有限，很多动作可能一次都没被选中过，这一点在后面的RAVE变体里会有专门对策。
也有人在首次到达某个节点后选择不立即扩展，而是先做一次模拟，再在回传路径上记录一些统计量。这个变体叫“单步展开”或“懒扩展”，某些场景下能省一点时间。但从工程统一性考虑，我一般还是选择标准的“到点就扩”方案，逻辑更直白，出问题也好定位。
2.3 模拟（Simulation）：从新节点开始疯狂随机走子
扩展出的新节点代表一个还没被评估过的局面，这个局面到底好不好，MCTS用随机模拟来回答。从该节点出发，按照默认策略不断随机合法动作，直到到达终局。默认策略可以是完全均匀随机，也可以是带一点启发式倾向的随机策略。棋类游戏里通常模拟到分出胜负就停，但有些游戏没有明确的终局条件，这时就要设置模拟步数上限，或者用启发式函数对局面打分。
模拟这一步是MCTS最耗算力的地方，也是优化的重点。一个关键认知是：模拟并不需要多“聪明”，它只需要足够快。因为单个随机对局的方差很大，但大量随机对局的统计均值是有意义的。你真正需要优化的不是单次模拟的质量，而是单位时间内能完成的模拟次数。
2.4 回传（Backpropagation）：把胜负结果沿着访问路径写回
模拟得到的结果，要从新节点一路回传到根节点，把路径上每个节点的访问次数加1，累计得分加上这次模拟的结果。假设胜为1.0、负为0.0、平为0.5，那么沿着刚才访问过的整条路径都要更新这份数据。回传结束时，这棵树里所有节点的统计信息都反映了更多样本，下一轮选择就能拿到更可靠的分数。
回传有个容易犯的视角错误：你站在当前玩家视角模拟，但每个中间层的视角其实是轮流的。比如根节点代表白方，那第二层节点表示黑方走完一步后的局面，第三层又是白方。如果直接把模拟结果1.0加到所有层的累计得分上，就会把“当前模拟的赢家”和“这个节点对哪一方有利”搞混。正确做法是按节点所在层轮流翻转胜率视角，或者从每个节点自身的视角记录。我在写第一版五子棋AI时就栽在这里，AI死活学不会防守，最后才发现是回传视角没处理对。
2.5 用一个生活化例子串一遍
四步循环可以用一个“选餐厅”的例子来理解。你面前有一堆餐厅，每家店的口碑你不知道，只能一家家试吃。选择阶段就是你结合以往试吃经验和“有新鲜感”的餐厅来决定今天去哪家。如果一家餐厅你只试过一次而且评价还不错，你会倾向于再去试几次，扩大样本量；如果某家店试了二十次都很差，你就不太愿意再去了。扩展阶段就是你决定去一家还没试过的新店。模拟阶段则是你按照某种方式快速想象一下吃完后的感受。回传就是把这次体验的好坏更新到你对这家店的整体评分里。反复试吃下去，你对哪家店值得去、哪家店是雷，就会形成越来越准的判断。
3. UCT打分公式：探索与利用怎么平衡，看一个具体算例
四步循环里最核心的是选择阶段用什么标准挑孩子。如果每次都选历史上胜率最高的节点，你就永远在“利用”已知的好分支，结果可能是过早扎进一个局部最优。反过来，如果每次都选访问次数最少的新节点，又会变成纯随机散步。MCTS的聪明之处，在于用一条公式把“利用”和“探索”同时塞进同一个分数里。这条公式叫UCT，全称是Upper Confidence Bound applied to Trees，树上的置信上界。
3.1 公式长什么样
每个子节点i的UCT分，通常写成这样：
U_i = X_i + C * sqrt( ln(N) / n_i )其中X_i是子节点i的累计胜率，n_i是子节点i被访问过的次数，N是当前父节点被访问的总次数，C是一个可调的探索常数。第一项X_i是“利用项”，代表这个子节点历史上表现如何；第二项是“探索项”，代表这个子节点还值不值得多看一眼。
3.2 探索项的形状为什么是sqrt(ln(N)/n_i)
很多初学者不理解为什么分子是ln(N)而不是N。我最初也觉得这里很玄，后来才明白它是在刻绘“随着父节点访问次数增加，探索需求会如何变化”。ln(N)的增长速度远慢于N，意味着父节点被探索得越多，整个系统就越趋于稳定，探索项的绝对大小也会随之下降，但永远不会降到零。也就是说，系统不会完全停止尝试冷门分支，哪怕是表现不佳的分支，只要时间足够长，依然会被偶尔扫描到。
分母n_i的作用正好相反。某个子节点被访问的次数越多，我们对该节点的估计就越有把握，探索项就会快速变小，分数的重心自然落到胜率上。而当n_i很小的时候，探索项会非常大，让这个“样本量不足”的节点在竞争中占便宜。这个机制保证了搜索不会在前期就锁死某个分支，而是会不断给新分支机会。
3.3 拿真实数字算一遍
假设当前父节点已经被访问了100次，它有两个子节点A和B。A被访问过60次、赢了45次，胜率0.75；B被访问过40次、赢了25次，胜率0.625。取C=1.414（也就是根号2，很多实现里用这个经验值）。
先算ln(100)=4.605，sqrt(ln(N))≈2.146。
A的探索项：1.414 × 2.146 / sqrt(60)，也就是1.414 × 2.146 / 7.746 ≈ 0.392。A的UCT分：0.75 + 0.392 ≈ 1.142。
B的探索项：1.414 × 2.146 / sqrt(40)，也就是1.414 × 2.146 / 6.325 ≈ 0.479。B的UCT分：0.625 + 0.479 ≈ 1.104。
算下来A的分数更高，所以这一轮还是会选A。但如果B不是赢25次，而是只赢10次，胜率降到0.25，那B的UCT分就只有0.25+0.479≈0.729，A领先一大截。这就是一个典型的“胜率优势碾压探索优势”的情况。
再看一个更极端的例子。如果A被访问了90次、赢了50次，胜率0.556；B只被访问了10次、赢了4次，胜率0.4。这时候A的探索项是1.414 × 2.146 / sqrt(90)≈0.319，UCT分≈0.875。B的探索项是1.414 × 2.146 / sqrt(10)≈0.959，UCT分≈1.359。B的总分反超了A，因为它的样本量太少，探索项给了一个很大的“新店补贴”。这种“即使胜率不高，但因为样本太少，反而更值得一探”的行为，就是探索项存在的意义。
3.4 常数C到底怎么调
C本身可以理解成“你有多愿意试错”。C越大，搜索越激进，越愿意访问次数少的分支；C越小，搜索越保守，越愿意深耕已经验证过的路径。这个值跟具体任务强相关，我见过从0.5到5都有人用。比较好的做法是在小棋盘上做网格搜索：固定模拟预算，分别跑不同C值下的AI自对弈，拿胜率曲线找峰值。五子棋这种中等复杂度的游戏，C取1.0到1.4左右通常表现不错；围棋这种需要更强探索的场景，经典论文里C值会调得更大。
4. 工程落地：节点怎么存、选择怎么写、模拟怎么提速
原理讲得再热闹，代码跑不起来也是白搭。我自己从零实现MCTS的次数加起来至少有五六次，每次语言和场景都不一样，但踩的坑高度相似。这里把最常见的工程决策一次性说清楚。
4.1 节点数据结构怎么设计
节点是树的基本单元，至少需要记录父节点、子节点列表、访问次数、累计得分。子节点列表可以预先创建成“动作到节点”的映射结构，也可以动态加入。在Python里我习惯用一个简单的类搞定：
class MCTSNode: def __init__(self, parent=None, action=None): self.parent = parent self.action = action # 从父节点到达本节点所执行的动作 self.children = {} # 动作 -> MCTSNode self.visits = 0 self.total_score = 0.0 self.untried_actions = None # 尚未展开的动作列表，惰性初始化这里有个很重要的惰性设计：untried_actions不要每次扩展都重新生成全部合法动作，那非常消耗时间。首次创建节点时生成一次，之后每扩展一个子节点，就从列表里弹掉一个。等列表空了，就说明所有子节点都已经展开过，选择阶段的处理方式也要随之切换。
4.2 选择阶段的实现陷阱
选择阶段的循环逻辑看上去很简单，但处理「未访问节点」的方式很容易出错。我的做法是：每个节点保存一个untried_actions列表，如果列表不空，说明还有没被展开过的孩子，那么直接从中随机取一个（或者按策略取一个）进入扩展阶段；如果列表为空，则用UCT公式在所有已有子节点里选分数最高的往下走。
有经验的读者会发现，标准MCTS在实现时通常会在一个迭代里先做选择，走到一个未展开的节点后立刻执行扩展+模拟。因此“选择到已展开完全的节点”时，就要继续用UCT往深层走。伪代码大致是这样：
def select(node): while node.untried_actions is None or len(node.untried_actions) == 0: if not node.children: return node node = best_child(node) return node注意这段代码里我用“未尝试动作是否为空”作为“是否完全展开”的判断条件。如果节点一开始就没有生成合法动作列表，需要先初始化。否则空列表会被误判为“完全展开”，然后直接去访问不存在的孩子。
4.3 模拟阶段的性能优化
模拟阶段是性能瓶颈。一个随机局面到终局的深度可能很长，我见过不少初版实现，超过90%的时间都耗在模拟里。所以模拟一定要单独抽成函数，并且针对游戏规则做极致的常数优化。判断胜负的接口要快，合法动作生成器要快，随机数生成器也别用太重的加密级实现，一个简单的线性同余生成器在大多数棋类模拟里完全够用。
另外一个常见优化是限制模拟深度。不是所有游戏都有明确终局，比如某些棋类可以走几百手不结束。这时可以设定一个最大模拟步数，到达上限后用启发式函数粗略估计胜负。启发式不需要很准，只要比完全随机稍微好一点，就能显著降低模拟方差。
4.4 核心骨架代码
下面是一个“一轮MCTS迭代”的完整骨架，以五子棋为背景，胜者为1.0、负者为0.0：
def mcts_iteration(root): # 1. Select node = select(root) # 2. Expand if node.untried_actions: action = node.untried_actions.pop() new_state = node.state.copy().play(action) child = MCTSNode(parent=node, action=action) child.state = new_state child.untried_actions = new_state.get_legal_actions() node.children[action] = child node = child # 3. Simulate result = simulate_random_game(node.state) # 4. Backprop while node is not None: node.visits += 1 node.total_score += result node = node.parent result = 1.0 - result # 换到对手视角这里的simulate_random_game返回1.0表示“当前模拟起点那一方获胜”。回传过程中每次向上传递前都把结果翻转一次，因为上一层节点的视角是另一方的。这条翻转逻辑一定要反复检查，我当年就因为少写了一次翻转，导致AI莫名其妙地喜欢主动送死。
4.5 迭代预算与终止条件
MCTS不需要跑满整个博弈树，它只需要在你设定的预算内尽可能多迭代。常见的有两种终止方式：一是固定迭代次数，比如每步只跑2000次MCTS迭代；二是固定时间，比如每步只容许搜索200毫秒。比赛场景里用时间更合理，因为算力高的机器能自动享受更多迭代；调试场景里用迭代次数更可复现，方便对比不同参数的效果。
还有一个细节：选择最终落子时，选“访问次数最多”的子节点，而不是“平均胜率最高”的子节点。这个经验来自AlphaGo的相关论文。访问次数多的节点说明它经过了大量模拟验证，置信度更高；而平均胜率最高的节点可能只被访问过寥寥几次，胜率很可能是偶然冒出来的。这个原则我用下来屡试不爽，在自对弈测试里能明显降低劣着概率。
5. 从能跑到跑得强：调参经验与经典踩坑现场
代码写完，AI能跑，但它棋力很弱甚至行为诡异，这几乎是每个MCTS新手都会经历的阶段。下面这些坑，我基本都亲手踩过，写出来供大家少走弯路。
5.1 UCT常数C：不是越大越好，也不是越小越好
C太大，AI会表现得像个赌徒，频繁试那些明显很差的走法，棋力上不去。C太小，AI会表现得很“固执”，认定一个局部最优分支后就不愿意出来，很容易被对手设陷阱。调试的时候我建议先在极小棋盘上跑（比如5x5五子棋），固定C从0.5到3.0每隔0.1测一轮，观察胜率曲线。注意不要只测两三局，随机模拟带来的方差很大，至少跑50局以上再下结论。
5.2 模拟策略：均匀随机和带倾向随机的差异
默认策略用完全均匀随机，简单但方差大。后来我发现，在模拟阶段加入一点点先验倾向，比如“落子在靠近已有棋子的位置”而不要完全乱下，模拟结果会更稳定，AI棋力有明显提升。但要注意，先验太强会把模拟变成一种“局部打转”行为，反而降低多样性。一个可靠的调法：给合法动作按启发式打分，乘以一个温度系数后转成概率分布，温度高接近均匀随机，温度低接近贪心策略。你可以用温度系数控制模拟策略的探索程度。
5.3 回传视角导致的“自杀型AI”
这是所有坑里最隐蔽的一个。如果你的AI总是主动把局面带向对自己不利的方向，先怀疑回传的视角翻转。我当时的错误是：模拟结果为当前玩家视角的胜负，回传到父节点时直接累加，没有根据层数翻转。结果根节点层的统计混着两个不同视角的抽样，整个搜索树完全失去了意义。正确写法就是对每一层做一次结果翻转，模拟起点本身对应根节点的视角，每一层向上时结果取反。
5.4 胜负奖励只存1/0不够用的场景
围棋和五子棋这类游戏，胜/负/平三种结果用1.0/0.0/0.5就能工作得很好。但有些游戏终局不是二元判负，而是有分数差，比如某些桌游看最终得分。这时可以把奖励从“是否获胜”改成“归一化的得分”，比如(my_score - opp_score) / max_score。这个改动会让回传的信息更细腻，选择阶段也能更平滑地比较不同分支，但要注意归一化操作不能引入过大的方差，否则探索方向会被极端样本带偏。
5.5 虚拟损失与并行化：别让多个线程搜同一棵树
如果你想用多线程加速MCTS，最简单的方案是每步决策时让多个线程各自维护一棵完整的搜索树，最后汇总根节点的访问次数，这种做法叫根并行。它实现简单，缺点是每棵树都只能分到一部分算力，树的深度不如单线程。进阶做法是叶并行，多线程共享一棵树，但需要一个叫“虚拟损失”的机制：线程在访问某个节点时，先把该节点标记为“占用”，给它临时加一个负的奖励值，避免其他线程重复钻进同一个分支。虚拟损失的值一般是几倍UCT探索项量级，具体数值需要实验，设置成0.5到1.0都比较常见。
5.6 评价一个MCTS写得好不好，别只看单局胜负
我见过很多人调参时只看AI和随机对手对战的胜率，这样不够。更有效的评价方式是让“调参后的AI”和“调参前的AI”做自对弈，固定时间和迭代次数，看谁的胜率更高。另外可以记录“平均搜索深度”和“访问节点数”，这些指标能反映你的模拟和选择是不是在真正高效利用算力。如果访问节点数不高，往往说明选择阶段的UCT常数太大，树长得太宽；如果每个分支都很快收敛到同一着法，可能是C值太小，视角被锁死了。
6. 进化路线图：RAVE、PUCT到AlphaGo系列是如何改造MCTS的
基础MCTS的棋力其实很有限，五子棋勉强能下，但面对专业级对手远远不够。真正让MCTS成为AI领域明星的，是一连串对基础版的改进。理解这些改进，不仅是为了看懂AlphaGo，更是为了在自己的项目里知道该往哪个方向优化。
6.1 RAVE和AMAF：用快速统计解决冷启动问题
基础MCTS一个很大的痛点是：当动作空间很大时，很多子节点在一开始根本没有被访问过，UCT的探索项对它们一视同仁，导致搜索在早期需要大量迭代才能区分好坏。AMAF（All Moves As First）和RAVE（Rapid Action Value Estimation）想出的办法很直接：一场模拟从某个节点走到终局的过程中，后续出现的所有动作虽然不是在当前节点“第一时间”选择的，但它们也在该局中出现了，不妨也按一定权重算进当前节点的动作估值里。
这个想法初看很粗糙，因为后续动作的价值并不等于该节点的直接价值，但胜在样本量暴涨，能快速筛掉明显无效的动作。工程实现时通常要维护两个统计表：一个记录真正从该动作开始模拟的次数和得分，另一个记录该动作在模拟中“出现过”的次数和得分，然后按权重融合。随着真实统计量增多，RAVE的权重会逐渐衰减。我在写棋盘更大的AI时试过RAVE，启动阶段棋力的提升非常明显，但融合权重需要仔细调，否则会引入偏差。
6.2 PUCT：把先验概率塞进选择公式
基础UCT的探索项只依赖访问次数，不关心节点本身“看起来怎么样”。如果有一个先验知识告诉你某些动作天生更好，却完全不用，显然太浪费。PUCT在UCT公式里多引入一项先验概率P(s,a)，选择标准变成：
argmax_a Q(s,a) + C_puct * P(s,a) * sqrt(sum_b N(s,b)) / (1 + N(s,a))这里P(s,a)通常来自一个神经网络，也可以是任何离线算好的启发式表。先验概率高的分支在未访问时就能获得更高的探索优先级，搜索就能更早聚焦到值得深挖的区域。AlphaGo最初版本就是先用快速走子得到的先验初始化P(s,a)，再用MCTS做搜索。
6.3 AlphaGo Zero的完整拼图：策略网络+价值网络+MCTS
AlphaGo Zero把MCTS的使用方式提升到了一个新高度。它不再用随机模拟来评估局面，而是训练了一个价值网络直接输出局面胜率，把四步循环里的“模拟”阶段替换成了“价值网络打分”。虽然V(s)只是一个估计，不如随机模拟统计稳定，但它的计算速度足够快，而且经过深度网络拟合后，对局面的评估质量远超随机模拟。选择网络的输出P(s,a)则给PUCT提供了高质量的先验。
训练流程也很有意思：MCTS搜索后的根节点访问次数分布被当作更优的策略标签，用来训练策略网络；用MCTS的搜索结果继续自我对弈，用最终胜负结果训练价值网络。这样MCTS和神经网络互为师生，形成一个闭环自举。可以说AlphaGo Zero让MCTS从“独立算法”变成了“强化学习框架里的策略改善算子”。我这里没有复现整个AlphaGo的余力，但在小棋盘上复现过这个闭环，效果确实令人震撼——一个零知识起步的模型，能靠MCTS加自对弈慢慢学会下棋。
6.4 MCTS的适用边界：它擅长什么，不擅长什么
搞清楚MCTS的边界，比多学几个变体更重要。MCTS非常适合序贯决策、动作空间离散或可采样、有终止状态、单步结果有噪声的场景。棋类、牌类、实时战略游戏、路径规划、组合优化都属于它的主场。但如果动作空间连续到无法枚举，MCTS需要配合连续动作采样策略，或者改造成其他形式，复杂度会直线上升。如果状态空间极小、穷举完全可行，就没必要用MCTS，直接Minimax加剪枝反而更精确。如果评估函数容易写得很准，比如某些线性可分的棋盘局面，传统搜索的效率和稳定性可能优于MCTS。
最近两年，MCTS还被用于大规模语言模型推理的树状搜索，通过MCTS引导多步推理路径的生成和评估。这个方向刚开始热起来，底层思路依然是“在巨大搜索空间里，把探索资源投给最有希望的分支”，和棋盘AI面临的问题本质上一模一样。
我在实际项目里反复体会过，MCTS是一个越用越顺手的算法。第一版总是漏洞百出，但一旦把选择、扩展、模拟、回传这四条链路整理清楚，再掌握好视角翻转和UCT常数调优，它就能在各种奇奇怪怪的决策问题里派上用场。如果现在有人问我怎么入门，我会建议先别碰围棋，拿井字棋或5x5五子棋这种小棋盘从零实现一版，跑通后再慢慢加RAVE、加PUCT，最后再去看AlphaGo论文。这个过程走一遍，你对“探索与利用”这六个字才算真正有了肌肉记忆。
