R语言中的SVR与马尔可夫模型：从回归到强化学习实践

写这篇东西的起因很现实：我最近在做一组时间序列预测的对比实验，手头有一批标准的回归任务想验证R语言里SVR模型的表现，结果调着调着，发现很多刚开始接触强化学习的朋友也在问我马尔可夫模型怎么在R里落地。两个话题看似隔着一条河——一个属于监督学习，一个是强化学习的基础组件——但真正把代码跑起来之后你会发现，它们的底层语言和数学工具是共通的，甚至可以在同一个项目里互相配合。这篇文章我就把它们放在一起聊聊，从R语言实现SVR模型出发，一路走到强化学习里的马尔可夫模型，把思路、代码和踩过的坑都摊开来讲。

1. 内容整体设计与思路拆解

1.1 项目真正的需求是什么

表面上看，这个项目要解决两件事：一是在R语言中把SVR模型跑通，二是理解强化学习中马尔可夫模型的角色。但实际动手之前需要想清楚一个更根本的问题——为什么要把这两个东西放在一起研究？

我的理解是：SVR模型代表的是“从数据中学习映射关系”的监督学习范式，而马尔可夫模型代表的是“对系统状态转移建模”的动态系统范式。在强化学习的完整链路中，这两者缺一不可。马尔可夫决策过程（MDP）定义了环境如何响应动作、如何转移状态，而SVR之类的回归模型可以充当价值函数逼近器或环境动态模型。把这两个点串起来，本质上是在打通一条“从静态回归到动态决策”的学习路径。

所以这个项目不能只是“跑一个SVR、再看一个马尔可夫链”的并列式演示，而应该是一个递进式的拆解：先用SVR解决一个具体的回归问题，理解“监督学习如何拟合数据”，再把它放到强化学习的框架里，看“马尔可夫模型如何描述状态与转移”，最后把两者融合起来——用SVR拟合环境的转移规律或价值函数，让它成为强化学习中可用的组件。

1.2 为什么选择R语言作为实现载体

经常有人问：强化学习和SVR的生态明明更偏Python，为什么非要用R？我个人的态度是：工具选择取决于你的数据工作流和建模习惯，而不是跟风。

R语言在这类任务中有三个明显的优势：

• 统计建模的便利性：e1071、kernlab等包把SVR封装得相当好用，几行代码就能训练出一个带核函数的支持向量回归模型，而且对统计检验、置信区间这些推断性内容支持得非常好。
• 可视化与数据处理的整合度：ggplot2、tidyverse生态让数据探索和结果展示一气呵成，尤其在分析转移矩阵、稳态分布这类概率结构时，R的矩阵运算和绘图能力非常顺手。
• 批量实验脚本的亲和力：R的脚本风格很适合做参数网格搜索和模拟实验，配合purrr包可以写出非常清晰的批量处理逻辑。

对刚入门的人来说，用R语言去实现SVR和马尔可夫模型，能把注意力集中在“模型原理”和“代码逻辑”上，而不是被工程化的问题拖住。这篇文章里所有代码我都用R 4.2以上版本跑过，RStudio运行环境没有问题。

2. 先用R语言完整跑通SVR模型

2.1 环境准备与包安装

开始之前先把环境配好。SVR需要用到的核心包是e1071，它同时提供了SVM分类、SVR回归和网格调参的tune函数。如果后续要画图，ggplot2也要装好。在RStudio里直接执行：

install.packages("e1071") install.packages("ggplot2") library(e1071) library(ggplot2)

这里有一个容易忽略的点：e1071依赖的底层库在不同平台上编译情况不太一样。如果你在Windows上提示缺少“libsvm”相关的问题，通常需要先安装RTools并确保R版本与包版本匹配。Linux和macOS相对顺利，但macOS上偶尔会遇到“gfortran”相关的报错，解决办法是装好系统级的编译工具链，或者改用kernlab包作为备选方案。kernlab的ksvm函数也支持SVR，接口类似，但默认参数略有差异，后面参数调优时需要留意。

2.2 数据准备：用合成数据看清SVR的本质

初学者最容易犯的错是直接拿一个高维、有噪声的真实数据集开始训练，结果根本看不出模型学到了什么。这里我建议先用一个人为构造的合成数据来“触摸”SVR的行为。我用的是一个带噪声的非线性函数：y = sin(x) + 0.2 * noise。清晰、有周期性、也有随机波动，很适合观察SVR如何用核函数去拟合非线性关系。

set.seed(42) n <- 300 x <- seq(-5, 5, length.out = n) y <- sin(x) + rnorm(n, mean = 0, sd = 0.2) data_svr <- data.frame(x = x, y = y) ggplot(data_svr, aes(x, y)) + geom_point(alpha = 0.6) + labs(title = "带噪声的非线性数据")

在做任何模型训练之前，先画数据分布是必须养成的习惯。很多时候问题出在数据本身，而不是模型。比如这个合成数据虽然简单，但如果不对变量做归一化，SVR的径向基核函数（RBF kernel）计算距离时会受量纲影响，预测结果很容易出现偏移。

2.3 e1071的svm函数训练SVR

e1071里面训练SVR用的是svm函数，关键点在于type参数要设成“eps-regression”，而不是“nu-regression”。两者的区别在于损失函数的控制方式：eps-regression通过参数epsilon控制不敏感带的宽度；nu-regression则用参数nu间接控制支持向量的比例。日常任务中我习惯用eps-regression，因为epsilon的含义更直观——允许预测值和真实值之间有多大误差而不计入损失。

# 数据集划分 set.seed(123) train_idx <- sample(1:n, size = 0.8 * n) train_data <- data_svr[train_idx, ] test_data <- data_svr[-train_idx, ] # 训练SVR模型 svr_model <- svm( y ~ x, data = train_data, type = "eps-regression", kernel = "radial", cost = 10, gamma = 0.5, epsilon = 0.1 ) summary(svr_model)

训练完成之后，summary会输出支持向量的数量、参数设置和训练误差。支持向量的数量是理解SVR行为的一个窗口：数量越少，模型越稀疏；数量过多，通常说明模型在跟着噪声走，可能出现欠拟合或过拟合的边界模糊问题。

2.4 回归结果的预测与可视化

模型训练完，用predict函数做预测，然后和真实值画在一起。这里要特别留意一个细节：predict传数据框的时候，列名必须和训练时一致，否则R会报错或悄悄给出错误结果。

pred <- predict(svr_model, test_data) test_data$pred <- pred ggplot(test_data, aes(x = x)) + geom_point(aes(y = y), alpha = 0.5, color = "gray") + geom_line(aes(y = pred), color = "#D55E00", linewidth = 1) + labs(title = "SVR拟合效果", y = "y")

从拟合效果上你能直观地看到：SVR在数据密集且非线性明显的区间拟合得很好，在边界区域会稍微回缩。这不是bug，而是SVR的“不敏感带”在起作用——它对离群点有一定的容忍度，不会为了迎合个别极端值牺牲整体结构的平滑性。这也是SVR和小波回归、随机森林这类方法相比最突出的性格差异。

3. SVR核心参数与调优实操

3.1 三个关键参数的理解

SVR的调参远比想象中的重要，因为它的性能对参数非常敏感。第一次用e1071跑SVR的人，往往只关心cost的大小，却忽略了gamma和epsilon的联合作用。

• cost（惩罚系数）：控制对误差的容忍程度。cost越大，模型越不愿意接受训练误差，结果边界越复杂，容易过拟合；cost越小，模型越平滑，但可能出现严重欠拟合。
• gamma（核函数宽度）：只对RBF核等非线性核有效。gamma越大，单个样本的影响范围越小，决策边界越曲折；gamma越小，边界越平滑。
• epsilon（不敏感带宽度）：回归问题特有。epsilon越大，允许的误差越宽，模型越稀疏，但精度下降；epsilon越小，模型会尽量拟合每一个点，支持向量数量增加，有噪声时容易过拟合。

一个直观的类比是：cost像是“你有多较真”，gamma像是“你看问题的局部程度”，epsilon像是“你觉得差不多能接受的范围”。三个参数必须联动调整，单独调其中一个很容易掉进局部最优的陷阱。

3.2 网格搜索调参的完整写法

e1071包自带的tune.svm可以做简单的网格搜索，但它内部实现有时过于死板，而且对大数据集的速度不理想。我更推荐自己用交叉验证手写一个轻量网格搜索。以下是我常用的写法：

# 自定义网格搜索 cost_list <- c(0.1, 1, 10, 100) gamma_list <- c(0.01, 0.1, 0.5, 1) epsilon_list <- c(0.05, 0.1, 0.2) set.seed(2024) cv_folds <- sample(rep(1:5, length.out = nrow(train_data))) results <- expand.grid(cost = cost_list, gamma = gamma_list, epsilon = epsilon_list) results$rmse <- NA for (i in 1:nrow(results)) { fold_errors <- numeric(5) for (f in 1:5) { fold_train <- train_data[cv_folds != f, ] fold_test <- train_data[cv_folds == f, ] fit <- svm( y ~ x, data = fold_train, type = "eps-regression", kernel = "radial", cost = results$cost[i], gamma = results$gamma[i], epsilon = results$epsilon[i] ) pred_cv <- predict(fit, fold_test) fold_errors[f] <- sqrt(mean((fold_test$y - pred_cv)^2)) } results$rmse[i] <- mean(fold_errors) } best_params <- results[which.min(results$rmse), ] print(best_params)

这种手写网格搜索的优势是透明可控：你能看到每个参数组合的CV误差，而不是只拿到一个“最优结果”。实践中，网格搜索得到的最优参数往往落在区域的边缘，这时候说明搜索范围不够大，需要扩展开来重新搜。如果最优参数在网格内部，说明当前的搜索范围是合理的，可以进一步加密网格做细调。

3.3 模型评估：不能只看RMSE

评估SVR回归模型，我习惯同时看三个指标：RMSE（均方根误差）、MAE（平均绝对误差）、R方。RMSE对大误差敏感，MAE更能反映平均偏差，R方衡量整体拟合优度。它们各有盲区，结合在一起看才能避免被单一指标带偏。

rmse_val <- sqrt(mean((test_data$y - test_data$pred)^2)) mae_val <- mean(abs(test_data$y - test_data$pred)) r2_val <- 1 - sum((test_data$y - test_data$pred)^2) / sum((test_data$y - mean(test_data$y))^2) cat("RMSE:", rmse_val, "\n") cat("MAE:", mae_val, "\n") cat("R2:", r2_val, "\n")

另外我会画一个“残差-预测值”散点图。如果残差均匀分布在零线两侧，说明模型没有系统性偏差；如果残差呈现明显的漏斗形分布，说明方差齐性不满足，模型可能在某些区间效果很差。这一步对后续将SVR引入强化学习环境建模特别关键，因为残差结构直接影响你对“转移模型”不确定性的刻画。

3.4 SVR调参的几点实操心得

调参过程中我踩过不少坑，挑三个最重要的说：

• 一定要对x和y分别做标准化。SVR的核函数本质上是在计算样本间的距离。如果两个特征的量纲差距过大，量纲大的特征会主导距离计算，量纲小的特征几乎不起作用。常用的做法是用scale函数，让每个特征均值为0、标准差为1。预测时记得把预测结果再“反标准化”回去。

• 支持向量的比例是一个廉价但有效的调试信号。训练完成之后注意看summary输出中的“number of support vectors”。如果支持向量占比超过训练样本的一半，说明epsilon和gamma的搭配可能太“较真”了，模型在拼命记忆训练点。如果支持向量占比过低，模型可能过于平滑。

• 不要盲目追求最小化训练误差。有一次我把cost调到1000，训练集RMSE降到了0.03，但测试集RMSE反而飙升到0.8。这是典型的过拟合。SVR的“稀疏性”注定它更适合捕捉主要结构，而不是跟随每一个噪声点。

4. 强化学习入门：马尔可夫模型在R中的落地

4.1 马尔可夫性质与马尔可夫链

强化学习和监督学习有一个根本差异：监督学习假设数据独立同分布，而强化学习面对的是序列决策问题，一个状态的出现依赖于前一个状态和动作。这种依赖关系如果满足“给定现在，未来与过去无关”的条件，就称为马尔可夫性质。

把这个性质写成数学形式就是：P(S_{t+1} | S_t, S_{t-1}, ..., S_0) = P(S_{t+1} | S_t)。

马尔可夫链就是满足马尔可夫性质的随机过程，它由三个要素构成：状态集合、状态间的转移概率矩阵、初始状态分布。它在强化学习中的核心地位在于：几乎所有强化学习问题都可以抽象为一个马尔可夫决策过程（MDP），而MDP中的“状态转移”部分正是由马尔可夫链来描述的。

4.2 用R构建一个简单的马尔可夫链

用一个实际的例子来理解。假设我们有一个三状态的马尔可夫链：状态1、状态2、状态3。状态之间的转移概率可以用一个3x3的矩阵表示，其中每一行的和必须等于1。

# 状态转移矩阵 P <- matrix( c( 0.7, 0.2, 0.1, 0.3, 0.4, 0.3, 0.2, 0.3, 0.5 ), nrow = 3, byrow = TRUE ) colnames(P) <- rownames(P) <- c("状态1", "状态2", "状态3") # 初始分布 init_dist <- c(1, 0, 0) # 模拟10步的状态演变 simulate_markov_chain <- function(P, init_dist, n_steps) { states <- character(n_steps) current_state <- sample(1:nrow(P), 1, prob = init_dist) states[1] <- current_state for (t in 2:n_steps) { current_state <- sample(1:nrow(P), 1, prob = P[current_state, ]) states[t] <- current_state } return(states) } set.seed(1) sim_states <- simulate_markov_chain(P, init_dist, 50) table(sim_states)

这个简单的模拟能让你直观看到状态在三个状态之间游走的频率。但注意：单次模拟的随机性很大，如果要估计每种状态出现的概率，必须要做多次模拟然后取平均。

4.3 从转移矩阵推导稳态分布

马尔可夫链的一个重要性质是：在一定条件下（不可约、非周期），随着步数增加，状态分布会收敛到一个与初始分布无关的稳态分布。这个稳态分布在强化学习里非常重要，因为它描述了系统长期行为的统计特征。

在R里求稳态分布，可以用矩阵迭代的方法，也可以用线性方程组的解法。稳态分布π满足：π = πP，且∑π_i = 1。于是π就是转移矩阵P的转置的特征值1对应的左特征向量。

# 方法一：迭代法 init <- c(0.5, 0.2, 0.3) for (i in 1:100) { init <- init %*% P } round(init, 4) # 方法二：特征值分解 eigen_result <- eigen(t(P)) # 特征值为1对应的特征向量 stationary_vec <- as.numeric(eigen_result$vectors[, which(abs(eigen_result$values - 1) < 1e-8)]) stationary_vec <- stationary_vec / sum(stationary_vec) round(stationary_vec, 4)

这两种方法得到的结果应该非常接近。我强烈建议亲手把两个方法都写一遍，可以加深对“稳态分布存在性”和“收敛性”这两个概念的理解。后面做强化学习策略评估时，这种“迭代更新直到收敛”的思想会再次出现，只是更新规则从“乘转移矩阵”变成了“贝尔曼方程更新”。

5. 从马尔可夫链到马尔可夫决策过程（MDP）

5.1 MDP五元组

马尔可夫链是“没有决策者”的，它的状态转移只遵循固定的概率，不存在主动性。而强化学习里的马尔可夫决策过程（MDP）在马尔可夫链基础上加入了“动作”和“奖励”两个元素，可以用五元组(S, A, P, R, γ)来表示：

• S：状态集合
• A：动作集合
• P：状态转移概率，P(s' | s, a)表示在状态s采取动作a后转移到s'的概率
• R：奖励函数，R(s, a, s')表示一次转移获得的即时奖励
• γ：折扣因子，决定未来奖励折现到现在的程度，取值通常在0到1之间

MDP就是强化学习的“剧本”：智能体在每个状态选择一个动作，环境根据转移概率给出新状态和奖励，如此循环往复。马尔可夫性质在这里同样起着兜底作用——当前状态已经包含了决策所需的全部历史信息，不需要回溯更早的状态。

5.2 在R中实现一个最简单的策略评估

策略评估是理解MDP的最佳入口。所谓策略评估，就是给定一个固定的策略π，计算每个状态的价值函数V_π(s)。价值函数的定义是：从状态s出发，按照策略π行动，长期折扣回报的期望。

用贝尔曼方程表示：V_π(s) = Σ_a π(a|s) Σ_{s'} P(s'|s,a) [R(s,a,s') + γ V_π(s')]。

在R里，用迭代法求解这个过程非常直观。考虑一个简单的两状态MDP：状态A和状态B，两个动作都转到确定的下一个状态。策略固定为一直执行动作1。

# 状态：1, 2 # 动作：1, 2 # 转移概率 P[state, action, next_state] P <- array(0, dim = c(2, 2, 2)) # 在状态1执行动作1，100%转移回状态1 P[1, 1, 1] <- 1 # 在状态1执行动作2，100%转移到状态2 P[1, 2, 2] <- 1 # 在状态2执行动作1，100%转移到状态1 P[2, 1, 1] <- 1 # 在状态2执行动作2，100%转移到状态2 P[2, 2, 2] <- 1 # 奖励 R[state, action, next_state] R <- array(0, dim = c(2, 2, 2)) R[1, 1, 1] <- 1 R[1, 2, 2] <- 0 R[2, 1, 1] <- -1 R[2, 2, 2] <- 2 gamma <- 0.9 # 策略：固定选择动作1 policy <- rep(1, 2) # 价值迭代式策略评估 V <- c(0, 0) for (iter in 1:100) { V_new <- numeric(2) for (s in 1:2) { a <- policy[s] V_new[s] <- sum(P[s, a, ] * (R[s, a, ] + gamma * V)) } if (max(abs(V_new - V)) < 1e-6) break V <- V_new } print(V)

这个例子虽然玩具，但已经把策略评估的核心循环写得明明白白了：反复套用贝尔曼方程，直到价值函数收敛。理解了这段代码，你再去看深度强化学习里的Q-learning、DQN，会发现它们只是用神经网络替代了这里的查表法，去处理规模更大、状态连续的MDP。

5.3 MDP和强化学习的三个关键联系

学到这里，很容易产生一个疑问：MDP和强化学习到底什么关系？我用三句话总结我的理解：

• 强化学习要解决的问题就是“在未知MDP中学到最优策略”：如果MDP完全已知，直接做动态规划就能求出最优策略；现实问题往往不知道转移概率和奖励函数，才需要智能体通过试错来学习。
• 马尔可夫性质是强化学习算法的效率保障：没有马尔可夫性质，策略评估和Q学习都不能只依赖当前状态做决策，历史信息会让状态空间指数级膨胀。
• 采样替代精确求解是强化学习的灵魂：MDP的迭代解法需要完整的转移矩阵，但现实中我们只有环境交互产生的样本。蒙特卡洛方法、时序差分（TD）方法，本质上都是在用样本来估计贝尔曼方程中的期望。

6. 融合实操：用SVR服务强化学习中的状态转移建模

6.1 SVR在强化学习中的两个典型角色

把SVR和马尔可夫模型放到一个项目里，不是简单地把两段代码拼在一起，而是让SVR真正嵌入到强化学习的计算框架中去。最常见的两种做法是：

• 价值函数逼近：当状态空间连续且维度较高时，表格法无法存储每个状态的价值。这时可以用SVR来学习“状态特征到价值”的映射。把状态特征作为输入，目标价值作为输出，用回归的方式拟合V(s)。
• 环境动态模型拟合：在model-based RL中，先让智能体与环境交互采集一批(状态s, 动作a, 下一状态s')数据，然后用SVR学习转移函数s' = f(s, a)。有了这个拟合出来的环境模型，智能体就可以在“想象中”做规划，减少真实环境交互次数。

6.2 一个简化的组合示例：SVR拟合动态模型

用一个一维状态的一步预测问题来演示。假设环境动态是s_{t+1} = 0.5 * s_t + a + 高斯噪声。我们收集一批数据，然后用SVR来学习这个转移函数。

set.seed(10) n_samples <- 500 s_t <- runif(n_samples, -2, 2) a_t <- sample(c(-1, 0, 1), n_samples, replace = TRUE) s_next <- 0.5 * s_t + a_t + rnorm(n_samples, mean = 0, sd = 0.2) env_data <- data.frame(s = s_t, a = a_t, s_next = s_next) # 训练SVR模型来预测下一状态 fit_dynamics <- svm( s_next ~ s + a, data = env_data, type = "eps-regression", kernel = "radial", cost = 5, gamma = 0.4, epsilon = 0.05 ) # 用训练好的模型做一步预测 pred_s_next <- predict(fit_dynamics, env_data) # 对比真实值和预测值 env_data$pred_s_next <- pred_s_next head(env_data)

跑完这段代码你会发现，SVR学到的转移函数和真实动态非常接近，预测残差的均值接近0。这说明SVR在环境动态较小、数据量充足的情况下，完全可以胜任“环境模型”的角色。

6.3 模拟规划：用拟合的SVR模型做一步最优动作选择

有了拟合好的动态模型SVR，你就可以做一件在无模型强化学习中很昂贵的事情——通过模拟来评估不同动作的效果。在一个状态s下，遍历所有可能的动作a，用SVR预测下一状态s'，再把s'的长期价值累加上去，选出使总价值最大的动作。

# 设定一个简单的价值函数：状态越大，价值越高 value_function <- function(s) { s } # 在给定状态s下选择最优动作 choose_action <- function(s, actions = c(-1, 0, 1), fit_dynamics) { predicted_next_states <- numeric(length(actions)) for (i in seq_along(actions)) { action_data <- data.frame(s = s, a = actions[i]) predicted_next_states[i] <- predict(fit_dynamics, action_data) } values <- value_function(predicted_next_states) return(actions[which.max(values)]) } # 测试 choose_action(s = 1.0, fit_dynamics = fit_dynamics) choose_action(s = -0.5, fit_dynamics = fit_dynamics)

这个例子简化了规划过程，但核心思想是成立的：如果你有一个足够精准的环境模型，就能通过模拟推演来做决策，而不需要真正去环境中反复试错。这个思路是model-based强化学习的起点。

6.4 一个实测提醒：SVR拟合动态模型的边界

我把这个方法扩展到更复杂的动态系统时踩过一个坑：当环境的转移动态是非线性很强、甚至混沌的系统时，单个SVR模型很难拟合到位。一个可行的改进是让模型输出的不只是下一状态的均值，而是下一状态的分布信息——比如用分位数回归或者预测残差的统计量。这样在后续做规划时能更好地刻画不确定性，避免被模型的过度自信误导。

另一个容易疏忽的点是：强化学习的数据是序列相关的，不像监督学习的独立同分布数据。在用SVR拟合环境动态时，如果训练数据来自同一条轨迹的连续样本，样本之间存在强自相关，直接做交叉验证会高估模型性能。正确做法是按轨迹划分训练集和测试集，或者至少保证折与折之间没有时间上的重叠。

7. 常见问题与排查技巧实录

7.1 数据标准化问题导致的SVR预测漂移

这是我见过的最高频问题。SVR的核函数计算样本间距，如果输入特征的量纲差得大，小量纲的特征会被大量纲的特征淹没。比如在预测房价时，“面积”是几十到几百量纲，“房龄”是个位数量纲，如果不做标准化，模型几乎完全由面积主导。

解决方案是先对训练数据做scale，再把scale的中心和尺度保存下来，预测时同样对测试数据做相同的变换。预测结果如果要还原到原始量纲，要记得乘以尺度再加回中心。千万别把训练集的scale对象丢掉，否则测试集的变换会出错。

7.2 e1071包安装报错

在Windows上，e1071一般来说很好装。但在某些R版本和Rtools组合下，编译依赖会出问题，报错信息通常指向“libsvm”或“gfortran”。遇到这类情况有两条路：

• 更新R到最新版本并安装匹配的RTools，然后重新编译安装e1071。
• 改用kernlab包。kernlab的ksvm函数同样支持SVR（type = “eps-svr”），接口和e1071略有不同，但功能完全足够。

我做了一个简单的对照表，方便你快速了解两者的差异：

7.3 马尔可夫模拟与策略评估的收敛性判断

马尔可夫链的模拟次数不是随便定的。有一次我在研究稳态分布时，只跑了50步，结果不同初始条件下的分布差异明显，我以为模型出了问题。后来查资料才明确：收敛速度取决于转移矩阵的混合率（mixing rate），而混合率和特征值的第二大绝对值有关。这个值的绝对值越接近1，收敛越慢。

在R里可以用eigen(P)函数查看特征值谱，快速判断收敛快慢。如果第二大特征值的绝对值已经超过0.95，那模拟步数建议至少加到1000步，甚至更多。策略评估的迭代也有类似特征，只是收敛判断依据是贝尔曼更新前后的价值差是否小于阈值。

7.4 SVR残差不满足正态性的处理

在使用SVR拟合环境动态模型后，我习惯检查残差分布。如果残差明显非正态，比如出现厚尾或有系统性偏差，这时候不要硬着头皮继续用均值预测，而是考虑分位数回归或者干脆换一种拟合器（比如梯度提升树）。还有一个简单的改进方案：对目标变量先做一次变换，例如对数变换或Box-Cox变换，让数据更接近线性关系，SVR拟合效果会更好。

我自己在实验中发现：环境动态的噪声如果接近均匀分布，SVR的epsilon损失函数比平方损失更合适，因为它对大误差的惩罚更温和，不会让少数极端样本绑架整个模型。

7.5 一个容易忽略的问题：状态特征的构造方式

在学习SVR拟合动态模型时，很多人的输入只有当前状态s，只输出下一状态s'。这在马尔可夫假设下是合理的，但如果环境不是完全可观测的，单靠当前状态无法有效预测下一状态。这时候需要在特征中加入历史信息，比如最近k步的状态序列，或者状态的一阶差分、二阶差分。

我在做机械臂轨迹数据时发现，加入速度和加速度特征之后，SVR一步预测的误差下降了近40%。这说明特征工程在强化学习环境建模中和在传统监督学习中一样重要，甚至更重要，因为它直接影响“状态表示”的完备性。

最后再分享一点个人体会

这篇文章从R语言的SVR模型一路写到强化学习里的马尔可夫模型，看似跨度很大，但核心只有一条主线：建模的本质是找到数据背后的结构，而结构在不同的决策层级上会呈现出不同的形式。SVR帮你捕捉静态的输入输出关系，马尔可夫模型帮你描述动态系统的状态转移规律，把它们放在一起，你就拥有了一套既能“理解现在”又能“推演未来”的工具组合。

我特别建议刚入门的朋友不要跳过第2章和第4章的合成数据实验。很多概念看起来简单，比如转移矩阵、稳态分布、策略评估，但只有亲手写一遍代码、画几幅图、观察几次收敛过程，才能真正在直觉上建立“动态系统”的感觉。等你回头再去看深度强化学习里的各种算法，会发现它们并没有那么玄妙——理论上都是贝尔曼方程的变体，工程上都是采样和函数逼近的结合体。

最后留一个可以自己扩展的练手方向：把第6章的SVR动态模型用到一个连续控制问题里，比如倒立摆的简化模型，让SVR学习状态转移，再用模型预测控制（MPC）的方式选动作。跑通之后，你对model-based强化学习的理解会比看十篇文章都深刻。