news 2026/8/8 1:12:36

DAY27 pipeline管道

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
DAY27 pipeline管道

一、知识回顾:

1、转化器和估计器的概念

(1)转换器

转化器通俗的来说就是对数据进行预处理的工具,转换器的特点是无状态的,即它们不会存储任何关于数据的状态信息(指的是不存储内参),根据输入数据学习转换规则(比如函数规律、外参),并将其应用于新的数据。

代码示例:

from sklearn.preprocessing import StandardScaler # 初始化转换器 scaler = StandardScaler() # 1. 学习训练数据的缩放规则(计算均值和标准差),本身不存储数据 scaler.fit(X_train) # 2. 应用规则到训练数据和测试数据 X_train_scaled = scaler.transform(X_train)

(2)估计器

估计器是实现机器学习算法的对象或类。估计器的主要方法是fit和predict。fit方法用于根据输入数据,学习模型的参数和规律,而predict方法用于对新的未标记样本进行预测。估计器的特点是有状态的,它们在训练过程中存储了关于数据的状态信息,以便在预测阶段使用。

参考代码:

from sklearn.linear_model import LinearRegression # 创建一个回归器 model = LinearRegression() # 在训练集上训练模型 model.fit(X_train_scaled, y_train) # 对测试集进行预测 y_pred = model.predict(X_test_scaled)

2、管道工程

机器学习的管道机制通过将多个转换器和估计器按顺序连接在一起,可以构建一个完整的数据处理和模型训练流程。具体而言,在管道机制中,可以使用Pipeline类来组织和连接不同的转换器和估计器。Pipeline类提供了一种简单的方式来定义和管理机器学习任务的流程。

二、pipeline管道架构的搭建

1、导入基础库、 Pipeline 和相关预处理工具、机器学习模型和评估工具,并加载原始数据。

2、分离特征和标签,划分数据集

3、定义预处理步骤

(1)识别原始的 object 列

非数值型->离散变量:

(2)构建处理有序特征的 Pipeline:先填充缺失值,再进行有序编码

(3)构建处理标称特征的 Pipeline:先填充缺失值,再进行独热编码

连续性数值

(4)直接从所有列中排除已知的有序和标称特征,构建处理连续特征的 Pipeline: 先填充缺失值,再进行标准化。

(5)基于以上形成的三种Pipeline构建 ColumnTransformer,将不同的预处理应用于不同的列子集,构造一个完备的转化器。

(6)构建完整的 Pipeline,将预处理器和模型串联起来(加入估计器

(7)使用 Pipeline 对模型进行训练和评估。

@浙大疏锦行

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/8/7 12:52:44

如何用 ShedLock 让 Spring Boot 的定时任务在多实例环境下只执行一次

执行。原因很简单:默认情况下,Spring 不会在多个实例之间做调度同步。这篇文章就聊聊怎么用 ShedLock,让定时任务在多实例环境下“同一时刻只跑一次”。顺便一提,它也能作为 Quartz 的替代。Maven 依赖先引入 shedlock-spring 这个…

作者头像 李华
网站建设 2026/8/7 23:35:18

基于MPC的永磁同步电机非线性终端滑模控制仿真研究

基于MPC的永磁同步电机非线性终端滑模控制仿真研究 matlab simulink 无参考文件在电机控制领域,永磁同步电机(PMSM)以其高效、高功率密度等优点,广泛应用于工业、交通等诸多领域。为了实现PMSM更加精准、高效的控制,各…

作者头像 李华
网站建设 2026/8/7 23:34:52

ISSA - CNN - BiLSTM多输入单输出回归的Python实现与改进

ISSA多策略改进麻雀优化ISSA-CNN-BiLSTM 多输入单输出回归 python代码 优化参数:filter,unints1,units2,学习率(可添加) 以下是三个主要的改进点: sin混沌映射: sin混沌映射初始化种群,这是一种…

作者头像 李华
网站建设 2026/8/7 23:48:52

Q学习(Q-learning)路径规划算法实战

Q学习(Q-learning)路径规划算法。 matlab代码。 智能体与环境交互来更新Q值表。 可以通过窗口界面方便观察交互过程 非4栅格拓展!智能体可以在一个栅格向8个方向拓展。 代码注释详尽,可以方便替换自己的地图。 #路径规划 #强化学习…

作者头像 李华
网站建设 2026/8/7 23:49:08

ANSYS/LS - dyna防爆涂层砂浆砖框架结构爆破荷载损伤响应案例探索

ANSYS/LS-dyna防爆涂层砂浆砖框架结构爆破荷载损伤响应案例 1.GUI模式快速建立砂浆砖模型,易上手,灵活度高。 2.采用壳单元法、实体单元法两种方法考虑防爆涂层的作用效果。 3.讲述砂浆砖模型如何进一步嵌入实体框架当中,包含模型关键字导入&…

作者头像 李华
网站建设 2026/8/5 2:44:21

基于TOA/FOA的无源定位方法MATLAB仿真探索

MATLAB仿真 基于toa/foa的无源定位方法,二次等式约束求解 有 参考文档 无源定位技术:二次等式约束最小二乘估计理论与方法 第八章在无线定位领域,基于TOA(Time of Arrival,到达时间)和FOA(Frequ…

作者头像 李华