一文读懂Token Merging核心基础知识

写在前面

欢迎大家关注Rocky的知乎：Rocky Ding
《三年面试五年模拟》AIGC/LLM/AI Agent算法工程师/开发工程师求职面试秘籍独家资源：【三年面试五年模拟】WeThinkIn/AIGC-Interview-Book，欢迎大家Star～

Rocky最新撰写的10万字AI Agent（AI智能体）深入浅出全维度解析文章：深入浅出完整解析AI Agent（AI智能体）的核心基础知识

AIGC/LLM/AI Agent算法岗/开发岗求职面试内推学习社群（涵盖涵盖AIGC、LLM大模型、AI Agent、传统深度学习、自动驾驶、机器学习、计算机视觉、自然语言处理、强化学习、大数据挖掘、具身智能、元宇宙、AGI等AI行业最新面试干货经验与核心知识）欢迎大家加入：https://t.zsxq.com/33pJ0

大家好，我是Rocky。

核心导读

如果只用一句话概括 ToMe，它不是一个“让 ViT 更小”的方法，而是一个让已有 ViT 在不重新训练的情况下跑得更快的方法。

这篇论文最值得保留的价值，不在于它提出了一个复杂新结构，而在于它抓住了视觉 Transformer 里一个很现实的工程事实：图像、视频、音频这类信号天然有大量冗余 token。传统 token pruning 的思路是“删掉不重要的 token”，但删除会丢信息，也经常需要重新训练、加 mask、加 padding，最终不一定带来真实吞吐提升。ToMe 的思路更温和：不要把 token 丢掉，而是把相似 token 合并，让多个 patch 共享一个 token 表达。

Rocky认为，这篇论文在 AIGC 图像/视频大模型轻量化里有跨周期价值，原因有三点：

1. 它把加速目标从“改模型结构”转向“压缩运行时 token 数量”，对已经训练好的 ViT、视频 Transformer、甚至后续扩散模型中的 attention block 都有启发。
2. 它不是只看 FLOPs，而是报告真实吞吐、训练耗时、批处理可行性，这比很多轻量化论文更接近生产系统。
3. 它的核心机制很朴素：相似性匹配、逐层合并、记录 token size、比例注意力。这种朴素反而说明它可能成为一类通用工程技巧，而不是只服务某个 benchmark 的一次性方法。

当然，ToMe 也不是免费午餐。它牺牲的是细粒度 token 表达，适合冗余高、对局部细节不极端敏感、可以接受速度-精度折中的任务。如果任务强依赖像素级定位、边界细节或小目标，合并策略就必须更谨慎。

问题背景：ViT 的瓶颈不是不会表达，而是 token 太贵

ViT 的优势在于统一。图像可以切成 patch，视频可以切成时空 patch，音频也可以转成类似谱图 token。Transformer 本身不强依赖卷积、金字塔或局部窗口这些视觉先验，所以它很容易跨模态迁移，也更容易被大规模自监督预训练接住。

但 ViT 的代价同样明显：token 越多，attention 和后续 MLP 的计算越重。尤其在高分辨率图像、视频、多帧输入里，token 数量会迅速变成吞吐瓶颈。大模型时代常见的尴尬是：模型能力已经不错，但真实部署时延、显存、吞吐、训练时间把它拽回现实。

传统解决方案大概有几类：

• 设计更高效的视觉结构，比如 Swin、MViT、LeViT 这类带视觉归纳偏置的模型；
• 做 token pruning，动态删掉“不重要”的 token；
• 做稀疏注意力、线性注意力或更底层的算子优化；
• 蒸馏或重新训练一个更小模型。

ToMe 选择了另一条路线：不重新设计 ViT，不默认重新训练模型，而是在每个 Transformer block 里逐步合并冗余 token。

这个方向的关键不是“少一些 token”这么简单。真正关键的是：减少 token 的同时，不能破坏批处理，不能引入太重的匹配开销，不能让信息直接消失，也不能要求每个模型都重新训练一遍。

图 1 是这篇论文最重要的机制图。它展示了三件事：第一，相似 patch 可以被合并成同一个 token；第二，ToMe 插入在标准 Transformer block 内部，而不是重写整个模型；第三，作者用一个很轻量的 bipartite soft matching 来决定哪些 token 应该合并。

核心思路：从 token pruning 转向 token merging

Token pruning 的直觉很直接：既然很多 token 不重要，那就删掉它们。但在视觉任务里，“不重要”经常是一个危险判断。背景 token 可能帮助判断场景，物体局部 token 可能参与分类，视频里的某个小区域可能是动作关键线索。删 token 的最大问题是：一旦删掉，信息就没了。

ToMe 的底层判断是：视觉 token 不是只有“保留”和“删除”两种命运。很多 token 不是没用，而是和附近或语义相似区域表达的信息高度重叠。既然如此，与其删掉，不如合并。

论文里 ToMe 的基本流程可以拆成五步：

1. 在每个 Transformer block 中，把 token 分成两个集合 A 和 B。
2. 对 A 中每个 token，在 B 中找到最相似的 token。
3. 选择相似度最高的r rr条边。
4. 把这些相连 token 合并，例如做加权平均。
5. 把合并后的 token 集合继续送入后续层。

这里的r rr不是比例，而是每层减少的 token 数量。如果一个模型有L LL层，每层减少r rr个 token，整体就会逐步减少r L rLrL个 token。这个设计很重要：它让 token 数量是固定可控的，而不是每张图动态变化。固定 token reduction 对真实推理尤其重要，因为它不会破坏 batch inference，也不需要用 padding 把不同样本补齐。

Rocky认为，这一点是 ToMe 和很多 token pruning 方法最大的工程分界线。论文里的很多 pruning 方法在理论 FLOPs 上很好看，但动态 token 数会让批处理变麻烦，训练时又常常要用 mask 或 padding，最后速度收益被工程细节吃掉。ToMe 的目标更务实：真实 token 数真的变少，batch 还能正常跑，匹配本身足够便宜。

方法展开：ToMe 怎么决定合并谁

用 K 向量判断 token 相似性

一个自然想法是直接用 token featureX XX的距离判断相似度。但论文指出，中间特征空间可能过度参数化，里面既有语义，也有噪声。比如 ViT-B/16 的 token 维度可以完整编码一个 16 x 16 RGB patch 的像素值，这并不意味着直接比较 feature 就最可靠。

ToMe 选择使用 attention 里的 key，也就是K KK矩阵。原因很简单：在 self-attention 中，key 本来就是为了参与 dot-product similarity 而学习出来的 token 表达。换句话说，模型已经在 attention 机制里学会“哪些 token 应该被互相关注”，ToMe 顺手利用这个表征来判断哪些 token 可以合并。

论文的消融实验显示，在 feature choice 上，用K KK的效果最好：在 ViT-L/16 MAE off-the-shelf 设置下，使用K KK得到 84.25% accuracy 和 182.9 im/s；相比之下，使用 pre-attention feature 只有 83.02%。这说明 ToMe 不是随便做 token 聚类，而是在复用 Transformer 自己的相似性语言。

Bipartite soft matching：为什么不用 k-means

如果目标是把相似 token 分组，很多人第一反应可能是 k-means。但 k-means 在这里有两个问题：

• 它是迭代式算法，每个 Transformer block 都跑一次会很贵；
• 它可能让很多 token 聚到同一个中心，变化太剧烈，容易把不该合并的信息混在一起。

ToMe 用 bipartite soft matching 解决这个问题。它先把 token 分成 A、B 两组，然后只让 A 中每个 token 找 B 中最相似的一个 token，再选 top-r 边。这样做的好处是：匹配过程高度并行，复杂度可控，而且每次合并的变化比较温和。

论文在 matching algorithm 消融里给了很清楚的证据：

这个表的含义很直接：随机删 token 速度最快但精度掉得太多；k-means 既慢又不够准；greedy matching 很准但不够并行；bipartite matching 基本保留了 greedy 的精度，同时接近 pruning 的速度。

图 2 展示了 15,000 个随机 merging schedule 的结果。论文默认采用 constant schedule，也就是每层合并同样数量的 token。它不一定在所有吞吐区间绝对最优，但整体非常接近最优，而且实现简单、可控、容易部署。作者也定义了 decreasing schedule，也就是前面层合并更多、后面层合并更少，用来追求更高吞吐。

Proportional attention：合并后 token 代表的不再是一个 patch

Token 合并之后还有一个细节：合并 token 不再代表一个 patch，而可能代表多个 patch。如果仍然把它当作普通 token 放进 softmax attention，模型会低估这个 token 在注意力中的“数量权重”。

ToMe 用 proportional attention 修正这个问题。它为每个 token 维护一个 sizes ss，表示这个 token 代表多少个原始 patch，然后在 attention logits 里加入log ⁡ s \log slogs：

A = softmax ⁡ ( Q K ⊤ d + log ⁡ s ) A = \operatorname{softmax}\left(\frac{QK^\top}{\sqrt{d}} + \log s\right)A=softmax(d​QK⊤​+logs)

直觉上，这等价于告诉模型：这个 key 背后其实有多个相似 token 被合并进来了。合并 token 时，也要按 size 做加权平均，而不是简单平均。论文消融显示，weighted average 明显优于 keep one、max pool 和普通 average pooling。

这一点很容易被忽略，但它是 ToMe 能从“粗暴压缩”变成“近似保留信息”的关键。Rocky认为，这也给很多 AIGC 加速方法一个启发：压缩不是只减少元素数量，还要保留被压缩元素的统计意义。

实验与证据：ToMe 到底能加速到什么程度

图像：大模型越深，越适合逐层温和合并

论文在 ImageNet-1k 上测试了多类 ViT：AugReg、MAE、SWAG、DeiT。一个很重要的结果是，ToMe 可以直接用于 off-the-shelf 模型，也就是不重新训练，只改几行代码就能跑。

图 3 到图 5 的核心信息不是每条曲线的细节，而是一个趋势：越大的 ViT，ToMe 的速度-精度折中越好。论文指出，在 2x throughput 附近，小模型 ViT-B/S/Ti 会有 4%-5% accuracy drop，但 ViT-L 在 224px 图像上约 2% drop，在 384px 图像上约 0.7% drop；SWAG 里的 ViT-L @512 和 ViT-H @518 在 2x 左右吞吐下只有约 0.3% accuracy drop，而且不需要训练。

这背后有一个合理解释：大模型更深，逐层合并可以更温和地改变 token 表达，模型有更多层去吸收这种变化。小模型层数少、容量低，每次 token 合并都会更“伤筋动骨”。

这对 AIGC 大模型轻量化很有启发。很多人直觉上会认为大模型更难加速，但 ToMe 给出的信号恰好相反：当大模型有足够冗余和深度时，运行时 token 压缩可能比小模型更有空间。

与 SOTA 和 pruning 对比：ToMe 的强项是真实吞吐和训练速度

论文把 ToMe 和其他图像模型、token pruning 方法做了对比。两个结论比较重要：

这里最值得看的是训练速度。很多 token pruning 方法训练时并不能真的删 token，因为动态 token 数会影响 batch，所以最终用 mask 或 padding 模拟，训练速度收益并不明显。ToMe 由于真实减少 token 数量，而且 token 数量可控，所以训练也能受益。

这就是论文标题里 “Your ViT but Faster” 的真正含义：它不是重新训练一个小模型替代原模型，而是让原来的 ViT 在推理或训练阶段更快。

可视化：ToMe 学到的是一种粗粒度 part grouping

图 6 很有解释价值。不同颜色表示最终被合并到同一 token 的 patch。可以看到，ToMe 往往会把狗毛、身体、腿、脸、背景等相似区域合成组。它不像语义分割那样精细，但确实呈现出一种 primitive part segmentation。

Rocky认为，这张图是理解 ToMe 的关键：它不是随机压缩，而是在利用视觉世界的冗余结构。对于图像生成、视频生成、编辑、检索这类任务，这种结构很重要。AIGC 系统里的 token 冗余往往不是噪声，而是空间、材质、颜色、对象部分、视频运动轨迹的重复表达。ToMe 的价值在于把这些重复表达合并成更便宜的载体。

视频：冗余更高，所以收益更明显

视频天然比图像更冗余。相邻帧里背景变化很小，物体运动连续，同一个对象会跨多帧出现。ToMe 不需要改变代码，就可以从图像迁移到视频模型上。

论文在 Kinetics-400 上测试 Spatiotemporal MAE 的 ViT-L。关键结果是：constant schedule 可以把 throughput 提升到 2.2x，同时 accuracy 只下降 0.2%；训练时间从估计 263 小时降到 136 小时，接近减半。

图 8 展示了一个更有意思的现象：ToMe 不只是在单帧里合并相似区域，它可以把视频中跨帧运动的同一物体合并到同一 token 组里。论文里的例子是一个球在多个帧里被红色 token 高亮，说明 ToMe 在某种程度上形成了 primitive part tracking。

这对视频生成和视频理解都很重要。视频模型最大的成本之一来自时空 token。若能稳定合并跨帧冗余 token，就不仅是省计算，还可能让模型用更低成本表达对象轨迹和时序一致性。当然，这里仍然是分类任务证据，不能直接等同于视频生成里的长期一致性能力，但方向值得借鉴。

音频：说明方法不是视觉专属 trick

论文还在 AudioSet-2M 上测试了音频 MAE 预训练后的 ViT-B。结果显示，训练后 ToMe 可以把 sample/s 从 103 提到 200，接近 2x throughput，同时 mAP 只从 46.4 降到 46.0，约 0.4 mAP drop。

这个结果说明 ToMe 抓住的是 Transformer token 序列里的冗余，而不是某个图像任务专属的经验技巧。只要输入存在冗余，且模型可以容忍逐层温和合并，ToMe 就可能有意义。

为什么这篇论文对 AIGC 图像/视频大模型加速仍然重要

从 2023 到今天，AIGC 模型已经从图像分类走向扩散模型、视频生成、多模态理解、世界模型和 Agent 运行环境。表面上看，ToMe 是一篇 ViT 加速论文，不是生成模型论文。但它的思想仍然值得放进 AIGC 轻量化专栏里，因为它提出的是一种更通用的运行时压缩范式。

1. 它不依赖重训，适合已有大模型的后验加速

很多生产系统最难接受的不是结构改动，而是重新训练。重新训练意味着算力、数据、评估、回归测试、上线风险都要重来。ToMe 的强点是 off-the-shelf：对已有模型做运行时 token 合并，先换吞吐，再决定是否训练微调。

在 AIGC 产品里，这类方法尤其有价值。图像/视频生成模型的训练成本高，模型版本多，用户侧又对延迟敏感。如果一个方法必须从头训练，它的工程门槛会非常高；如果可以作为推理侧 patch，哪怕收益有限，也可能先进入真实产品试验。

2. 它让“token 是生产资料”这件事更清楚

大模型时代，token 不只是文本里的单位。视觉 patch、视频 frame patch、音频片段、多模态上下文，都可以被看成昂贵的计算载体。ToMe 直接告诉我们：如果 token 之间有冗余，就应该思考能否合并、复用、缓存、压缩，而不是只在模型结构上做文章。

这也是我认为 ToMe 有长期价值的原因。它不是追一个榜单，而是在回答生产系统问题：当模型已经足够强，如何用更少 token 承载近似同样的信息。

3. 它比很多 pruning 方法更接近真实工程

论文反复强调真实吞吐、batch inference、training speed，而不是只报理论 FLOPs。这个取向非常重要。很多轻量化方法看起来能减少计算量，但因为动态形状、padding、mask、kernel 不友好、部署图复杂，最后真实速度并不好。

ToMe 的固定 token reduction、轻量 matching、可训练也可不训练，使它更像一个工程组件。这不是说它一定能在所有模型上直接赢，而是说它提出的问题和评估方式更接近产业落地。

这篇工作的边界与风险

ToMe 的边界也要说清楚。

第一，它更适合冗余高的输入。视频、高清图像、大模型深层 token 往往冗余明显；但如果任务本身依赖细粒度局部判断，比如小目标检测、医学图像边界、像素级编辑、OCR 字符细节，合并 token 可能带来不可接受的信息损失。

第二，它的主要证据来自分类与识别任务。论文附录后来也讨论了 Stable Diffusion 方向，但这篇主论文的核心实验仍是 ImageNet、Kinetics-400、AudioSet。生成模型里的 token 合并要额外面对画面细节、提示词遵循、局部一致性、身份保持、时序稳定等问题，不能把分类结论直接平移。

第三，ToMe 的效果和模型大小、深度、预训练方式有关。论文里大模型表现更好，MAE 模型和 supervised 模型在 proportional attention 上表现也不同。这意味着落地时不能只设一个固定r rr，而要结合模型、分辨率、任务、延迟目标做曲线扫描。

第四，合并是有损操作。即使不是 pruning，也仍然改变了 token 表达。工程上需要建立回退策略：低风险任务可以更激进，高风险任务应该保守；用户交互场景可以用速度优先配置，最终高质量生成可以用低合并或不合并配置。

如果继续研究或落地，应该关注什么

如果把 ToMe 放到今天的 AIGC 系统里，我会重点关注五个方向。

1. 扩散模型 attention block 的 token 合并策略。图像生成里的 U-Net、DiT、视频扩散 Transformer 都有大量空间/时空 token，关键是如何合并后再恢复，避免局部纹理和身份漂移。
2. 视频生成里的跨帧 token 合并。ToMe 的视频可视化已经显示跨帧 part tracking 的苗头，但生成任务需要更严格的时间一致性评估。
3. 任务自适应的合并率。分类可以用固定r rr，但创作工具可能需要根据用户模式、分辨率、区域编辑、关键帧、主体区域动态调节。
4. 和缓存、KV reuse、speculative decoding 的组合。Token 合并是减少当前 token 数，缓存是复用历史计算，推理系统里二者可能形成组合收益。
5. 质量评估从准确率走向感知质量。AIGC 场景不能只看分类 accuracy，要看 CLIP/LPIPS/FID、人评、局部一致性、OCR、身份保持、动作一致性等。

术语与概念速查

Rocky 总结

ToMe 的核心价值，不是提出一个复杂的新模型，而是把视觉 Transformer 加速问题讲得很工程化：既然视觉 token 有冗余，就不要急着删掉它，而是先尝试合并它；既然大模型已经训练好，就不要默认重训它，而是先在运行时减少它要处理的 token；既然生产系统关心吞吐，就不要只看 FLOPs，而要看真实速度、batch、训练耗时和部署形态。

这篇论文适合放在 AIGC 图像/视频大模型轻量化专栏里长期保留。它不一定是今天所有生成模型加速的最终答案，但它提供了一种非常重要的思路：大模型推理优化不只是换小模型、蒸馏、量化或剪枝，也可以从 token 组织方式入手，把冗余视觉信息重新打包。

Rocky认为，未来图像/视频生成系统里的加速竞争，会越来越像一组组合拳：模型结构、算子优化、缓存、量化、蒸馏、动态分辨率、token merging、token pruning、KV 管理、调度系统一起发挥作用。ToMe 的位置，就是其中那个很朴素但很耐看的环节：它提醒我们，AIGC 的算力瓶颈很多时候不是因为信息不够，而是因为同一类信息被太多 token 重复表达了。

推荐阅读

1. 深入浅出完整解析AI Agent（AI智能体）的核心基础知识

2025年可以说是AI Agent全面落地应用的元年，因此Rocky在持续撰写对AI Agent的全维度解析文章：

深入浅出完整解析AI Agent（AI智能体）的核心基础知识

2. 深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识

Rocky对扩散模型的本质原理与和核心基础知识进行了全面系统的深入浅出分析讲解，同时不断跟进补充扩散模型的最新技术发展，希望能给大家带来帮助：

深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识

3. 入浅出完整解析FLUX.2、Seedream（即梦）、Z-image、GLM-Image核心基础知识

Rocky对AIGC时代“中场时刻”之后的主流AIGC创作大模型的核心基础知识进行了全面系统的深入浅出分析讲解，力求让大家通俗易懂理解AIGC时代的技术浪潮的本质价值：

入浅出完整解析FLUX.2、Seedream（即梦）、Z-image、GLM-Image核心基础知识

4. 深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识

Rocky对FLUX.1 Kontext和FLUX.1 Krea的核心基础知识作了全面系统的梳理与解析：

深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识

5. 深入浅出完整解析DeepSeek系列核心基础知识

Rocky对DeepSeek系列模型的核心基础知识作了全面系统的梳理与解析：

深入浅出完整解析DeepSeek系列核心基础知识

6. 深入浅出完整解析Stable Diffusion 3（SD 3）和FLUX.1系列核心基础知识

Rocky对Stable Diffusion 3和FLUX.1的核心基础知识作了全面系统的梳理与解析：

深入浅出完整解析Stable Diffusion 3（SD 3）和FLUX.1系列核心基础知识

7. 深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识

Rocky对Stable Diffusion XL的核心基础知识作了全面系统的梳理与解析：

深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识

8. 深入浅出完整解析Stable Diffusion（SD）核心基础知识

Rocky对Stable Diffusion 1.x-2.x系列模型的核心基础知识做了全面系统的梳理与解析：

深入浅出完整解析Stable Diffusion（SD）核心基础知识

9. 深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识

Rocky对Stable Diffusion中最为关键的U-Net结构进行了深入浅出的全面解析，包括其在传统深度学习中的价值和在AIGC中的价值：

深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识

10. 深入浅出完整解析LoRA（Low-Rank Adaptation）模型核心基础知识

对于AIGC时代中的“ResNet”——LoRA模型，Rocky进行了深入浅出的全面讲解：

深入浅出完整解析LoRA（Low-Rank Adaptation）模型核心基础知识

11. 深入浅出完整解析ControlNet核心基础知识

AIGC图像创作开源社区已经形成以Stable Difffusion/FLUX为核心，ConrtolNet和LoRA作为首要AI辅助工具的变化万千的AIGC图像创作工作流。

ControlNet正是让AI图像创作社区无比繁荣的关键一环，它让AIGC图像创作过程更加的可控，更有助于广泛地将AIGC算法解决方案应用到各行各业中：

深入浅出完整解析ControlNet核心基础知识

12. 深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识

AI绘画和AI视频是两个互相促进、相互交融的领域，2024年无疑是AI视频领域的爆发之年，Rocky对AI视频领域核心的Sora、Seedance、Keling等大模型进行了全面系统的梳理与解析：

深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识

13. 深入浅出完整解析AIGC时代Transformer核心基础知识

在AIGC时代中，Transformer为AI行业带来了深刻的变革。Transformer架构正在一步一步重构所有的AI技术方向，成为AI技术架构大一统与多模态整合的关键核心基座，大有一统“AI江湖”之势。Rocky也对Transformer模型进行持续的深入浅出梳理与解析：

深入浅出完整解析AIGC时代Transformer核心基础知识

14. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识

AIGC创作框架正是AIGC算法工作流的运行载体，目前主流的AIGC创作框架有ComfyUI、Diffusers、Stable Diffusion WebUI等。在传统深度学习时代，PyTorch、TensorFlow以及Caffe是传统深度学习模型的基础运行框架，到了AIGC时代，Rocky相信ComfyUI就是AIGC时代的“PyTorch”、Stable Diffusion WebUI就是AIGC时代的“TensorFlow”、Diffusers就是AIGC时代的“Caffe”：

深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识

15. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识

在AIGC时代中，如何快速转身，入局AIGC产业？如何成为AIGC/LLM/AI Agent算法/开发工程师？如何在学校中系统性学习AIGC/LLM/AI Agent知识，斩获心仪的AIGC/LLM/AI Agent算法/开发offer？

Don‘t worry，Rocky为大家总结整理了全面的AIGC/LLM/AI Agent算法/开发工程师成长秘籍，为大家答疑解惑，希望能给大家带来帮助：

手把手教你成为AIGC/LLM/AI Agent算法/开发工程师，斩获AIGC/LLM/AI Agent算法/开发offer！

16. AIGC产业的深度思考与分析

2023年3月21日，微软创始人比尔·盖茨在其博客文章《The Age of AI has begun》中表示，自从1980年首次看到图形用户界面（graphical user interface）以来，以OpenAI为代表的科技公司发布的AIGC模型是他所见过的最具革命性的技术进步。

Rocky也认为，AIGC及其生态，会成为AI行业重大变革的主导力量。AIGC会带来一个全新的红利期，未来随着AIGC的全面落地和深度商用，会深刻改变我们的工作、生活、学习以及交流方式，各行各业都将被重新定义，过程会非常有趣。

那么，在此基础上，我们该如何更好的审视AIGC的未来？我们该如何更好地拥抱AIGC引领的革新？Rocky准备从技术、产品、商业模式、长期主义等维度持续分享一些个人的核心思考与观点，希望能帮助各位读者对AIGC有一个全面的了解：

深入浅出全面解析AIGC时代核心价值与发展趋势（2025年版）

17. AI算法工程师的独孤九剑秘籍

为了方便大家实习、校招以及社招的面试准备，同时帮助大家提升扩展技术基本面，Rocky将符合大厂和AI独角兽价值的算法高频面试知识点撰写总结成《三年面试五年模拟》之独孤九剑秘籍:

【三年面试五年模拟】AIGC时代的算法工程师的求职面试秘籍（持续更新中）

18. 深入浅出完整解析AIGC时代中GAN（Generative Adversarial Network）系列模型核心基础知识

GAN系列模型作为传统深度学习时代的最热门生成式Al模型，在AIGC时代继续繁荣，作为Stable Diffusion/FLUX系列大模型的“得力助手”，广泛活跃于AlGC图像创作的产品与工作流中：

深入浅出完整解析AIGC时代中GAN（Generative Adversarial Network）系列模型核心基础知识