神经网络这门技术,说白了是“熬”出来的。从感知机到深度神经网络,名字听着像是直线升级,实际上中间经历了被主流抛弃、被同行嘲笑、被资金断供的至暗时刻,又靠着几代研究者不服输的执念和几次偶然的算力突破,才一步步爬回舞台中央。六十年,足够一个婴儿长成老人,也足够一项技术从“歪门邪道”变成“时代底座”。
这篇文章,我想把这六十年按我自己的理解切成五段来讲:感知机的黄金时代与“原罪”、第一次寒冬与反向传播续命、深度学习如何借壳重生、工程智慧怎样突破理论瓶颈、以及最后从这六十年里能提炼出什么真正有用的教训。不堆术语,每个关键概念都会拆开揉碎讲清楚,还会带上不少我实际做项目时踩过的坑——比如为什么“更深”不等于“更好”,为什么数据比模型更决定上限。不管是刚入门的学生、转行的开发者,还是已经在一线调模型的从业者,都能从中找到一些对你有用的东西。
1. 感知机的黄金时代与“原罪”
1.1 M-P模型:神经网络最初的“神经元草图”
先说起点。今天所有深度神经网络,往上追溯都要回到一个极简的数学模型——M-P模型。这是两位学者在1943年前后提出的,核心思想并不复杂:神经元接收多个输入信号,每个信号乘以一个权重,加权求和后与一个阈值比较,超过阈值就输出1(兴奋),否则输出0(抑制)。就这么一个“加权求和加阈值判断”的规则,构成了后来所有神经网络的基本计算单元。
你把它想象成一个人做决定:早上要不要带伞,要考虑天气预报(一个输入)、窗外天色(另一个输入)、昨天的湿度(第三个输入),每个因素在你心里的重要程度不同,这就是权重。把所有因素加权打个总分,超过某个心理阈值,你就决定带伞。M-P模型干的就