摄像头、无人机和物联网节点正在承担越来越多的识别、检测和决策任务,但边缘设备通常缺少足够的存储器、算力和电池容量。传统部署方式需要把机器学习模型下载到设备,再由本地数字处理器反复执行矩阵乘法。模型越大,权重搬运和数据转换带来的能耗就越难忽略。
Tingjun Chen等人提出的 WISE(wireless smart edge networks)改变了问题的拆分方式:模型权重不必完整存储在每个终端,而是由中心无线电广播;终端只保留本地输入,并利用射频混频器直接完成一部分机器学习计算。换句话说,无线链路不再只是传输数据,也参与了计算本身。
图1|WISE将模型权重广播、无线信道和边缘端射频混频器组合成一个分布式推理系统。该图为基于论文方法重绘的示意图。
一、边缘AI的瓶颈,为什么不只是算力?
一个全连接层最基本的运算是矩阵-向量乘法(matrix-vector multiplication, MVM):
其中是模型权重,
是当前输入,
是该层输出。数字处理器执行这一运算时,需要不断完成“从存储器读取权重—搬运输入—乘法—累加—写回结果”的循环。
当模型参数规模变大时,真正消耗能量的部分并不一定是乘法器本身,而可能是存储器访问、模数转换、数字信号传输和中间结果搬运。这就是常说的 memory wall:处理器越来越快,但数据在存储器和计算单元之间移动的代价越来越高。
边缘设备还面临两个额外问题:
将模型从云端下载到终端需要无线带宽和通信能耗;
将原始数据上传云端进行推理会增加时延和隐私风险。
WISE的核心思路,是把模型访问和矩阵计算同时放到无线边缘网络中处理:中心节点负责提供模型参数,终端负责提供本地输入,射频电路负责完成部分乘加运算。
二、WISE到底把什么分散了?
传统边缘AI通常是“每个终端一份模型”:
flowchart LR A[云端模型] --> B[下载到终端