10.20.
transformer
作用
输入为用户的历史会话,并整理这一份历史语义ID,预测并输出下一个物品的语义ID
优势
强大的泛化和冷启动能力,能够较好的应对陌生和未训练的物品
结构
分为编码器和解码器
编码器:读取用户的历史会话,编码为包含上下文信息的隐藏序列状态
解码器:基于编码器的输出,不断解码,直到生成物品的完整的语义ID
训练与推理机制
训练:将目标物品的语义ID作为监督信号,通过最大似然估计来优化模型,让模型能够学会根据历史序列正确的生成目标序列
推理:采用自回归,从编码的用户历史开始,逐步生成目标物品每一个码字。通过Beam Search等解码策略,逐个吐出码字,生成序列时保留概率最高的前K个分支,最后取概率最高的分支