协同过滤与图书推荐系统：从相似度计算到物品CF实战解析

简介：基于协同过滤算法的图书推荐系统完整版，包含毕业论文与答辩演示文稿，面向计算机专业学生、毕业设计人员及推荐系统入门开发者，可用于课程设计、论文实现或实际项目搭建。系统围绕用户历史评分、购买与浏览行为构建推荐逻辑，涵盖用户基与物品基协同过滤两种主流算法，并引入内容过滤、混合推荐及矩阵分解等优化策略，帮助读者理解从数据预处理到推荐生成的完整链路。压缩包共830个文件，以Vue前端页面、Java后端服务、JavaScript交互脚本及HTML/CSS静态资源为主体，附带SQL数据库脚本、运行配置与启动脚本以及文档图片，可直接在本地环境部署运行；包体约23.52MB，目录结构清晰。除源代码外，还提供论文文档与答辩演示文稿，方便对照算法原理、系统架构与实验分析。目前已有136人学习下载，适合需要完整项目参考或快速掌握协同过滤落地实践的人群。

1. 图书推荐系统：为什么选协同过滤，以及这套资源能帮你省掉什么

图书馆里的书越堆越多，读者进来只会搜书名，运营想推新书却不知道推给谁，这是图书系统里最常见的尴尬。基于协同过滤的图书推荐系统，思路就是用历史评分和借阅记录算出用户之间或图书之间的相似关系，把“和你口味相近的人读过的书”推到首页。这套资源包是课程设计/答辩用的完整版本，论文、答辩PPT、处理脚本和推荐核心代码都在里面，适合拿去做算法对比实验，也适合直接改一版自己复现。如果你刚开始接触推荐系统，按下面的顺序跑一遍，就能看到一张评分表是怎么变成最终推荐列表的完整链路。

2. 协同过滤选型：先分清用户协同过滤和物品协同过滤

做推荐系统第一件事不是写代码，是确定流派。我第一次搭图书推荐系统时凭感觉选了用户协同过滤，代码跑通后推荐结果让我看了半天：用户之间的共同评分太少，算出来的相似度基本都是噪声，还不如直接按热门排序。后来换成物品协同过滤，效果立刻稳定。这一章把选型依据和相似度计算的细节说清楚，新手可以少走一半弯路。

2.1 用户协同过滤与物品协同过滤：数据规模决定流向

用户协同过滤的流程是：把用户对书的评分整理成矩阵，行是用户，列是书；计算用户与用户之间的相似度，找到和目标用户口味最近的k个邻居；把这些邻居评分高而目标用户没读过的书汇总排序，生成Top-N推荐。

物品协同过滤的流程则反过来：矩阵行是书、列是用户；先离线计算书与书之间的相似度，线上推荐时只看用户历史评分过的书，把和这些书相似的书找出来加权排序。核心差别在于“找相似”的对象：一个找相似的人，一个找相似的书。

图书场景里书的数量远大于用户数量，但每个用户读过的书只有几十本，书与书之间的共同被评分次数相对集中，相似度质量更高。所以说图书推荐系统普遍选物品协同过滤，不只是习惯，是数据长相决定的。

物品数平方听起来很吓人，但图书场景的书量级一般在几千到几万，用户量可能到几十万，所以用户协同过滤算用户相似度反而更吃资源。这是推荐系统里一个反直觉点：数据量大时，算物品相似度比算用户相似度划算。

图书还有一个天然优势：书不会频繁上新，相似度矩阵一周算一次够用，用户行为却每时每刻在变。因此我的默认选型是物品协同过滤，除非数据集里只有几百个用户、几千条评分，两种流派效果差别不大，选哪个顺手用哪个。

2.2 相似度计算：余弦、皮尔逊和修正余弦不是随便选的

确定流派后，第二个坑是相似度公式。评分数据是1到5的整数，但评分习惯因人而异：有人觉得书不错就打5分，有人全部集中在3到4分。直接比较原始评分时，前者的5分和后者的5分含义完全不同。

余弦相似度的公式只关心向量夹角，不关心数值整体偏移。两个用户一个全打5分一个全打3分，余弦算出来的相似度会偏高，因为他们的打分方向一致。这在业务上是有误导的，所以显式评分数据通常要先做中心化：把每个用户自己的评分减去该用户的平均分，再算相似度。这样保留的是“比他自己平均分高还是低”的信息，才是真正的偏好差异。如果是隐式反馈，比如有没有借过这本书、有没有点击详情页，这类0/1数据没有偏移问题，直接算余弦就行。

皮尔逊相关系数等价于去中心化后做余弦，所以在显式评分场景它经常比普通余弦好用。但注意，pandas的corr在某个用户评分方差为0时返回NaN，也就是这个用户所有书都打了同一个分，此时相似度没有意义，工程上要补一个默认值0。

修正余弦还有一个容易踩的细节：中心化按列均值减，而在物品协同过滤里行是书、列是用户，所以要按用户均值中心化，不是按书均值中心化。第3章的代码我会直接写成按用户均值去中心化后做余弦，这个方向搞反，相似度算出来基本废了。很多人跑推荐系统结果怪异，就是中心化维度反了。

相似度算出来后还有正负之分。正的表示口味相近，负的表示口味相反。常见做法是推荐时直接过滤掉负相似度，因为“因为不喜欢A所以推荐B”这种逻辑在图书场景很难被读者接受，解释起来也绕。要不要做相似度归一化，看情况：如果只是想排序，不归一化不影响顺序；但如果要做阈值过滤，建议先归一化到0到1，阈值才可解释。

3. 从评分表到推荐列表：矩阵构建、相似度计算与离线评估

这一章是核心动手部分。数据、代码、参数都会给到，照着跑就能出结果。约定一下：下面所有代码默认已经安装pandas、numpy、scikit-learn，数据是标准的评分表。

3.1 评分数据设计：四字段表和三张表的关联结构

不建议只在一个CSV里塞两个字段，最少要有三块：用户表、书籍表、评分表。评分表里四字段是推荐系统的标配。

import pandas as pd books = pd.read_csv("books.csv") ratings = pd.read_csv("ratings.csv") # 评分表核心字段: user_id, book_id, rating, timestamp print(ratings.head()) print(ratings.dtypes) # 构建 书 x 用户 的评分矩阵，行=书，列=用户 pivot = ratings.pivot_table(index="book_id", columns="user_id", values="rating") # 算一下稀疏率，这个数字直接决定后续选型 sparsity = pivot.isna().sum().sum() / (pivot.shape[0] * pivot.shape[1]) print("矩阵形状:", pivot.shape) print("稀疏率: %.2f%%" % (sparsity * 100))

逻辑说明：pivot_table把评分表变成矩阵，缺失值就是没评过分。行设为book_id、列设为user_id，是为了后面物品协同过滤直接按行算相似度。timestamp字段这步没用到，但离线评估时按时间切分很关键，别删。

参数说明：sparsity如果超过90%，说明用户行为非常稀疏，这时全量算相似度不仅慢，还会引入大量噪声，后面要按类别分桶或降采样处理。图书数据集一般都会到95%以上的稀疏率，所以看到它别慌，这是常态。

3.2 物品相似度计算：按用户均值中心化后做余弦

直接对原始评分算余弦会放大评分习惯差异，这里先按用户均值中心化，再做余弦相似度。

import numpy as np from sklearn.metrics.pairwise import cosine_similarity # 按用户均值中心化：pivot 行是书，列是用户，所以按列减均值 user_mean = pivot.mean(axis=0) centered = pivot.sub(user_mean, axis=1) dense = centered.fillna(0).values # 计算书与书的余弦相似度 sim = cosine_similarity(dense) np.fill_diagonal(sim, 0) # 自己和自己相似度置0 sim_df = pd.DataFrame(sim, index=pivot.index, columns=pivot.index) print(sim_df.shape) # 只保留每本书最相似的50本书，其余清0，控制内存和计算量 def keep_top_k(sim_df, k=50): out = sim_df.copy() for book in out.index: row = out.loc[book] threshold = row.nlargest(k).iloc[-1] out.loc[book, row < threshold] = 0 return out sim_top = keep_top_k(sim_df, k=50) print("非零元素占比: %.2f%%" % ((sim_top.values != 0).mean() * 100))

逻辑说明：center过程让每个评分变成“相对这个用户自己的平均分高几分”，fillna(0)把没评分的格子变成0，避免NaN参与距离计算。cosine_similarity直接作用在稠密矩阵上，2000本书的矩阵在普通笔记本上秒出，但书量过万就要考虑稀疏矩阵了。

参数说明：keep_top_k里的k是每本书保留的最相似邻居数，取50是工程上比较平衡的值。k太小推荐列表容易局限在单一类别，k太大会把很多相似度很低的书拉进来，Top-N结果反而变模糊。相似度全矩阵是N乘N，书量一万时就是接近800MB，只保留Top50后内存占用急剧下降。

3.3 Top-N推荐核心逻辑：加权累加排序

有了书与书的相似度，推荐就是查表累加。

def recommend(user_ratings, sim_df, top_k=10): # user_ratings: Series, index是book_id, value是评分 user_rated = set(user_ratings.index) scores = {} for book_id, rating in user_ratings.items(): neighbors = sim_df.loc[book_id] neighbors = neighbors[neighbors > 0] # 只要正相似度 for cand, weight in neighbors.items(): if cand in user_rated: continue # 过滤掉读过的书 scores[cand] = scores.get(cand, 0) + weight * rating rec = pd.Series(scores).sort_values(ascending=False).head(top_k) return rec.index.tolist() # 示例：取某个用户评分过的书生成推荐 sample_user = pivot.columns[0] history = pivot[sample_user].dropna() rec_list = recommend(history, sim_top, top_k=10) print("推荐结果:", rec_list)

逻辑说明：user_ratings里每一本历史书，都在sim_df里查它的50个相似邻居，把相似度乘历史评分累加到候选书分数上。历史评分越高、相似度越大的书，对最终分数的贡献越大。过滤掉已读过的书，避免推荐读者已经看过的内容。

参数说明：top_k表示最终返回几条推荐。累加时没有做归一化，因为这里只需要相对排序，评分历史长的用户分数天然高，但不影响单用户内部的顺序。如果要跨用户比较或做评分预测，就需要改成加权平均。

3.4 离线评估：遮掉20%评分，算Precision@N和Recall@N

不要凭感觉说推荐效果好，用数据说话。常见做法是随机遮掉每个用户的一部分评分当测试集，剩余当训练集。

def offline_eval(pivot, sim_df, n=10, test_ratio=0.2): precisions, recalls = [], [] for user in pivot.columns: rated = pivot[user].dropna() if len(rated) < 5: continue test = rated.sample(frac=test_ratio, random_state=2024) train = rated.drop(test.index) recs = recommend(train, sim_df, top_k=n) hits = len(set(recs) & set(test.index)) precisions.append(hits / n) recalls.append(hits / len(test)) avg_p = np.mean(precisions) avg_r = np.mean(recalls) f1 = 2 * avg_p * avg_r / (avg_p + avg_r + 1e-9) print("平均Precision@%d: %.4f" % (n, avg_p)) print("平均Recall@%d: %.4f" % (n, avg_r)) print("F1: %.4f" % f1) offline_eval(pivot, sim_top, n=10, test_ratio=0.2)

逻辑说明：每个用户至少要有5条评分才参与评估，避免极端情况。test_ratio=0.2表示遮掉20%的评分当测试集，剩下的80%用来生成推荐。命中数除以推荐条数是Precision，命中数除以测试评分总数是Recall。两者同时看，单独看Precision容易产生“只推热门书也能高分”的错觉。

参数说明：random_state固定后结果可复现。评测时n取5、10、20分别跑一遍，能看到推荐条数增加时Recall上升、Precision下降的曲线，答辩时这张表很有说服力。

4. 协同过滤避坑清单：五个翻车点与对应解法

代码能跑通只是第一步，推荐结果合理才是目标。下面五个问题是图书推荐系统里最容易翻车的，每个都是我真实踩过的。

4.1 冷启动：新用户和新书没有历史，推荐结果直接空白

现象：刚注册的用户打开首页，推荐位全空，页面报“暂无推荐”，看起来像系统坏了。

原因：协同过滤完全依赖历史行为，新用户一条评分都没有，相似度和邻居都算不出来。新书同理，没有用户评分它就永远不会进入推荐池。

解决：给新用户加“热门榜”兜底，用全站评分最高的Top10填充推荐位；注册流程里让用户选几个感兴趣的图书类别，用类别热门书做初始推荐。新书冷启动则用内容属性过渡，比如类别、出版社、作者，先按内容相似推给相关用户，积累一定评分后再进协同过滤池。

4.2 稀疏率95%：直接算全量相似度，内存爆掉

现象：书量到两万本时，全矩阵余弦相似度还没跑完，进程就被系统杀掉了，内存占用显示几个GB。

原因：N本书的相似度矩阵是N乘N个float64，一万本就是约800MB，两万本就是3.2GB，普通开发机扛不住。

解决：不要保留全矩阵。一个是按keep_top_k思路只保留每本书Top50邻居，另一个是全书量过大时先按二级类别分桶，只在同类目内部算相似度。此外可以用scipy.sparse.csr_matrix存稀疏矩阵，再用sklearn的cosine_similarity支持稀疏输入，内存能降一个量级。

4.3 评分中心化后预测分是负数，推荐列表全乱

现象：中心化之后生成的推荐列表，排在最前面的几本书预测分数全是负的，看起来像是系统在推荐用户讨厌的书。

原因：中心化把评分变成了“相对个人平均分的偏差”，负分不等于讨厌，只代表“低于他个人平均线”。但如果直接按预测分排序，负分书确实会被捞上来，逻辑上很违反直觉。

解决：推荐场景只做排序，不做分数预测。生成候选集时过滤掉负相似度，用正相似度加权累加，最终按分数倒序取TopN。这样负分只是Ranking依据，不会直接展示给用户。

4.4 皮尔逊相关输出NaN，相似度全为零

现象：用pandas的corr算相似度，相似度矩阵里出现大量NaN，按相似度排序时这些书全部排到了最后。

原因：某个用户所有评分完全一样，方差为0，皮尔逊相关分母为0，数学上无定义。在稀疏矩阵里，两本书没有共同评分用户时，相关系数也是NaN。

解决：算完相关性后统一做一次fillna(0)，把未定义相似度当成“不相似”。同时检查是不是共同评分为0导致的，如果是，增加“至少要有两个共同评分用户才计算相似度”的门槛，否则直接置0。

4.5 中文乱码和主键类型不一致，结果集全是NaN

现象：从Excel导出的CSV用GBK编码，pandas读出来中文书名全是乱码；合并书籍表时，book_id一边是int一边是str，join之后全是NaN，推荐结果无法回显书名。

原因：编码不一致和主键类型不匹配，两个都是数据处理阶段的隐性坑，报错不明显，但结果就是错。

解决：CSV统一用UTF-8-SIG保存，读的时候加encoding="utf-8-sig"，标题行不会带BOM。所有表的ID字段先统一astype(str)再合并，用ID做主键关联，title只做展示，不要参与关联逻辑。

5. 进阶固化推荐结果：离线算一次，在线只查表

推荐系统能跑出结果还不够，课程设计答辩时老师通常会追问“线上怎么用”。这一章讲怎么把离线算好的相似度固化下来，以及上线前怎么快速验证效果。

5.1 相似度矩阵改成离线产物，推荐函数只做查表

把sim_top保存成pickle，在线服务启动时加载一次，之后不再重复计算相似度。新评分数据进来，只需要更新用户历史，实时推荐照样能出结果。

import pickle # 离线批处理：保存Top50相似度矩阵 sim_top.to_pickle("sim_top.pkl") # 在线服务：启动时加载一次，后续只查表 with open("sim_top.pkl", "rb") as f: sim_matrix = pickle.load(f)

逻辑说明：相似度矩阵跟用户行为是解耦的，书没上新、用户评分结构没大变的情况下，一周算一次完全够用。pickle保存DataFrame最省事，但如果数据特别大，改成parquet或数据库表更合适。

参数说明：在线接口里只需要把用户的评分历史传进recommend函数，它内部直接查sim_matrix里的相似度，不再重复计算整矩阵。为了让线上更快，建议把用户历史评分也做一份Redis缓存，推荐函数每次只读缓存里的几十条评分。

5.2 上线前的人工复核：推荐结果合理性和覆盖率检查

离线指标只是参考，推荐结果还需要人工看一遍。我每次都会做下面四个检查：

覆盖率这个指标最容易被忽略，如果系统只会推几百本高分书，剩下的书永远没有曝光。

5.3 论文和答辩PPT的落地技巧

资源包里论文和PPT最大的价值是结构参考，不是直接交。论文按“背景-算法选型-实验设计-结果分析”四段走，实验部分不要把Precision@N一个数字贴上去就完事，把第3章跑出来的稀疏率、不同k值下的P@N和R@N曲线都放进去，这就是完整的实验章节。

PPT控制在15页以内，第一页放推荐效果截图，第二页放系统架构图，中间五页讲协同过滤原理，最后两页贴关键代码和实验结果。关键是拿到之后用自己的数据重新跑一遍，替换掉原有截图和数字，否则答辩时老师只要追问一个“你这个数据集为什么和论文对不上”，就很容易被问倒。

从那以后，我每次跑协同过滤都会强制走一遍流程：先打印矩阵稀疏率，再抽一本书看最相似的5本，最后人工检查Top10推荐列表。三步走完再谈调参，这个习惯帮我避掉了好几次“调了半天发现是数据问题”的尴尬。希望帮到你。

本文还有配套的精品资源，点击获取