简介这份毕业设计资源围绕协同过滤算法构建购物网站商品推荐系统可迁移至电影、音乐、图书等推荐场景面向计算机相关专业需要完成推荐系统课题的学生与开发者。核心思路涵盖基于用户与基于物品的协同过滤通过计算两两相似度找出TOP-N相似对象并生成推荐结果同时借助Word2Vec与Doc2Vec将物品标签词向量化缓解物品冷启动问题。压缩包共1160个文件约25.98MB以html、css、js、png等前端页面与静态资源为主配合jsp、java、xml、properties等后端与配置代码另有sql、db数据库文件及mp4演示视频、doc文档说明结构完整便于按模块查阅。目前已有65人学习下载。读者可获得可运行的Python源码、配套论文与文档说明、演示视频及完整工程目录适合作为推荐算法入门实践与毕业设计参考模板。1. 从一份毕设源码说起协同过滤推荐系统到底能跑出什么很多同学做毕业设计时选题定在“基于协同过滤算法的购物网站商品推荐系统”听起来很唬人真动手却发现推荐结果翻来覆去就是那几样冷启动物品永远推不出去。这份资源包给了一个能直接跑的 Python 实现覆盖 User-based CF、Item-based CF 两条主线还额外用 Word2Vec 和 Doc2Vec 处理物品标签专门解决新物品没有用户行为时的冷启动问题。它适合正在做推荐系统毕设、需要一份可复现源码和文档说明的本科生或转行练手的人。你拿到手能直接看到相似度矩阵怎么算、TOP-N 怎么截、推荐结果怎么过滤已购物品而不是只对着公式发呆。下面我按实际拆包和跑通的顺序把关键参数、代码逻辑和容易翻车的地方讲清楚。2. 协同过滤的两条路线User-based 与 Item-based 怎么选2.1 相似度计算余弦、皮尔逊还是调整余弦协同过滤的核心就一句话找到和你口味相似的人或者找到和你买过的东西相似的东西。User-based CF 算的是用户向量之间的相似度Item-based CF 算的是物品向量之间的相似度。源码里默认用余弦相似度因为它在稀疏矩阵上表现稳定计算也快。但余弦有个问题不同用户的评分尺度不一样有人习惯打 5 分有人最高只给 3 分这时候皮尔逊相关系数更合适它会把每个用户的评分减去自己的均值再算相关。调整余弦则是在物品维度上减去物品均分适合物品评分普遍偏高或偏低的情况。我一般会先看数据稀疏度。如果用户-物品矩阵里非零元素不到 5%余弦就够了换皮尔逊提升不明显还增加计算量。如果评分尺度差异大比如有的用户全是 4 分 5 分有的全是 1 分 2 分那就果断换皮尔逊。源码里相似度计算封装在similarity.py改一个参数就能切换# similarity.py 核心片段 import numpy as np from sklearn.metrics.pairwise import cosine_similarity, pairwise_distances def compute_similarity(matrix, methodcosine): matrix: 用户-物品评分矩阵行是用户列是物品 method: cosine / pearson / adjusted_cosine if method cosine: # 余弦相似度直接调 sklearn适合稀疏矩阵 sim cosine_similarity(matrix) elif method pearson: # 皮尔逊相关系数按行计算消除用户评分尺度差异 sim np.corrcoef(matrix) sim np.nan_to_num(sim) # 处理 NaN比如某个用户只评了一个物品 elif method adjusted_cosine: # 调整余弦先减去物品均分再算余弦 item_mean np.true_divide(matrix.sum(1), (matrix ! 0).sum(1)) item_mean np.nan_to_num(item_mean) adjusted matrix - item_mean[:, np.newaxis] adjusted[matrix 0] 0 # 未评分位置保持 0 sim cosine_similarity(adjusted) return sim这段代码里np.nan_to_num是必须的因为皮尔逊在用户只评了一个物品时方差为 0相关系数会变成 NaN不处理后面排序直接崩。adjusted_cosine里减去均分后要把未评分位置重新置 0否则会把“没买过”当成“评了负分”推荐结果会完全跑偏。参数上method默认给cosine跑通后再换其他方法对比效果。2.2 生成 TOP-N 推荐排序、截断与已购过滤算出相似度矩阵后下一步是给目标用户生成推荐。User-based 的做法是找到和目标用户最相似的 K 个用户把他们买过但目标用户没买过的物品按相似度加权打分取前 N 个。Item-based 则是对目标用户买过的每个物品找最相似的 K 个物品加权汇总后取前 N 个。源码里recommend.py把这两条路都写了关键参数是top_k和top_n。# recommend.py 核心片段 def user_based_recommend(user_id, sim_matrix, rating_matrix, top_k20, top_n10): user_id: 目标用户索引 sim_matrix: 用户相似度矩阵 rating_matrix: 用户-物品评分矩阵 top_k: 取最相似的 K 个用户 top_n: 最终推荐 N 个物品 # 取相似度最高的 top_k 个用户排除自己 sim_scores list(enumerate(sim_matrix[user_id])) sim_scores sorted(sim_scores, keylambda x: x[1], reverseTrue) sim_scores sim_scores[1:top_k1] # 加权打分相似度 * 评分累加到物品上 item_scores {} for similar_user, similarity in sim_scores: for item_id, rating in enumerate(rating_matrix[similar_user]): if rating 0 and rating_matrix[user_id][item_id] 0: item_scores[item_id] item_scores.get(item_id, 0) similarity * rating # 按分数排序取 top_n ranked_items sorted(item_scores.items(), keylambda x: x[1], reverseTrue) return [item_id for item_id, _ in ranked_items[:top_n]]top_k设太大推荐结果会偏向热门物品因为热门物品被更多相似用户买过设太小又容易过拟合到几个邻居身上。我一般从 20 开始试看推荐列表的多样性。top_n就是最终展示数量电商场景一般 10 到 20 个。注意rating_matrix[user_id][item_id] 0这个过滤条件它保证不会把用户已经买过的物品再推一遍这是推荐系统最基本的“后悔药”机制少了这一步用户会觉得系统很蠢。2.3 用 Word2Vec 和 Doc2Vec 补冷启动的短板协同过滤最大的软肋是冷启动新物品没有用户评分相似度矩阵里整列都是 0永远进不了推荐列表。这份资源用了一个很实用的思路把物品的所有标签词当成一个文档用 Doc2Vec 算出物品向量再算向量之间的余弦距离作为物品相似度。这样即使没有用户行为只要标签文本存在新物品也能找到相似的老物品从而被推荐出去。# cold_start.py 核心片段 from gensim.models.doc2vec import Doc2Vec, TaggedDocument from sklearn.metrics.pairwise import cosine_similarity def train_item_vectors(item_tags, vector_size100, window5, min_count1, epochs20): item_tags: dict, {item_id: [标签词1, 标签词2, ...]} vector_size: 向量维度一般 50-200 window: 上下文窗口标签词少就设小一点 epochs: 训练轮数数据少可以多跑几轮 documents [] for item_id, tags in item_tags.items(): documents.append(TaggedDocument(wordstags, tags[str(item_id)])) model Doc2Vec(vector_sizevector_size, windowwindow, min_countmin_count, epochsepochs) model.build_vocab(documents) model.train(documents, total_examplesmodel.corpus_count, epochsmodel.epochs) # 提取所有物品向量 item_vectors {item_id: model.dv[str(item_id)] for item_id in item_tags} return item_vectors def cold_start_similarity(item_vectors): 计算物品向量之间的余弦相似度 item_ids list(item_vectors.keys()) vectors np.array([item_vectors[i] for i in item_ids]) sim cosine_similarity(vectors) return item_ids, simvector_size默认 100标签词总量少就降到 50否则每个词分到的维度太稀疏。window设 5 是因为标签词之间没有严格顺序窗口太大反而引入噪声。epochs设 20 是经验值数据量小可以加到 50但要注意过拟合。训练完后新物品的向量和已有物品向量算余弦相似度取 TOP-N 相似物品再把相似物品的评分加权给新物品就能生成初始推荐。这套流程在源码里是独立模块不影响主协同过滤逻辑跑不通也不影响毕设演示。3. 把源码跑起来环境、数据与参数调优3.1 环境配置与依赖安装这份源码是纯 Python 项目没有复杂的框架依赖主要用到numpy、pandas、scikit-learn、gensim。如果你用 PyCharm 或 VS Code先建一个虚拟环境再装依赖。常见做法是# 创建虚拟环境Windows 用 python -m venv venv python3 -m venv venv source venv/bin/activate # Windows 下是 venv\Scripts\activate # 安装核心依赖 pip install numpy pandas scikit-learn gensim jiebajieba是用来给中文标签分词的如果物品标签是英文可以跳过。注意gensim版本最好在 4.x 以上旧版 API 不一样Doc2Vec的dv属性在 3.x 里叫docvecs直接跑会报错。装完后用pip list确认版本numpy和scipy的兼容性也要看一眼版本冲突是新手最容易翻车的地方。3.2 数据格式与加载用户-物品-评分三列就够源码默认读 CSV格式就三列user_id, item_id, rating。物品标签单独一个文件格式是item_id, tag1 tag2 tag3。加载时用 pandas 做透视表把长表转成用户-物品矩阵import pandas as pd def load_data(ratings_path, tags_path): ratings_path: CSV 文件列名 user_id, item_id, rating tags_path: CSV 文件列名 item_id, tags空格分隔 ratings pd.read_csv(ratings_path) tags pd.read_csv(tags_path) # 长表转宽表行是用户列是物品值是评分 rating_matrix ratings.pivot(indexuser_id, columnsitem_id, valuesrating).fillna(0) # 标签转成 dict item_tags {} for _, row in tags.iterrows(): item_tags[row[item_id]] row[tags].split() return rating_matrix.values, item_tags, rating_matrix.index, rating_matrix.columnsfillna(0)是把未评分填 0后面相似度计算和推荐过滤都依赖这个 0 值。注意pivot之后行列索引会变rating_matrix.index是用户 ID 列表columns是物品 ID 列表推荐结果返回的是物品索引要映射回真实 ID 才能展示。这一步很多同学忘了做映射结果推荐出来的物品 ID 对不上演示时直接翻车。3.3 参数调优相似度阈值、K 值和推荐数量跑通之后想提升效果重点调三个参数相似度阈值、top_k、top_n。相似度阈值是过滤掉相似度太低的邻居比如只保留相似度大于 0.3 的用户避免噪声干扰。top_k控制邻居数量top_n控制推荐列表长度。我一般会做一个简单的网格搜索参数候选值影响相似度阈值0.1 / 0.2 / 0.3 / 0.5阈值越高推荐越保守覆盖率下降top_k10 / 20 / 50 / 100K 越大推荐越偏向热门多样性下降top_n5 / 10 / 20展示数量不影响排序质量调参时看两个指标准确率和召回率。准确率是推荐列表里用户真正喜欢的比例召回率是用户喜欢的物品被推荐出来的比例。两者通常此消彼长毕设演示取一个平衡点就行不用追求极致。源码里evaluate.py提供了简单的评估函数输入测试集就能输出这两个指标。4. 避坑与排查跑推荐系统时最容易翻车的五件事4.1 相似度矩阵全是 NaN现象跑完compute_similarity后打印矩阵发现大量 NaN排序结果乱掉。原因皮尔逊相关系数在用户只评了一个物品时方差为 0分母为零导致 NaN。解决在计算后立刻加np.nan_to_num(sim)把 NaN 替换成 0表示“无法判断相似度”而不是“极度相似”。4.2 推荐结果全是热门物品现象不管给哪个用户推荐出来的都是那几个销量最高的物品。原因top_k设得太大比如设了 200相似用户覆盖了大部分活跃用户热门物品被反复加权。解决把top_k降到 20 到 50 之间同时加相似度阈值过滤掉低相似用户。如果还不行在加权打分时除以物品的流行度做一下热度惩罚。4.3 Doc2Vec 训练报错“corpus_count not found”现象调用model.train时提示AttributeError: Doc2Vec object has no attribute corpus_count。原因gensim版本低于 4.0旧版 API 里没有corpus_count属性。解决升级gensim到 4.x命令是pip install --upgrade gensim。如果项目必须用旧版把model.corpus_count换成model.corpus_count对应的旧属性或者直接手动传total_exampleslen(documents)。4.4 中文标签分词后全是单字现象用jieba分词后每个标签被切成单个汉字Doc2Vec 学出来的向量没有意义。原因jieba默认精确模式对短标签效果不好比如“智能手机”被切成“智能”和“手机”还算正常但“男装”可能被切成“男”和“装”。解决加载自定义词典把物品标签里的专有名词加进去或者直接用空格分隔的标签词不做二次分词。源码里tags_path的标签已经是空格分隔直接split()就行不需要再过jieba。4.5 推荐列表里出现用户已购物品现象明明过滤了rating_matrix[user_id][item_id] 0推荐结果里还是有用户买过的物品。原因数据加载时fillna(0)把未评分填 0但有些用户对已购物品也没有评分这些物品在矩阵里也是 0过滤条件失效。解决单独维护一个“用户已交互物品集合”从原始行为日志里取不要依赖评分矩阵。源码里recommend.py的过滤逻辑要配合user_interacted_items字典使用这个字典在数据预处理阶段生成。5. 进阶技巧用评估指标反推参数而不是凭感觉调跑通推荐系统只是第一步真正让毕设出彩的是能说清楚“为什么这几个参数最好”。我一般会固定一个评估流程把评分数据按 8:2 切成训练集和测试集在训练集上算相似度、生成推荐在测试集上算准确率和召回率。然后对top_k和相似度阈值做网格搜索画一张热力图一眼就能看出哪个组合指标最高。# evaluate.py 核心片段 def evaluate(recommend_func, test_matrix, train_matrix, top_k_list, threshold_list): recommend_func: 推荐函数输入用户 ID 返回推荐列表 test_matrix: 测试集评分矩阵 train_matrix: 训练集评分矩阵 results [] for top_k in top_k_list: for threshold in threshold_list: precision_sum, recall_sum 0, 0 for user_id in range(test_matrix.shape[0]): # 生成推荐 rec_items recommend_func(user_id, train_matrix, top_k, threshold) # 测试集里用户真正喜欢的物品 true_items set(np.where(test_matrix[user_id] 0)[0]) if not true_items: continue hit len(set(rec_items) true_items) precision_sum hit / len(rec_items) if rec_items else 0 recall_sum hit / len(true_items) precision precision_sum / test_matrix.shape[0] recall recall_sum / test_matrix.shape[0] results.append((top_k, threshold, precision, recall)) return results这段代码里true_items取的是测试集中评分大于 0 的物品代表用户真正喜欢的。hit是推荐列表和真实喜欢列表的交集。注意if not true_items: continue这行测试集里有些用户可能没有评分记录不跳过会导致除零错误。跑完网格搜索后把结果存成 CSV用 pandas 透视一下就能看到top_k30, threshold0.2这种具体组合。我习惯把评估结果和推荐样例一起写进毕设文档答辩时老师问“参数怎么定的”直接翻到这一页比说“试出来的”有说服力得多。从那以后我每次拿到推荐系统源码都强制先跑一遍评估脚本把基线指标记下来再动任何参数。没有基线的调参就是玄学今天调好了明天换个数据集又崩了。希望这份拆解能帮你把毕设跑通少走几个我当年踩过的坑。本文还有配套的精品资源点击获取