1. 文本表示基础与词袋模型解析
文本表示是自然语言处理（NLP）中的核心环节，它决定了计算机如何理解和处理人类语言。词袋模型（Bag of Words）作为最经典的文本表示方法之一，其核心思想是将文本视为无序的词汇集合，通过统计词频来构建特征向量。
1.1 词袋模型的核心原理
词袋模型的工作原理可以分为三个关键步骤：
- 构建词汇表：收集所有文档中出现的唯一词汇，形成固定大小的词典
- 向量化表示：对于每个文档，统计每个词在词典中出现的次数
- 形成特征矩阵：将所有文档的向量堆叠，构成文档-词项矩阵
这种方法的优势在于简单直观，计算效率高。但缺点也很明显：
- 完全忽略词序信息（"狗咬人"和"人咬狗"会被表示为相同向量）
- 无法捕捉词语间的语义关系
- 容易受到高频词（如"的"、"是"）的干扰
1.2 sklearn中的文本特征提取
Python的scikit-learn库提供了四种主要的文本特征提取器：
| 类名 | 算法特点 | 适用场景 | 内存消耗 |
|---|---|---|---|
| CountVectorizer | 纯词频统计 | 小规模数据集 | 高 |
| TfidfVectorizer | TF-IDF加权 | 通用场景 | 中 |
| HashingVectorizer | 哈希技巧 | 超大规模数据 | 低 |
| DictVectorizer | 字典转换 | 结构化特征 | 取决于数据 |
提示：选择特征提取器时，不仅要考虑算法特性，还需评估数据规模。当词汇表超过100万时，HashingVectorizer通常是唯一可行的选择。
2. 核心工具深度使用指南
2.1 CountVectorizer实战详解
CountVectorizer是最基础的词袋实现，其核心参数需要特别关注：
from sklearn.feature_extraction.text import CountVectorizer # 典型参数配置示例 vectorizer = CountVectorizer( stop_words=['的', '是', '在'], # 自定义停用词 ngram_range=(1, 3), # 包含1-3个词的组合 max_features=5000, # 限制特征数量 token_pattern=r'(?u)\b\w+\b' # 自定义token匹配模式 ) # 中文处理需要先分词 import jieba corpus = ["酒店房间非常干净整洁", "这家餐厅的服务态度很差"] corpus = [' '.join(jieba.cut(doc)) for doc in corpus] X = vectorizer.fit_transform(corpus) print(vectorizer.get_feature_names_out())中文处理的三个关键技巧：
- 必须配合分词工具使用（如jieba、HanLP等）
- 调整token_pattern以保留单字词
- 建议添加自定义停用词表
2.2 TF-IDF的工程实践
TF-IDF通过考虑词频和逆文档频率，能更好地区分重要词汇：
from sklearn.feature_extraction.text import TfidfVectorizer tfidf = TfidfVectorizer( sublinear_tf=True, # 使用1+log(tf)代替原始tf norm='l2', # 欧式归一化 smooth_idf=True # 避免除零错误 ) # 相同语料处理 tfidf_matrix = tfidf.fit_transform(corpus) # 查看特征权重 print(dict(zip(tfidf.get_feature_names_out(), tfidf_matrix.toarray()[0])))TF-IDF的数学表达式： $$ \text{TF-IDF}(t,d) = \text{TF}(t,d) \times \text{IDF}(t) \ \text{IDF}(t) = \log\frac{1 + n}{1 + \text{df}(t)} + 1 $$
其中：
- TF(t,d)是词t在文档d中的频率
- df(t)是包含词t的文档数
- n是总文档数
3. 酒店推荐系统实现
3.1 系统架构设计
基于文本的酒店推荐系统通常采用以下流程：
用户输入/历史行为 → 文本预处理 → 特征提取 → 相似度计算 → 结果排序 → 推荐输出关键组件说明：
- 数据层：酒店描述、用户评论、设施标签等文本数据
- 特征工程：使用词袋模型提取文本特征
- 相似度计算：常用余弦相似度衡量文本相似性
- 排序策略：结合文本相似度和业务规则（如价格、评分）
3.2 完整实现代码
import pandas as pd from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import linear_kernel # 模拟酒店数据集 hotels = pd.DataFrame([ {"id": 1, "name": "海滨度假酒店", "desc": "豪华海景房，私人沙滩，五星级服务"}, {"id": 2, "name": "城市商务酒店", "desc": "交通便利，会议室齐全，适合商务出行"}, {"id": 3, "name": "经济型快捷酒店", "desc": "价格实惠，干净卫生，基础住宿"} ]) # 特征提取 tfidf = TfidfVectorizer(stop_words=['的', '是', '有']) tfidf_matrix = tfidf.fit_transform(hotels['desc']) # 计算相似度矩阵 cosine_sim = linear_kernel(tfidf_matrix, tfidf_matrix) # 推荐函数 def recommend_hotel(hotel_id, top_n=3): idx = hotel_id - 1 # 假设id从1开始 sim_scores = list(enumerate(cosine_sim[idx])) sim_scores = sorted(sim_scores, key=lambda x: x[1], reverse=True) sim_scores = sim_scores[1:top_n+1] # 排除自身 hotel_indices = [i[0] for i in sim_scores] return hotels.iloc[hotel_indices] # 测试推荐 print(recommend_hotel(1)) # 为酒店1推荐相似酒店3.3 效果优化策略
数据增强：
- 合并酒店描述、用户评论和标签
- 添加人工构造的特征（如"有无泳池"、"是否含早"）
特征优化：
# 改进的TF-IDF配置 tfidf = TfidfVectorizer( ngram_range=(1, 2), max_df=0.8, # 忽略出现在80%以上文档中的词 min_df=3, # 只考虑出现3次以上的词 stop_words=custom_stopwords )混合推荐：
# 结合文本相似度和用户评分 final_score = 0.7 * text_similarity + 0.3 * user_rating
4. 生产环境注意事项
4.1 性能优化方案
当处理大规模酒店数据时（如10万+房源），需要考虑：
内存优化：
- 使用HashingVectorizer替代传统词袋
- 启用sparse矩阵存储
from sklearn.feature_extraction.text import HashingVectorizer hv = HashingVectorizer(n_features=2**18, alternate_sign=False)增量学习：
# 支持分批训练 tfidf.partial_fit(batch_texts)相似度计算加速：
from sklearn.neighbors import NearestNeighbors nn = NearestNeighbors(n_neighbors=10, algorithm='brute', metric='cosine') nn.fit(tfidf_matrix)
4.2 常见问题排查
中文分词不准确：
- 解决方案：添加自定义词典
jieba.load_userdict('hotel_terms.txt')特征维度爆炸：
- 现象：处理10万文档后特征超过100万维
- 解决：组合使用max_features和min_df参数
冷启动问题：
- 新酒店没有足够文本数据
- 解决：使用设施标签等结构化数据补充
实时性要求：
- 方案：预先计算相似度矩阵，定期更新
- 优化：仅对新酒店进行实时计算
5. 进阶方向与扩展思考
5.1 超越词袋模型
虽然词袋模型简单有效，但在实际应用中可以考虑更先进的文本表示方法：
Word2Vec/GloVe：
from gensim.models import Word2Vec sentences = [jieba.lcut(doc) for doc in corpus] model = Word2Vec(sentences, vector_size=100, window=5, min_count=1)BERT等预训练模型：
from transformers import BertModel, BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-chinese') model = BertModel.from_pretrained('bert-base-chinese')图嵌入方法：
- 将酒店和用户构建为二部图
- 使用Node2Vec等算法学习嵌入表示
5.2 推荐系统评估指标
建立科学的评估体系至关重要：
| 指标类型 | 具体指标 | 计算方式 | 适用场景 |
|---|---|---|---|
| 准确性 | RMSE | $\sqrt{\frac{1}{N}\sum(p-r)^2}$ | 评分预测 |
| 排序质量 | NDCG | 考虑位置权重的相关性评分 | 列表推荐 |
| 覆盖率 | 物品覆盖率 | 被推荐物品数/总物品数 | 系统多样性 |
| 新颖性 | 平均流行度 | 推荐物品的逆流行度 | 发现新内容 |
在实际项目中，我通常会采用A/B测试框架，将新算法部署到小流量环境，对比点击率、转化率等业务指标的变化。同时建议建立离线评估体系，在模型上线前就能预估其效果。
5.3 业务融合实践
真正的推荐系统需要与业务场景深度结合：
- 地域过滤：优先推荐用户所在城市的酒店
- 季节调整：冬季推荐温泉酒店，夏季推荐海滨酒店
- 价格策略：根据用户历史消费水平调整推荐区间
- 实时个性化：结合用户当前搜索词动态调整
一个实用的技巧是将文本相似度与其他业务指标组合使用：
def hybrid_score(text_sim, price_diff, user_rating, weights=[0.5, 0.2, 0.3]): normalized_sim = (text_sim - text_sim.min()) / (text_sim.max() - text_sim.min()) normalized_price = 1 / (1 + abs(price_diff)) return weights[0]*normalized_sim + weights[1]*normalized_price + weights[2]*user_rating在酒店推荐场景中，文本数据只是信息的一部分。真正高效的推荐系统应该能够融合多种数据源，包括用户行为数据、酒店属性数据、上下文环境信息等。这需要工程师既理解NLP技术，又具备推荐系统的整体架构能力。
