news 2026/10/30 2:30:54

TF-IDF 基线——用词频与逆文档频率跑通第一条提取链路

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
TF-IDF 基线——用词频与逆文档频率跑通第一条提取链路

目标:理解“一个词在本文档中重要,但在整个语料库中不常见,才可能是主题词”,并用jieba或sklearn写出可运行的关键词提取代码。

TF-IDF 的核心思想是:词频(TF)越高、逆文档频率(IDF)越大,词的权重越高。它实现简单、计算快,适合作为主题词提取的第一条基线。新闻关键词提取的研究中,TF-IDF 也是三类主流算法之一,常被用来与 TextRank、LDA 对比或融合。

1. 用 jieba 快速提取中文关键词

jieba.analyse内置了 TF-IDF 实现,几行代码就能拿到结果,适合快速验证。

python

import jieba.analyse text = """这里放入你的中文文本,可以是新闻、评论或文档段落。""" # topK:返回前 K 个关键词;withWeight:是否返回权重 keywords = jieba.analyse.extract_tags(text, topK=10, withWeight=True) for word, weight in keywords: print(f"{word}\t{weight:.4f}")

如果希望过滤掉“的、了、在”等无意义词,可以加载停用词表:

python

jieba.analyse.set_stop_words("stopwords.txt")

2. 用 sklearn 的 TfidfVectorizer 理解向量化过程

TfidfVectorizer更适合需要自定义参数或接入下游模型的场景。中文必须先分词,再用空格拼接,否则整句话会被当成一个特征。

python

import jieba from sklearn.feature_extraction.text import TfidfVectorizer corpus = [ "用户反馈手机续航很好但充电速度偏慢", "这款手机拍照效果出色续航也不错", "充电速度是用户最关心的痛点之一", ] # 中文分词 + 空格拼接 processed = [" ".join(jieba.lcut(doc)) for doc in corpus] vectorizer = TfidfVectorizer(max_features=100, stop_words=None) X = vectorizer.fit_transform(processed) # 查看特征词 print(vectorizer.get_feature_names_out()) # 查看每个文档中权重最高的词 import numpy as np feature_names = vectorizer.get_feature_names_out() for i in range(X.shape[0]): row = X[i].toarray().flatten() top_idx = row.argsort()[-5:][::-1] print(f"文档{i}:", [(feature_names[j], round(row[j], 3)) for j in top_idx])

github.0voice

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/30 2:29:42

01-原理篇-读懂无线信号-空口指标体系完全指南

01-原理篇-读懂无线信号:空口指标体系完全指南 无线问题排查的第一步,不是敲命令,而是读懂这些指标。 本文指标基于企业级 Wi-Fi 5(802.11ac)和 Wi-Fi 6(802.11ax)设备,适用于 Cisco…

作者头像 李华
网站建设 2026/10/30 2:29:16

Linux FFmpeg深度解析之avformat_seek_file调用流程与实战(九)

简介: CSDN博客专家、《Android系统多媒体进阶实战》作者 博主新书推荐:《Android系统多媒体进阶实战》🚀 Android Audio工程师专栏地址: Audio工程师进阶系列【原创干货持续更新中……】🚀 Android多媒体专栏地址&a…

作者头像 李华
网站建设 2026/10/30 2:27:56

【第70期】Adam二阶矩不是方差:偏差校正、动量与AdamW完整实验

系列:《从小白到 AI 大模型开发工程师的进阶之路》 技术点:AI-0224 Adam 与自适应优化 主人公:小蓝伞 前置:AI-0223 梯度下降 本期产出:独立实验脚本、原始输出、失败样本和验收清单 小蓝伞把优化器第二个状态命名为方…

作者头像 李华
网站建设 2026/10/30 2:27:42

Web 加载 DWG 实战(五):缩放、平移与图纸坐标怎么对应

在浏览器里查看 DWG,滚轮放大和拖动平移是最常用的两个操作。真正接入业务页面时,细节问题很快就会出现:鼠标指着一个节点,放大后节点为什么跑了?图纸明明没有修改,状态栏坐标为什么一直变化?换…

作者头像 李华