TF-IDF与n-gram还有用吗Maths, CS AI Compendium经典NLP技术解析【免费下载链接】maths-cs-ai-compendiumBecome a cracked AI/ML researcher/engineer with this unconventional textbook covering maths, computing, and ML with intuition.项目地址: https://gitcode.com/GitHub_Trending/mat/maths-cs-ai-compendium在深度学习和大语言模型时代很多人问TF-IDF、n-gram 语言模型这些经典 NLP 技术真的被淘汰了吗开源教材Maths, CS AI Compendium数学、计算机与 AI 手册用直觉优先的方式给出了答案它们不仅没死反而是现代搜索、检索增强生成RAG和无数生产系统的隐形骨架。本文将带你快速吃透词袋模型、TF-IDF 加权、n-gram 预测与困惑度看懂这些经典技术背后的数学直觉以及它们今天仍然有用的真实场景。一、TF-IDF 为什么能分清重要词和口水词在大词向量出现之前NLP 用**词袋模型Bag-of-Words, BoW**把文档变成单词计数向量词汇表有多少词向量就有多少维每个位置记录该词出现的次数。词袋模型有个致命弱点它对所有词一视同仁。the 和 revolutionary革命性的权重相同——这显然不合理。TF-IDF词频-逆文档频率就是为了解决这个问题而生的TF-IDF(t, d) TF(t, d) × IDF(t)TF词频词t在文档d里出现得越多贡献越大IDF逆文档频率$\text{IDF}(t) \log \frac{N}{|{d: t \in d}|}$。一个词出现在几乎所有文档里比如 theIDF 趋近于 0权重被压到最低只出现在少数文档里的词IDF 高说明它对那篇文档很有区分度。一句话记忆在本文高频、在全局低频 重要。用 TF-IDF 向量配上余弦相似度就构成了经典信息检索与搜索引擎的数学基础。 完整推导与从零实现的 TF-IDF 余弦相似度检索见chapter 07 - computational linguistics/02. text processing and classic NLP.md二、n-gram 语言模型用数数预测下一个词n-gram 模型回答一个问题一个词序列出现的可能性有多大完整公式需要记住所有历史不现实。马尔可夫假设把历史截断到前 $n-1$ 个词二元模型bigram, n2只根据上一个词预测下一个词$P(w_i \mid w_{i-1}) \approx \frac{\text{count}(w_{i-1}, w_i)}{\text{count}(w_{i-1})}$三元模型trigram, n3根据前两个词预测精度更高、代价也更大两个绕不开的概念1. 困惑度Perplexity衡量语言模型被测试集惊到的程度。困惑度越低模型预测能力越强——均匀分布 10,000 词表时困惑度是 10,000好的 bigram 约 200现代神经网络语言模型已跌破 20。2. 平滑Smoothing训练时没见过的 n-gram 概率为 0会让整句概率归零。Kneser-Ney 平滑是经典解法它引入续接概率——统计一个词能跟在多少个不同词后面。比如 Francisco 几乎总跟在 San 后面即使 San Francisco 很常见也不会被模型在别的语境下胡乱预测。n-gram 快、可解释、无需训练只需统计曾是统治几十年的技术短板是无法捕捉长距离依赖——The keys that I left on the tablearemissing 需要知道远处的主语 keys 是复数。三、对比视角从 TF-IDF 到词向量变了什么维度TF-IDFn-gramWord2Vec / 大模型词表示稀疏向量每词一维概率表稠密低维向量语义无纯计数弱局部共现强类比、语义关系训练不需要不需要统计需要速度⚡极快⚡极快较慢可解释性高高低关键洞察Word2Vec 的 Skip-gram 在收敛时向量点积恰好近似平移点互信息矩阵——它做的本质上是 TF-IDF/共现矩阵那套思路的可扩展在线版本。经典统计方法并不是被打败了而是被吸收了。四、实战判断什么时候该用经典 NLP 技术✅优先用 TF-IDF / n-gram 的场景搜索引擎、关键词检索、日志/文本聚类快、省、稳定RAG 检索的第一层向量召回前用 TF-IDF/BM25 做粗筛是主流工程标配拼写纠错、模糊匹配编辑距离 词典统计小数据、低资源、无 GPU 的边缘环境需要可解释结果的业务审计与面试讲解❌该交给神经网络的场景语义理解、情感、翻译、长文生成需要上下文消歧的下游任务一句话总结n-gram 教会了模型数概率TF-IDF 教会了模型分权重——这两课大语言模型至今还在上。五、学习路线与资料索引推荐按以下顺序学习只需初等数学和基础 Python chapter 07 - computational linguistics/02. text processing and classic NLP.md —— 分词BPE/WordPiece、TF-IDF、n-gram、平滑、POS 标注与 NER chapter 07 - computational linguistics/03. embeddings and sequence models.md —— Word2Vec/GloVe 如何继承并超越词袋思想 chapter 07 - computational linguistics/04. transformers and language models.md —— 现代 Transformer 语言模型 全书总览与章节导航README.md 快速摘要版内容索引llms.txt项目还内置了一个MCP 服务器mcp/可让 AI 助手把整个 Compendium 当作知识库直接查阅概念学习时非常顺手。 相关配图images/bag_of_words.svg、images/markov_chain.svg经典不等于过时。理解 TF-IDF 的区分度直觉和 n-gram 的马尔可夫近似你才能真正读懂现代 LLM 站在哪些肩膀上。【免费下载链接】maths-cs-ai-compendiumBecome a cracked AI/ML researcher/engineer with this unconventional textbook covering maths, computing, and ML with intuition.项目地址: https://gitcode.com/GitHub_Trending/mat/maths-cs-ai-compendium创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考