传统文本
词袋模型:把句子当成一袋词,只数词出现没出现、出现几次,不管顺序 TF-IDF:在词袋基础上,给“常见词”降权,给“有区分度的词”加权 Word2Vec:把每个词变成一个向量,能表达“词和词意思相近”,但它本身不直接表示整句
词袋模型 BoW 是什么
词袋模型的想法特别朴素:把一句话拆成词,扔进一个袋子里,只关心袋子里有哪些词、各几个,不关心顺序。 比如两句话: “我 爱 北京” “北京 爱 我” 在词袋眼里,它们词频完全一样,因为袋子里都是“我、爱、北京”各一个。语序信息直接丢了。 词袋的表示方式:先建一个词表,然后每个句子变成一个向量,每个位置对应一个词,值是这个词出现的次数。 比如词表是 [我, 爱, 北京, 天气]: “我 爱 北京” → [1, 1, 1, 0] “北京 爱 我” → [1, 1, 1, 0] 两句话向量一模一样。词袋简单、快,但很粗糙
TF-IDF 原理:词频 × 逆文档频率
F-IDF 想解决词袋的一个问题:“的、是、了”这种词到处都有,不该和“苹果、天气”一样重要 它由两部分组成: TF(词频):这个词在这篇文档里出现得多不多。出现越多,越重要 IDF(逆文档频率):这个词在整个语料里常见不常见。越常见的词,越不值钱;越少见的词,越有区分度
TF-IDF 的局限
无语义:它只知道词面一样不一样,不知道“苹果”和“iPhone”有关系。 同义词失效:“今天天气很好”和“今天天气不错”,共享词少,TF-IDF 相似度可能很低,但人知道意思几乎一样。 语序失效:“我打你”和“你打我”词一样,TF-IDF 分不出来。 稀疏高维:词表有多大,向量就多长,大部分是 0。 一词多义:“苹果很好吃”和“苹果手机很好用”,都含“苹果”,TF-IDF 会觉得像,但语义不同。 无法泛化:没见过的词、新词、拼写变体,直接抓瞎 一句话:TF-IDF 是“词面匹配”,不是“语义匹配”
Word2Vec:把词变成向量
Word2Vec 的目标:让每个词变成一个固定维度的稠密向量,意思相近的词,向量也相近 它有两个常见训练方式: CBOW:用上下文词预测中心词。比如“我 爱 __ 京”,用“我、爱、京”猜“北” Skip-gram:用中心词预测上下文。比如给“爱”,猜周围可能出现“我、北京” 小白理解: CBOW 是“看周围猜中间” Skip-gram 是“看中间猜周围”
RAG核心逻辑
- 检索(Retrieval)
从你的资料库里找到和问题最相关的内容
- 增强(Augmented)
把找到的内容和用问题拼在一起,交给大模型
- 生成(Generation)
大模型只根据检索到的内容,生成准确答案
- 而整个RAG系统最核心的两个技术支柱,就是 Embedding(嵌入)和向量数据库
