砍材农夫砍材农夫
  • 微信记账小程序
  • java
  • redis
  • mysql
  • 场景类
  • 框架类
  • vuepress搭建
  • hexo搭建
  • 云图
  • llm wiki

    • 基于karpathy
    • gradle
  • 常用工具

    • git
    • gradle
    • Zadig
    • it-tools
    • 开源推荐
    • curl
  • 大前端

    • 环境配置
    • 微信生态
    • 正则
    • 全栈技能
  • java圈

    • java基础
    • jdk体系
    • jvm
    • spring框架
    • 分库分表
    • zookeeper
  • python技能

    • python编程
    • python数据
  • 算法

    • 算法
  • 网关

    • spring_cloud_gateway
    • openresty
  • 高可用

    • 秒杀
    • 分布式
    • 缓存一致
  • MQ

    • MQ
    • rabbitMQ
    • rocketMQ
    • kafka
  • 其它

    • 设计模式
    • 领域驱动(ddd)
  • 关系型数据库

    • mysql5.0
    • mysql8.0
  • 非关系型数据库

    • redis
    • mongoDB
  • 分布式/其他

    • ShardingSphere
    • 区块链
  • 向量数据库
  • Jmeter
  • fiddler
  • wireshark
  • AI入门
  • AI大模型
  • AI插件
  • AI集成框架
  • 相关算法
  • AI训练师
  • 量化交易
  • AIoT
  • gitee
  • github
  • infoq
  • osc
  • 砍材工具
  • 关于
  • 相关运营
  • devops
  • 元宇宙
  • 区块链
  • 物联网
  • webrtc
  • web3.0
  • gitee
  • github
  • infoq
  • osc
  • 砍材工具
  • 关于
  • 中考
  • 投资
  • 保险
  • 思
  • 微信记账小程序
  • java
  • redis
  • mysql
  • 场景类
  • 框架类
  • vuepress搭建
  • hexo搭建
  • 云图
  • llm wiki

    • 基于karpathy
    • gradle
  • 常用工具

    • git
    • gradle
    • Zadig
    • it-tools
    • 开源推荐
    • curl
  • 大前端

    • 环境配置
    • 微信生态
    • 正则
    • 全栈技能
  • java圈

    • java基础
    • jdk体系
    • jvm
    • spring框架
    • 分库分表
    • zookeeper
  • python技能

    • python编程
    • python数据
  • 算法

    • 算法
  • 网关

    • spring_cloud_gateway
    • openresty
  • 高可用

    • 秒杀
    • 分布式
    • 缓存一致
  • MQ

    • MQ
    • rabbitMQ
    • rocketMQ
    • kafka
  • 其它

    • 设计模式
    • 领域驱动(ddd)
  • 关系型数据库

    • mysql5.0
    • mysql8.0
  • 非关系型数据库

    • redis
    • mongoDB
  • 分布式/其他

    • ShardingSphere
    • 区块链
  • 向量数据库
  • Jmeter
  • fiddler
  • wireshark
  • AI入门
  • AI大模型
  • AI插件
  • AI集成框架
  • 相关算法
  • AI训练师
  • 量化交易
  • AIoT
  • gitee
  • github
  • infoq
  • osc
  • 砍材工具
  • 关于
  • 相关运营
  • devops
  • 元宇宙
  • 区块链
  • 物联网
  • webrtc
  • web3.0
  • gitee
  • github
  • infoq
  • osc
  • 砍材工具
  • 关于
  • 中考
  • 投资
  • 保险
  • 思
  • 向量
    • 向量数据库|向量与相似度基础
    • 三大相似度/距离度量
    • 基础检索概念
  • 向量模型

    • 向量模型

      • 向量模型入门
      • 分组统计作为条件
    • sklearn

      • sklearn入门
      • 分组统计作为条件
  • 向量数据库

    • 入门
    • sqlite-vec

      • chroma入门
      • 分组统计作为条件
    • chroma

      • chroma入门
      • 分组统计作为条件
    • qdrant

      • 常用sql脚本
      • 分组统计作为条件
    • weaviate

      • 常用sql脚本
      • 分组统计作为条件
    • Milvus

      • 常用sql脚本
      • 分组统计作为条件
  • 传统文本
  • 词袋模型 BoW 是什么
  • TF-IDF 原理:词频 × 逆文档频率
  • TF-IDF 的局限
  • Word2Vec:把词变成向量
  • RAG核心逻辑
  • 向量数据库

传统文本

词袋模型:把句子当成一袋词,只数词出现没出现、出现几次,不管顺序 TF-IDF:在词袋基础上,给“常见词”降权,给“有区分度的词”加权 Word2Vec:把每个词变成一个向量,能表达“词和词意思相近”,但它本身不直接表示整句

词袋模型 BoW 是什么

词袋模型的想法特别朴素:把一句话拆成词,扔进一个袋子里,只关心袋子里有哪些词、各几个,不关心顺序。 比如两句话: “我 爱 北京” “北京 爱 我” 在词袋眼里,它们词频完全一样,因为袋子里都是“我、爱、北京”各一个。语序信息直接丢了。 词袋的表示方式:先建一个词表,然后每个句子变成一个向量,每个位置对应一个词,值是这个词出现的次数。 比如词表是 [我, 爱, 北京, 天气]: “我 爱 北京” → [1, 1, 1, 0] “北京 爱 我” → [1, 1, 1, 0] 两句话向量一模一样。词袋简单、快,但很粗糙

TF-IDF 原理:词频 × 逆文档频率

F-IDF 想解决词袋的一个问题:“的、是、了”这种词到处都有,不该和“苹果、天气”一样重要 它由两部分组成: TF(词频):这个词在这篇文档里出现得多不多。出现越多,越重要 IDF(逆文档频率):这个词在整个语料里常见不常见。越常见的词,越不值钱;越少见的词,越有区分度

TF-IDF 的局限

无语义:它只知道词面一样不一样,不知道“苹果”和“iPhone”有关系。 同义词失效:“今天天气很好”和“今天天气不错”,共享词少,TF-IDF 相似度可能很低,但人知道意思几乎一样。 语序失效:“我打你”和“你打我”词一样,TF-IDF 分不出来。 稀疏高维:词表有多大,向量就多长,大部分是 0。 一词多义:“苹果很好吃”和“苹果手机很好用”,都含“苹果”,TF-IDF 会觉得像,但语义不同。 无法泛化:没见过的词、新词、拼写变体,直接抓瞎 一句话:TF-IDF 是“词面匹配”,不是“语义匹配”

Word2Vec:把词变成向量

Word2Vec 的目标:让每个词变成一个固定维度的稠密向量,意思相近的词,向量也相近 它有两个常见训练方式: CBOW:用上下文词预测中心词。比如“我 爱 __ 京”,用“我、爱、京”猜“北” Skip-gram:用中心词预测上下文。比如给“爱”,猜周围可能出现“我、北京” 小白理解: CBOW 是“看周围猜中间” Skip-gram 是“看中间猜周围”

RAG核心逻辑

  • 检索(Retrieval)

从你的资料库里找到和问题最相关的内容

  • 增强(Augmented)

把找到的内容和用问题拼在一起,交给大模型

  • 生成(Generation)

大模型只根据检索到的内容,生成准确答案

  • 而整个RAG系统最核心的两个技术支柱,就是 Embedding(嵌入)和向量数据库

向量数据库

最近更新: 2026/10/26 17:22
Contributors: kcnf
Prev
sklearn入门
Next
分组统计作为条件