向量数据库|向量与相似度基础
- 向量就是一串数,Embedding 就是把文字变成一串固定长度的浮点数
- 范数是这串数的“长度”,L2 归一化就是把这串数按比例缩放,让长度变成1
- 归一化后,两个向量做点积,就等于看它们方向像不像,也就是余弦相似度
标量、向量、多维向量
- 标量
就是一个数,比如 3.14、42。
- 一维向量
一串有序的数,比如 [0.2, -0.1, 0.7]。你可以把它想成空间里的一个箭头。
- 多维向量
日常说“768 维向量”,意思是这个向量有 768 个数,比如 [0.1, 0.3, ..., 0.2]。它本身还是一串数,不是 768 个向量
- Embedding 向量
模型把一句话变成一串浮点数,让计算机能算“这两句话像不像”。 特点:
是浮点数数组
维度固定,常见 512、768、1024
同一个模型输出的向量才在同一个“坐标系”里
不同模型输出的向量不能直接比较,哪怕维度一样也不行
- 类比
向量像箭头,归一化前有的箭头长、有的短;归一化后所有箭头都变成单位长度,只看方向
稠密向量和稀疏向量
- 稠密向量:大多数位置都有数,基本没有大量 0。Embedding 通常是稠密的
- 稀疏向量:大量位置是 0,只记录非零的位置和值。词袋、TF-IDF、BM25 常见这种
- 一句话:稠密是“每个维度都参与”,稀疏是“少数维度有值,大部分是 0”
L2 范数是什么
L2 范数就是向量的“长度”。 算法很直白:每个数先平方,全部加起来,再开根号。 比如向量是 [3, 4],长度就是 5。 [0.6, 0.8] 的长度就是 1。 你不用背公式,记住:范数 = 这串数整体有多长
L2 归一化是什么
L2 归一化就是:把向量里的每个数都除以这个向量的长度。 效果是:原来长度是 5 的向量,缩放后长度变成 1;原来长度是 0.3 的,也变成 1。方向不变,只改长度。 比如 [3, 4] 长度是 5,归一化后变成 [0.6, 0.8],长度就是 1。 注意:零向量没有方向,不能归一化。代码里要防止除以 0
