【免费书稿：《向量检索基础》】
- 向量广泛用于表示各种形式的数据，无论是手工设计的特征向量，还是通过深度学习模型学习得到的嵌入向量。向量表示使得不同模态的数据可以映射到一个共同的空间进行处理。
- 在一个向量集合中，我们通常希望相似的对象被映射到内积空间或度量空间中的近邻向量。这样可以将检索问题形式化为在向量集合中找到与查询向量最相似的Top-K向量。
- 向量检索问题有不同变体，包括K近邻搜索、最大余弦相似度搜索和最大内积搜索。最大内积搜索是最困难的变体，因为内积不是一个度量，不满足三角不等式等性质。
- 实际中通常求解向量检索问题的近似解，允许一定误差范围。近似Top-K解要求返回的向量与确切的Top-K向量的相似度误差不超过一个常数因子。
- 向量检索算法面临的主要挑战是高维度导致的困难，称为“维数灾难”。例如靠网格划分的分支定界算法时间复杂度随维度呈指数增长。
- 数据通常位于低维流形上，可以用倍增维数等概念描述，这为设计针对内在维数的算法提供可能。
- 主要算法思路包括：局部敏感Hashing、基于图的算法、采样算法等，以不同方式应对高维度带来的挑战。
- 压缩技术如量化和sketch也可用于降低存储复杂度，并支持直接在压缩域计算距离。
- 向量检索是信息检索、推荐系统等众多应用的基础，是一个值得深入研究的重要问题。
《Foundations of Vector Retrieval》S Bruch (2024) http://t.cn/A6jqYgze #机器学习# #人工智能#