新闻详情

新闻详情

首页 / 资讯中心 / 详情

AI和大模型—向量数据库

发布时间:2026/11/16 18:14:41来源:尧图网络
AI和大模型—向量数据库
一、引入大家设想这样一个场景在传统的数据库中存入了不少的图片。但图片的名字不记得了或者说只能记得图片上的内容比如过生日吹蜡烛、湖边野营等等。那么这时候查找相关的图片的困难是相当大的。这和在相册里翻找一张过去的照片的难度是一样的。正所谓有需求就有解决方案。传统的的数据库和相册中只能通过搜索进行模糊的如日期、大小等进行搜索。而向量数据库的引入则从根本上解决了这类问题。图片等 非结构化数据 嵌入 非传统的关系型数据库 如何“像”二、向量数据库人类查找图片的过程其实是一个相似度查找的过程。大家有没有这种经历找一张图片结果发现一张和其类似的图片点击了进去。也就是说人类是通过一定的相似特征来定位要查找的图片的然后才会具体限制更多的条件来定位是否准确。那么人类的查找方式是不是也可以被数据库系统借鉴呢这就使用到了前面反复提到的向量。向量可以表示特征那么用不同的向量来表征不同的图片不就可以用来搜索图片了吗而且向量是一种数据在搜索里可以被精确的匹配或者说找到匹配的概率。通过概率来返回查找的类似图片。这就会大大的缩小查找的范围。那么什么是向量数据库呢向量数据库是一种专门为存储、管理和高效检索高维向量数据而设计的数据库系统。看到名字没有它是一个检索系统。向量数据库存储的不是传统的数据本身而是首先要把传统数据向量化将其转为高维空间向量并将语义相似的数据向量存储在相近的位置。然后建立索引形成一个高效的检索系统最后再利用相似性搜索技术将用户的查询数据与系统内的向量数据进行匹配然后得到“距离最近”或者说“最像”的数据。也就是说向量数据的检索是通过计算向量间的距离来判断相似度的如余弦相似度、欧氏距离等等。三、索引算法和查找算法既然向量数据库是一个检索系统而向量数据又不是传统的字符串或数字。那么索引组织的算法就不能使用传统的索引算法。在向量数据库中使用的是HNSW、IVF-PQ等算法。同样其查找算法也有所不同。索引算法向量数据库的索引算法包括暴力搜索FLAT直接存储原始向量不做索引。数据索引精确但效率太低。只适合于小数据量的向量存储倒排文件索引IVF有过网页检索经验的可能会好理解。通过聚类缩小范围然后再精确定位。通用检索常用乘积量化PQ一种压缩算法降低内存占用及加快计算速度。适合于内存有限或计算速度有要求的场景分层可导航小世界HNSW基于图的高性能算法有点类似于跳表。对速度和召回率要求高且内存充足的情况DiskAnn一种磁盘存储优化索引算法适合海量数据且内存不再是主要的限制条件查找算法精确查找一般使用Brute-Force KNN方式无它遍历向量计算距离返回距离最近的所有向量近似查找ANN Search听名字就知道最近查找只要相似度足够高就可以。它可以使用IVF也可以使用HNSW更多的往往是混合一起使用。粗查阶段使用IVF或PQ算法细查阶段使用HNSW算法向量数据库的索引和查找算法都是建立 在近似最近邻ANN探索的基础之上。在精确率和效率间进行平衡实现了海量数据库的毫秒级响应四、AI和大模型中的应用向量数据库出现的并不晚但真正发力则是在AI应用的发展才开始的。了解AI一些技术的都知道AI处理数据的过程其实就是向量数据不断被运算加工的过程。AI的向量数据从低维到高维成海海量的存在而这也恰恰是向量数据库的优势所在。它可以认为是专门为AI发展而创建的数据库。它解决了AI和大模型中的记忆问题让AI能够始终保持对数据的长期记忆和准确快速的检索的能力。在AI中最主要的应用就是RAG前面分析过不再赘述为大模型提供了外部知识库有效的解决了大模型的幻觉问题。进而可以为AI Agent提供记忆相关的一系列支持。另外它还可以作为智能客服和AI机器人的知识库解决客户的提问问题。五、扩展分析需要说明的是向量数据库是无法替换传统数据库的。它们应用的场景不同只是应对不同的应用场景罢了。那么在向量数据库还有哪些其它的常见应用场景呢推荐系统电商网站中经常为客户提供类似的喜欢产品就是典型的应用多模态搜索就象本文开头提出的图片内容搜索或文字对应商品等等都可以实现但是无论是在AI还是在传统行业的应用向量数据库有自己的优势也有自己的不足。作为一种较新数据库技术其系统的应用时间短导致与现有系统的整合有很大的复杂性增加了成本。而且这种数据库的更新删除处理相对麻烦还需要进一步的发展。最后就是这种向量数据库的对检索的支持是一种精度与速度的平衡取舍的过程不能用传统的数据库查找来对比。六、常见向量数据库正如前面分析一样向量数据库有一个发展的过程。所以它会有专业的向量数据库和传统数据库支持向量数据的扩展专用向量数据库这种向量数据库是专门用来处理向量数据的数据库提供了相关的专业的设计和向量检索组织常见的有Chroma、Milvus、Pinecone、Weaviate等传统数据库向量化扩展可以认为是为了适应向量化数据的存储一些原有的传统数据库增加了相关的插件可以对向量数据进行处理。常见的有PostgreSQL数据库中的pgvector、Elasticsearch、MongoDB及Redis等七、总结新技术的出现一个重要的原因是出现了新问题新的应用场景传统的技术解决不了。正如经典力学解决不了量子力学的问题一样。所以不要总是把新出现的技术当成对旧技术的替代也很有可能是一种扩展或者新领域。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/15 4:54:16

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/15 2:04:12

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/14 10:11:15

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/16 6:47:19

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/14 16:35:50

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/16 17:28:18

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉