腾讯云向量数据库多项升级：最高支持千亿向量，一键打包开箱即用 | 最前线
作者 | 邓咏仪
编辑 | 苏建勋
11月15日，在腾讯云向量数据库技术及产业峰会上，腾讯云宣布全面升级向量数据库多项核心性能。
新的向量数据库在多项性能上都有提升：
- 在优化版的IVF索引支持下，向量数据库从最初支持的十亿向量规模到现在的最高千亿规模，最高支持500万QPS峰值能力。
- 索引的压缩算法进行了优化，相同的内存可以存储5-10倍的数据
- 集成Embedding功能，让用户无需关注向量生成过程，就可以实现快速处理数据，实现了用自然语言和数据对话
另外，腾讯云和信通院一起联合50多家企业共同发布了国内首个向量数据库标准，推进向量数据库及大模型相关产业走向大规模应用。腾讯云还与硬件厂商、大模型厂商、行业代表等联合成立了“AGI技术生态联盟”。
来源：腾讯
向量数据库可以说是大模型的数据“底层”，大模型若需要处理更大规模的数据，数据底座能容纳多少数据、运算速度有多快，决定了大模型的性能。
腾讯云数据库副总经理罗云表示：“从编程语言到自然语言，大模型重塑了算力调度方式。而AGI时代，也需要智能化的数据调度范式，AGI时代的数据平台，向量数据库是数据的中枢，腾讯云向量数据库希望成为这个数据中枢，通过企业级和智能化的能力助力各行各业一起走向AGI。”
腾讯云向量数据库从2019年开始内部研发，在今年7月份正式发布，目前已经过多次迭代升级。
在发布后，腾讯云向量数据库已经同时在腾讯内部和外部业务落地。据罗云介绍，目前腾讯云向量数据库已经累积服务了腾讯内部40多个业务，日请求量达1600亿次，服务了包括博世、销售易、搜狐、好未来、链家等在内的超过1000家外部客户。
例如，在SaaS领域，帮助企业客户快速构建私域知识库、智能客服系统；在电商行业，使用向量数据库来提升推荐、搜索、广告业务的推荐效果；在出行行业，使用向量数据库来加速自动驾驶模型训练，此外，在教育行业以及文创等行业也有广泛应用。
除了性能升级，如今大模型应用的火热需求，倒逼大模型底层的基础设施和生态快速迭代。腾讯云此次还推出了端到端的向量数据库解决方案，通过文本智能化分割、选择向量化模型、帮助客户建立索引，再经智能化排序实现端到端的数据接入体验。将端到端召回率提高30%，缩短数据接入AI的时间。
罗云在会后采访中表示，在以前，用户想要用大模型，很多时候只能分开来应用，大模型、数据库、数据处理都要客户自己来做、自己选型。但在端到端的解决方案出来后，用户只需要一个api，就可以一站式地完成从数据输入，接入AI大模型，并且通过自然语言快速查询。
而当下大模型发展速度一日千里，这对创业生态的影响也是深远的——大模型的每次迭代更新，可能都会替代掉不少创业机会。
在11月初的OpenAI首届开发者日上，OpenAI不仅发布了最新版本的GPT-4 Turbo大模型，推出了一款Retrieval检索工具，内置了最新的RAG（检索增强生成）技术，来帮助优化大模型输出的信息。用户在用了内嵌的检索工具后，就无需创建或者搜索向量——在很多使用场景里，对纯向量数据库的需求会减少。
但罗云表示，此举并不意味着会替代掉向量数据库的创业机会，重点更多在于能加速大模型+数据库的产品化。“OpenAI是业界顶尖公司，它选用的标准的方案也是向量数据库配合大模型，去完成端到端的解决方案，用户能一站式完成数据的检索再加上推理。”