NVIDIA Merlin & Milvus

推荐系统 pipeline 中至关重要的一环便是为用户检索并找到最相关的商品。为了实现这一目标，通常会使用低维向量（embedding）表示商品，使用数据库存储及索引数据，最终对数据库中数据进行近似最近邻（ANN）搜索。这些向量表示是通过深度学习模型获取的，而这些深度学习模型基于用户和产品或服务之间的交互进行训练。使用计算机视觉算法或语言模型，还可以从各种数据模态（例如图像、视频或产品与用户的文本描述）中生成向量表示。获取向量表示后便迎来关键步骤——对数十万甚至数百万/数十亿的向量嵌入数据集（例如电商库存产品 embedding）进行高效的 top-k（即 k 个最相似）搜索。

NVIDIA Merlin （https://github.com/NVIDIA-Merlin） 是一个开源框架，用于训练端到端模型，从而为各类规模的数据生成推荐，轻松集成高效的向量数据库索引和搜索框架。而 Milvus 作为大模型时代备受关注的向量数据库可以提供高效索引和查询功能。

最近，Milvus （https://zilliz.com/what-is-milvus）新增支持 NVIDIA GPU 加速 https://github.com/milvus-io/milvus/releases/tag/v2.3.0