从零开始：Node.js接入Milvus向量数据库实战（AI日记本场景）

手把手教你用Milvus实现语义搜索解决LLM幻觉问题前言最近在做AI日记本项目遇到了一个痛点用户想找出最近情绪积极的日记传统的MySQL用LIKE %开心%根本搜不准。这时候就需要向量数据库出场了。本文会带你快速上手Milvus目前最流行的开源向量数据库并用Node.js实现一个完整的语义搜索demo。一、为什么需要向量数据库1.1 传统数据库的局限能力MySQLMilvus存结构化数据✅ 擅长❌ 不擅长关键词搜索✅ LIKE模糊匹配❌语义搜索❌ 做不到✅ 核心能力找意思相近的内容❌✅举个例子用户搜心情不好MySQL只能匹配包含这几个字的日记Milvus能找出所有语义上消极的日记哪怕没出现心情不好这四个字1.2 RAG架构解决幻觉问题这是目前大模型应用的标配用户问题 → 向量化 → Milvus检索相关文档 → 拼接到Prompt → LLM生成回答这样LLM就能基于真实文档回答大大减少胡说八道。1.3 双存储架构对于AI日记本推荐MySQL Milvus双写写入MySQL存标题/时间/作者 Milvus存向量/内容 查询基础功能走MySQL语义搜索走Milvus二、环境准备2.1 启动MilvusDocker方式# 下载配置 wget https://github.com/milvus-io/milvus/releases/download/v2.2.8/milvus-standalone-docker-compose.yml -O docker-compose.yml # 启动 docker-compose up -d # 检查是否启动成功 docker ps | grep milvus启动后服务监听localhost:195302.2 安装Node.js SDKpnpm init -y pnpm add zilliz/milvus2-sdk-node2.3 安装可视化工具可选docker run -p 3000:3000 -e MILVUS_URLlocalhost:19530 zilliz/attu:latest访问http://localhost:3000即可看到图形化管理界面。三、核心代码实战3.1 连接Milvus// milvus.js import { MilvusClient, DataType } from zilliz/milvus2-sdk-node; const client new MilvusClient({ address: localhost:19530, }); export default client;3.2 创建集合Collection集合相当于MySQL中的表import client from ./milvus.js; const COLLECTION_NAME diary_entries; const VECTOR_DIM 768; // 取决于你用哪个embedding模型 async function initCollection() { // 1. 定义Schema const fields [ { name: id, data_type: DataType.Int64, is_primary_key: true, autoID: true, }, { name: vector, data_type: DataType.FloatVector, dim: VECTOR_DIM, }, { name: content, data_type: DataType.VarChar, max_length: 2000, }, { name: emotion, data_type: DataType.VarChar, max_length: 20, }, { name: created_at, data_type: DataType.Int64, }, ]; // 2. 创建集合 await client.createCollection({ collection_name: COLLECTION_NAME, fields: fields, }); // 3. 创建索引搜索前必须 await client.createIndex({ collection_name: COLLECTION_NAME, field_name: vector, index_type: HNSW, metric_type: COSINE, // 余弦相似度 params: { efConstruction: 10, M: 4 }, }); // 4. 加载到内存搜索前必须 await client.loadCollectionSync({ collection_name: COLLECTION_NAME, }); console.log(✅ 集合初始化完成); } initCollection();3.3 模拟Embedding函数实际项目中调用OpenAI或本地模型// embedding.js - 这里用随机向量模拟 function getEmbedding(text) { // 真实场景调用 OpenAI Embedding API 或 BGE 模型 // const response await openai.embeddings.create(...) // return response.data[0].embedding; // 模拟生成768维随机向量 return Array.from({ length: 768 }, () Math.random() * 2 - 1); } export default getEmbedding;3.4 插入数据import client from ./milvus.js; import getEmbedding from ./embedding.js; const COLLECTION_NAME diary_entries; async function insertDiary(content, emotion) { const vector getEmbedding(content); const result await client.insert({ collection_name: COLLECTION_NAME, data: [{ vector: vector, content: content, emotion: emotion, created_at: Date.now(), }], }); console.log(✅ 插入成功ID: ${result.ids}); return result; } // 测试插入 await insertDiary(今天阳光明媚和朋友去公园野餐心情特别好, 积极); await insertDiary(项目延期了加班到深夜感觉好累, 消极); await insertDiary(收到了一份意外的礼物很感动, 积极);3.5 语义搜索核心功能async function semanticSearch(query, limit 5) { const queryVector getEmbedding(query); const result await client.search({ collection_name: COLLECTION_NAME, data: [queryVector], limit: limit, output_fields: [content, emotion, created_at], params: { nprobe: 64 }, }); return result.results; } // 测试搜索 const results await semanticSearch(心情怎么样); results.forEach((item, i) { console.log(\n 结果 ${i1} (相似度: ${item.distance.toFixed(3)})); console.log(内容: ${item.entity.content}); console.log(情绪: ${item.entity.emotion}); });输出示例 结果 1 (相似度: 0.892) 内容: 今天阳光明媚和朋友去公园野餐心情特别好 情绪: 积极 结果 2 (相似度: 0.856) 内容: 收到了一份意外的礼物很感动 情绪: 积极 结果 3 (相似度: 0.312) 内容: 项目延期了加班到深夜感觉好累 情绪: 消极3.6 带过滤条件的搜索// 只搜积极情绪的日记 async function searchPositiveDiaries(query) { const queryVector getEmbedding(query); const result await client.search({ collection_name: COLLECTION_NAME, data: [queryVector], limit: 5, filter: emotion 积极, // 元数据过滤 output_fields: [content, emotion], }); return result.results; }3.7 更新和删除// Upsert存在就更新不存在就插入 async function upsertDiary(id, content, emotion) { await client.upsert({ collection_name: COLLECTION_NAME, data: [{ id: id, vector: getEmbedding(content), content: content, emotion: emotion, }], }); } // 删除 async function deleteDiary(id) { await client.delete({ collection_name: COLLECTION_NAME, ids: [id], }); } // 按条件删除 async function deleteByEmotion(emotion) { await client.delete({ collection_name: COLLECTION_NAME, filter: emotion ${emotion}, }); }四、AI日记本完整架构4.1 架构图┌─────────────────────────────────────────────┐ │ AI日记本应用 │ ├──────────────────────┬──────────────────────┤ │ MySQL │ Milvus │ │ • 用户信息 │ • 日记向量 │ │ • 日记标题/时间 │ • 日记内容 │ │ • 点赞/评论 │ • 情绪标签 │ ├──────────────────────┴──────────────────────┤ │ 同步策略写时双写查询按场景路由 │ └─────────────────────────────────────────────┘4.2 双写实现// diary.service.js import mysql from ./mysql.js; import milvusClient from ./milvus.js; import getEmbedding from ./embedding.js; async function createDiary(userId, title, content) { // 1. 写MySQL const mysqlResult await mysql.query( INSERT INTO diaries (user_id, title, content) VALUES (?, ?, ?), [userId, title, content] ); const diaryId mysqlResult.insertId; // 2. 写Milvus await milvusClient.insert({ collection_name: diary_entries, data: [{ id: diaryId, // 保持ID一致 vector: getEmbedding(content), content: content, // 可以调用情感分析模型自动打标 emotion: await analyzeEmotion(content), created_at: Date.now(), }], }); return diaryId; } // 查询路由 async function searchDiaries(userId, query, type keyword) { if (type semantic) { // 语义搜索走Milvus const vector getEmbedding(query); const result await milvusClient.search({ collection_name: diary_entries, data: [vector], filter: user_id ${userId}, output_fields: [content], }); return result.results; } else { // 关键词搜索走MySQL return await mysql.query( SELECT * FROM diaries WHERE user_id ? AND content LIKE ?, [userId, %${query}%] ); } }五、生产环境注意事项5.1 选择Embedding模型模型维度推荐场景text-embedding-ada-0021536通用调用OpenAI APIBAAI/bge-large-zh1024中文场景效果好all-MiniLM-L6-v2384轻量级本地部署5.2 索引参数调优// HNSW索引参数说明 { index_type: HNSW, metric_type: COSINE, params: { M: 16, // 连接数越大召回率越高构建越慢 efConstruction: 200, // 构建时搜索宽度越大精度越高 } } // 搜索参数 { params: { nprobe: 64, // 搜索时扫描的聚类数越大召回率越高速度越慢 } }5.3 使用Zilliz云服务免运维// 连接Zilliz Cloud const client new MilvusClient({ address: https://your-cluster-id.region.vectordb.zilliz.com.cn:19530, token: your-api-token, ssl: true, });5.4 常见报错解决报错解决方案collection not loaded执行loadCollectionSyncindex not found先createIndex再loadCollectiondimension mismatch检查向量维度是否与Schema定义一致connection refused确认Milvus服务是否启动端口是否正确六、总结核心要点Milvus 专门存向量找语义相似的数据库RAG流程文档→向量→存Milvus→查询向量化→检索→增强Prompt→LLM回答双存储架构MySQL存结构化数据Milvus存向量各司其职关键三步创建集合→创建索引→加载到内存缺一不可项目源码所有代码已整理需要完整项目的朋友可以评论区留言。