📰 Mintlify用虚拟文件系统替换RAG,实现AI文档助手秒级响应

Mintlify分享了他们如何用虚拟文件系统替代传统RAG来构建文档助手,显著提升了响应速度并降低了成本。

  • 传统方案:使用真实沙箱创建会话需要约46秒,月均85万对话成本超7万美元
  • 新方案ChromaFs:将文档存储在已有的Chroma向量数据库上,模拟文件系统接口
  • 会话创建时间从46秒降至100毫秒,边际计算成本降为0
  • 底层使用Vercel Labs的just-bash项目,支持grep、cat、ls、find等命令
  • 内置细粒度权限控制,不同用户只能看到有权限的文档
  • grep操作结合Chroma查询和内存过滤,大型递归查询毫秒级完成
  • 每天处理3万+对话,为30万用户提供文档助手服务

原文链接:https://www.mintlify.com/blog/how-we-built-a-virtual-filesystem-for-our-assistant

🕐 发布于: 2026年04月04日 18:02

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注