memvid

Olow304 memvid

Memvid 项目核心内容总结：

功能
将文本知识库压缩为可搜索的 MP4 视频文件，支持毫秒级语义检索，无需依赖数据库或服务器。通过将文本转换为 QR 码嵌入视频帧，实现比传统向量数据库小 50-100 倍的存储效率。

使用方法

1. 安装：pip install memvid（需额外安装 PyPDF2 支持 PDF）
2. 基础操作：
   • 编码文本到视频：MemvidEncoder 添加文本块并生成 .mp4 和索引文件。
   • 交互查询：MemvidChat 实现基于视频的问答。
3. 高级功能：
   • 自定义嵌入模型、并行处理、调整视频编码参数（如 H.265 压缩）。
   • 支持 PDF、Markdown 等文档批量处理。
4. CLI 工具：支持文档处理、编码参数配置、加载已有文件。

主要特性

• 存储优化：利用视频编码技术压缩重复 QR 码，实现高效存储。
• 快速检索：通过索引直接定位视频帧并解码，检索延迟低于 100ms。
• 零基础设施：仅需 Python 和 MP4 文件，无需数据库或云服务。
• 离线可用：生成后无需网络即可运行。
• 可移植性：视频文件可复制、流式传输，兼容任何视频播放器。

性能指标

• 索引速度：现代 CPU 下约 10,000 条文本/秒。
• 存储效率：100MB 文本压缩为 1-2MB 视频。
• 内存占用：无论数据量大小，常驻内存约 500MB。

未来计划（v2）

• 支持跨会话记忆、可共享的封装文件（.mv2）、时间轴调试、智能缓存、自适应视频编码（AV1 等）、CLI 与仪表盘工具。