推荐一个 GitHub 上的开源项目,叫 LLM Wiki,做的事情很简单:让 LLM 帮你把文档自动整理成一个持久化、互相关联的知识库。特别适合做个人知识管理。
传统 RAG 的思路是每次查询都重新检索一遍,效率其实不高。LLM Wiki 换了个做法,让大模型增量式地构建和维护一个结构化的 Wiki。知识只需要编译一次,后续有新内容进来就持续更新,不用反复重建。
整个项目基于 Andrej Karpathy 提出的 LLM Wiki 模式论文做了完整实现,还加了大量增强。
说说它的核心能力。
处理文档用的是两步思维链:LLM 先分析文档内容,再生成对应的 Wiki 页面,整个过程支持源追溯和增量缓存,不会重复劳动。
知识图谱这块做得比较细,用了四种信号来构建关联:直接链接、源重叠、Adamic-Adar 指标和类型亲和性,能把知识之间的关系建模得比较准确。在此基础上还跑了 Louvain 社区检测算法,自动发现知识簇,对松散的集群会用内聚度评分来标记。图谱还能识别出意外的连接和知识空白,可以一键触发深度研究去补全。
搜索方面,基于 LanceDB 做了向量语义检索,支持任意 OpenAI 兼容的端点接入。
工程层面也考虑得很周到。任务队列做了持久化,串行处理带崩溃恢复,支持取消、重试和进度可视化。文件夹导入支持递归,保留原始目录结构,文件夹路径还会作为 LLM 的分类提示。另外还有 Chrome 网页剪藏扩展,一键抓取网页内容自动纳入知识库。
产品形态是跨平台桌面应用,三栏布局:左边知识树,中间对话,右边预览,用起来很直观。生成的 Wiki 文件用 Markdown 加 YAML frontmatter 加 wikilink 语法,兼容 Obsidian,也支持手动编辑,LLM 负责维护整体结构。
目前已经有 2800 多个 star,还在活跃开发中。如果你一直想搭一个自己的知识库或者研究笔记系统,可以关注一下这个项目。
传送门:github.com/nashsu/llm_wiki
#How I AI##科技先锋官#
