借助GBrain探讨RAG语料过期清洗解决方案与实操指南

一、背景与痛点

小马的当前团队已搭建了一套基于向量数据库的RAG系统，用于支撑日常的AI问答与知识检索。但随着业务迭代和版本更新，一个核心问题逐渐暴露出来：向量知识库中的语料经常不是最新的。

具体表现为：

• 项目文档更新后，向量库中仍保留旧版本，检索时优先召回过期内容；
• 会议纪要、人物履历、技术方案等持续变化，语料更新依赖人工定期清理，维护成本高；
• 传统RAG无法自动感知语料是否过时，缺乏标识和判断机制，过期内容与最新信息混杂输出，影响回答质量。

因此，需要一套可落地、低侵入、可控性高的语料过期清洗方案。本文提供两种不同思路的解决方案，可根据团队的技术栈和风险偏好灵活选择。

二、GBrain 介绍

方案一将基于 GBrain 构建自动化清洗层。为便于理解方案原理，本节先对 GBrain 做整体介绍。

2.1 什么是 GBrain？

GBrain 是由 Y Combinator 总裁 Garry Tan 于 2026年4月开源的一套 AI 原生知识管理系统，专为 AI Agent（如 OpenClaw、Hermes）设计的长期记忆与知识检索引擎。开源当天即获得约 5000 星标，截至目前已超 1.6 万星标。它并非一个“笔记软件”，而是一个生产级的 AI 知识大脑——Garry Tan 本人就用它管理着自己的真实 AI Agent 系统。

仓库：https://github.com/garrytan/gbrain

2.2 它解决什么问题？

AI Agent 很聪明，但天生“健忘”。默认情况下，每次对话都从空白开始，不记得上周的会议、前几次对话提到的人、上个月做出的决策。传统 RAG 只能做到“检索”，无法真正“记住并进化”。

GBrain 的答案是：给 AI Agent 装一个可以持续读写、自动进化的“外挂大脑”。它把散落在各处的 Markdown 笔记——人脉档案、公司资料、会议记录、碎片想法——统统变成一个可搜索、可推理、持续增长的知识图谱。当你睡觉时，它还在自动扫描对话、丰富实体信息、修复引用、合并冗余记忆。

2.3 核心特性

2.4 技术架构

GBrain 采用 三层架构：

• 第一层：Brain Repo（Markdown 知识仓库） —— 所有知识以 Markdown 文件形式存储在 Git 仓库中，人类可直接编辑，支持版本控制和 diff 追溯。
• 第二层：Postgres + pgvector 检索引擎 —— 将 Markdown 仓库索引到 Postgres 数据库，通过 pgvector 实现向量检索，pg_trgm 实现模糊匹配，tsvector 实现关键词全文检索，三者通过 RRF（倒数排名融合）合并排序。GBrain 采用三种文本分块策略（递归分块、语义分块、固定大小分块），根据内容类型自动选择最优方案。
• 第三层：Agent Skillpack（技能包） —— 34 个用 Markdown 编写的 Skill 文件，定义了 AI Agent 如何读写知识库、如何执行维护任务。

2.5 核心设计：编译真相 + 时间线

GBrain 最核心的设计是双层知识组织模型。每个知识页面被一条 --- 分割线分成上下两部分：

• 上方：编译真相（Compiled Truth） —— 当前最新的、最准确的信息摘要，会随着新证据不断重写。相当于维基百科的“当前页面”。
• 下方：时间线（Timeline） —— 只追加、不修改、不删除的原始证据链条，每条记录包含时间戳、来源和原始引用。相当于页面底部的“历史版本”列表。

这种设计确保了两个关键能力：检索时永远优先看到最新结论（读编译真相），需要追溯时随时可以回溯历史（查时间线）。具体的过期检测与清洗机制，将在下一节方案一中详细展开。

2.6 为什么 GBrain 适合语料过期清洗？

回到本文的核心问题——RAG 语料过期清洗，GBrain 提供了天然的解决方案：

1. 自动感知过期：通过“编译真相最后更新时间”与“时间线最新证据入库时间”的对比，自动识别哪些页面可能过时。
2. 标记与操作分离：判断层只贴标签不修改数据，执行层由人工或代码决定是否真正清洗。
3. 可追溯可回滚：时间线中的每一条记录都不可篡改，任何清洗操作都可回溯。
4. 零侵入集成：GBrain 可作为独立层叠加在现有 RAG 系统之上，不替换向量数据库，不侵入检索链路。

2.7 适合谁用？

三、方案一：基于GBrain的自动化清洗层方案

本节假设您已了解 GBrain 的基本概念（见上一节），现在介绍如何利用 GBrain 构建语料过期清洗的具体方案。

核心思路：在现有RAG系统之上叠加一层独立的GBrain知识复合层，专门负责语料的过期识别、冲突标记与自动清洗，不替换原有向量数据库，不侵入原有检索链路。

3.1 方案原理（详细版）

3.1.1 双层知识组织模型：像“书架”一样管理知识

GBrain将知识库中的所有语料组织成两层结构，类似于一个图书馆的书架系统：

• 第一层：编译真相（Compiled Truth）—— 书架上的“推荐卡片”
  每个主题或实体有一张“推荐卡片”，上面写着当前最新的、最准确的信息摘要。例如，对于“张三”这个人，卡片上写着“张三，2025年至今任甲公司CTO”。
  这张卡片不是固定的，随着新证据出现，系统会不断重写卡片内容，确保它始终是最新的。

• 第二层：时间线（Timeline）—— 书架底层的“原始档案柜”
  所有原始语料按时间顺序归档，只追加、不修改、不删除。比如，2024年有一条记录写着“张三，2019–2024年任职乙公司”，2025年又追加一条“张三，2025年至今任甲公司CTO”。

两者配合工作：当系统需要回答“张三现在在哪工作”时，优先看第一层的“推荐卡片”（最新结论）。如果需要追溯“张三的职业经历是怎么变化的”，则去第二层的“原始档案柜”里翻历史记录。

通俗理解：编译真相就像维基百科的当前页面，时间线就像页面底部的“历史版本”列表。你看到的是最新版本，但随时可以回溯历史。

3.1.2 自动过期检测机制：像“保质期标签”一样自动识别

系统内置了一套自动判断语料是否过期的规则，核心逻辑如下：

第一步：比较时间戳
系统对比每条语料的“编译真相最后更新时间”和“时间线中最新证据的入库时间”。如果发现真相已经很久没更新，但档案柜里又多了新证据，则说明“推荐卡片”可能过时。
举例：张三的编译真相最后更新于2025年6月，但时间线中2025年12月新增了一条证据“张三已跳槽至丙公司”。系统发现时间差超过30天，自动标记该页面为“待校验过期”。

第二步：多维度交叉验证
除了时间，系统还会检查：

• 版本维度：同一实体是否存在多条矛盾记录（如A页面说“李四在甲公司”，B页面说“李四在乙公司”），自动识别冲突并标记。
• 引用维度：页面中的外部链接是否失效，或引用的旧版本已被新版本覆盖。

关键设计点：以上检测过程完全基于确定性规则完成，不需要调用大模型，毫秒级响应，几乎零成本。好比食品包装上的保质期，用简单规则即可判断，无需“营养师”品尝。

3.1.3 Dream Cycle夜间整理机制：像“图书馆夜班管理员”一样自动维护

系统在闲置时段（默认凌晨2–4点）自动执行全量扫描任务，无需人工触发，类似于图书馆夜班管理员每晚闭馆后的整理工作：

• 清点图书：扫描全量知识库，检查哪些页面长时间未更新；
• 识别错放：发现关联实体之间的信息冲突（如A页面说“项目采用MySQL”，B页面说“项目已迁移至PostgreSQL”）；
• 更新卡片：根据最新证据，自动重写上层的“编译真相”，替换过时的旧结论；
• 修复损坏：修复失效的引用链接，合并重复的页面内容；
• 删除垃圾：清理已失效的低质量页面。

每个操作都会在时间线中留下完整记录，确保可追溯、可回滚。

3.1.4 标记与物理操作分离的设计：像“先贴标签，再决定扔不扔”

这是一个非常关键的安全设计。GBrain将“判断是否过期”和“执行清洗操作”拆成两个独立的步骤：

• 判断层（只贴标签）：系统只负责识别过期内容，并打上“疑似过期，请检查”的标签，不修改任何原始数据；
• 执行层（决定扔不扔）：是否真的删除或修改这些内容，由人工或代码控制决定。

用户可以选择完全关闭执行层，只保留判断层。这样，系统最多只是给语料贴个标签，绝不会擅自改动知识库。对谨慎的团队而言，这是非常安全的设计——先观察系统标记的准确性，确认无误后再开启自动清洗。

3.2 操作步骤与代码示例

# 1. 安装并初始化GBrain
bun install -g gbrain
gbrain init

# 2. 导入待清洗语料
gbrain import ./docs/ --recursive

# 3. 配置仅标记模式（安全模式）
# 编辑 .gbrainrc，关闭物理变更类任务，仅保留过期判断
# dream_cycle.tasks.rewrite_content: false
# dream_cycle.tasks.merge_duplicates: false
# dream_cycle.tasks.mark_outdated: true

# 4. 运行过期标记扫描
gbrain scan --check-outdated
gbrain export --marked-outdated --output=./outdated_report.json

# 5. 人工审核后，确认执行清洗
gbrain dream-cycle --run --dry-run    # 先预览
gbrain dream-cycle --run              # 确认执行

# 6. 清洗结果回流原有RAG
# 导出清洗后的语料，重新向量化后upsert到原有向量库

3.3 方案优缺点

四、方案二：轻量级标记 + 人工审核方案

核心思路：不引入任何额外的系统或中间层，直接在原有RAG系统的基础上，开发一套轻量级的过期检测脚本，对现有知识库语料进行周期性扫描，自动生成过期标记清单，由人工审核确认后，手动或半自动完成内容更新。

4.1 方案原理（详细版）

4.1.1 核心逻辑：像“定期盘点库存”一样检查语料

该方案的核心逻辑可概括为四个字：对照检查。如同超市每周盘点库存，查看哪些商品过期需下架，此处将“语料”视作商品，“源文档的最新版本”视作生产日期，定期对照检查。具体回答两个问题：

1. 这条语料对应的源文档有没有更新？——若源文档已更新，但向量库中仍是旧版本，说明语料过期；
2. 这条语料入库多久了？——即使源文档未更新，若入库时间过长，也建议人工复核是否仍需保留。

4.1.2 版本对照策略：找到“谁的版本更新”

根据语料来源不同，可选择不同的对照策略：

注意：版本对照只能发现“源文件变了”的情况，无法发现“源文件没变但内容本身已过时”（如技术方案本身过时但原始文档未更新）。后者需人工判断。

4.1.3 差异检测：判断“到底哪里变了”

当发现某条语料可能过时时，可进一步进行差异检测，识别具体变化内容：

• 简单方式：文本相似度对比。若新旧版本相似度低于某个阈值（如90%），说明内容变化较大，需重点关注。
• 进阶方式：LLM辅助判断。让大模型对比新旧版本，输出变更摘要（如“架构部分已从单体架构改为微服务架构”），帮助审核人员快速定位。

4.1.4 标记输出：生成“待处理清单”

检测完成后，脚本输出结构化标记清单，包含每条语料的过期状态、原因、建议操作，相当于“即将过期商品清单”。每条记录包含：

• 语料ID（哪个商品）
• 源文件路径（商品位置）
• 过期原因（源文件更新 / 入库太久）
• 建议操作（更新 / 删除 / 保留）
• 置信度（帮助审核人员决定优先级）

4.1.5 人工审核：最后的“把关人”

最后一步也是最重要的一步：人工审核。无论自动标记还是LLM辅助，均可能存在误判，最终决定权交给业务负责人或知识库管理员。审核人员需逐条确认：

• 这条语料真的过期了吗？——是/否
• 如果需要更新，有最新的源文档版本吗？——有/没有
• 如果不需要更新，直接跳过还是标记为“保留”？——跳过/标记保留

确认后，脚本根据审核结果执行批量更新操作。整个过程“先贴标签，再让人检查，检查后再处理”，兼顾效率与安全。

4.2 操作步骤与代码示例

步骤一：确定语料版本对照策略（参考上表）

步骤二：开发过期检测脚本（基于Git版本对照示例）

# check_outdated.py
# 轻量级过期检测脚本，基于Git仓库版本对照

import os
import json
import datetime
from git import Repo  # 需安装GitPython: pip install gitpython
from your_rag_system import get_vector_db  # 你的RAG系统向量数据库接口

# 配置
GIT_REPO_PATH = "/path/to/your/document/repo"  # 源文档Git仓库路径
OUTPUT_FILE = "./outdated_report.json"
OUTDATED_THRESHOLD_DAYS = 30  # 超过30天未更新视为过期

def get_latest_commit_time(repo_path, file_path):
    """获取文件在Git仓库中的最新提交时间"""
    repo = Repo(repo_path)
    commits = list(repo.iter_commits(paths=file_path, max_count=1))
    if commits:
        return datetime.datetime.fromtimestamp(commits[0].committed_date)
    return None

def check_corpus_outdated():
    """扫描向量库中的语料，对照Git仓库判断是否过期"""
    vector_db = get_vector_db()
    all_corpus = vector_db.list_all()  # 返回包含id, source_file, last_updated等字段的列表
    
    outdated_items = []
    
    for item in all_corpus:
        corpus_id = item["id"]
        source_file = item.get("source_file")
        last_vector_update = item.get("last_updated")
        
        if not source_file or not last_vector_update:
            continue
        
        latest_commit_time = get_latest_commit_time(GIT_REPO_PATH, source_file)
        if latest_commit_time is None:
            continue  # 源文件不在Git仓库中，跳过
        
        # 判断是否过期
        if latest_commit_time > last_vector_update:
            days_outdated = (datetime.datetime.now() - last_vector_update).days
            outdated_items.append({
                "corpus_id": corpus_id,
                "source_file": source_file,
                "last_vector_update": last_vector_update.isoformat(),
                "latest_source_version": latest_commit_time.isoformat(),
                "days_outdated": days_outdated,
                "status": "需要更新",
                "suggested_action": "重新抓取源文件并更新向量"
            })
        elif (datetime.datetime.now() - last_vector_update).days > OUTDATED_THRESHOLD_DAYS:
            outdated_items.append({
                "corpus_id": corpus_id,
                "source_file": source_file,
                "last_vector_update": last_vector_update.isoformat(),
                "latest_source_version": latest_commit_time.isoformat(),
                "days_outdated": (datetime.datetime.now() - last_vector_update).days,
                "status": "建议人工复核",
                "suggested_action": "人工确认是否需要更新"
            })
    
    # 输出标记结果
    report = {
        "scan_time": datetime.datetime.now().isoformat(),
        "total_corpus": len(all_corpus),
        "outdated_count": len(outdated_items),
        "items": outdated_items
    }
    
    with open(OUTPUT_FILE, "w", encoding="utf-8") as f:
        json.dump(report, f, ensure_ascii=False, indent=2)
    
    print(f"扫描完成，共发现 {len(outdated_items)} 条过期/需复核语料")
    print(f"报告已导出至: {OUTPUT_FILE}")
    return report

if __name__ == "__main__":
    check_corpus_outdated()

步骤三：设置定时任务自动扫描（使用cron）

# 每周一凌晨3点执行过期检测
0 3 * * 1 cd /path/to/your/project && python check_outdated.py

步骤四：人工审核标记清单
脚本输出的JSON报告可导入飞书文档、Excel或内部管理后台，由人工逐条审核。审核清单示例如下：

步骤五：人工确认后执行更新

# update_corpus.py
# 根据审核结果批量更新向量库

import json
import datetime
from your_rag_system import get_vector_db, generate_embedding

def update_outdated_corpus(review_file):
    """根据人工审核结果更新过期语料"""
    with open(review_file, "r", encoding="utf-8") as f:
        review_result = json.load(f)
    
    vector_db = get_vector_db()
    updated_count = 0
    
    for item in review_result:
        if item.get("审核结果") != "✅ 已确认":
            continue  # 跳过未确认的项
        
        corpus_id = item["语料ID"]
        source_file = item["源文件"]
        
        with open(source_file, "r", encoding="utf-8") as f:
            new_content = f.read()
        
        new_embedding = generate_embedding(new_content)
        vector_db.upsert(
            id=corpus_id,
            values=new_embedding,
            metadata={
                "source_file": source_file,
                "last_updated": datetime.datetime.now().isoformat(),
                "version": item.get("new_version", 1)
            }
        )
        updated_count += 1
        print(f"已更新: {corpus_id}")
    
    print(f"批量更新完成，共更新 {updated_count} 条语料")

if __name__ == "__main__":
    update_outdated_corpus("./review_result.json")

4.3 方案优缺点

五、方案选型参考

下表从多个维度对比两种方案，便于团队根据自身情况做出选择。

六、总结与建议

• 若追求高自动化、团队有运维能力、语料规模较大，推荐方案一（GBrain自动化清洗层），长期维护成本更低，清洗效果更彻底。
• 若希望最小成本快速落地、语料规模可控、强调人工审核的确定性，推荐方案二（轻量标记 + 人工审核），零侵入、零依赖，一个脚本即可跑通全流程。

两种方案并非互斥，也可分阶段实施：先用方案二快速跑通标记流程，验证过期检测的准确性，后续再逐步迁移到方案一的自动化清洗模式，形成渐进式的语料治理路径。

还有其他的清洗工具和方案也可以继续和小马一起沟通交流。