gardel/Mofox-Core
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
5,507 Commits 1 Branch 0 Tags
05205c60b3335ee40be65dfb263c68ade5145d40
Commit Graph

50 Commits

Author SHA1 Message Date
Windpicker-owo
7f6180e677 feat(visualizer): 增加可渲染节点和边的最大限制，提高图形处理能力 2025-11-19 23:37:51 +08:00
Windpicker-owo
e119b33a69 feat(path_expansion): 添加性能优化参数和批量计算功能，提升路径评分效率 2025-11-19 23:37:49 +08:00
Windpicker-owo
a873fb7769 feat(persistence): 实现异步保存图存储以提高性能和响应性 2025-11-19 23:37:37 +08:00
Windpicker-owo
d95233ea67 feat(persistence): 使用aiofiles实现异步文件读写以提高性能 2025-11-19 23:37:37 +08:00
Windpicker-owo
59965bb1ee refactor(action_manager): 简化回复处理逻辑，移除多余的参与者信息获取 2025-11-19 23:37:30 +08:00
minecraft1024a
f44ece0b29 style: 统一代码风格并采用现代化类型注解 
对整个代码库进行了一次全面的代码风格清理和现代化改造，主要包括：

- 移除了所有文件中多余的行尾空格。
- 将类型提示更新为 PEP 585 和 PEP 604 引入的现代语法（例如，使用 `list` 代替 `List`，使用 `|` 代替 `Optional`）。
- 清理了多个模块中未被使用的导入语句。
- 移除了不含插值变量的冗余 f-string。
- 调整了部分 `__init__.py` 文件中的 `__all__` 导出顺序，以保持一致性。

这些改动旨在提升代码的可读性和可维护性，使其与现代 Python 最佳实践保持一致，但未修改任何核心逻辑。
 2025-11-19 23:37:27 +08:00
Windpicker-owo
926fa45b3f feat(user_profile_tool): 更新好感分数描述，增加评分注意事项以提升用户理解 2025-11-19 23:37:21 +08:00
Windpicker-owo
d4739c039a feat(memory_tools): 优化多角度查询生成策略，精简查询内容，去除冗余信息 2025-11-19 23:37:21 +08:00
Windpicker-owo
40e7b3b514 feat: 添加路径评分扩展算法和内存去重工具 
- 基于图路径传播，实现了一种路径评分扩展算法，以优化内存检索。
引入了内存去重工具，以识别和合并相似的内存，从而提高结果质量。
- 更新了路径扩展的配置选项，包括最大跳数、阻尼因子和剪枝阈值。
- 在路径扩展中增加了对首选节点类型的支持，以提高内存检索的相关性。
- 增强的日志记录功能，以便更好地跟踪路径扩展和去重过程。
 2025-11-19 23:37:21 +08:00
Windpicker-owo
8657b01f0d feat(replyer): 使用全局配置替换默认记忆检索参数，提升灵活性和可配置性 
feat(memory_tools): 优化记忆过滤逻辑，增强日志记录和过滤统计
feat(plan_filter): 调整AFC场景的记忆检索数量，减少干扰
 2025-11-19 23:37:20 +08:00
Windpicker-owo
98d2d14621 feat(memory_manager): 增强配置日志记录，添加搜索权重和阈值过滤支持 2025-11-19 23:37:19 +08:00
Windpicker-owo
8f668f18f7 feat:增强记忆节点的嵌入生成和日志记录- 在 MemoryBuilder 中为 SUBJECT 和 VALUE 节点类型添加了嵌入生成，确保仅为内容足够的节点创建嵌入。- 改进了 MemoryTools 的日志记录，在初始向量搜索期间提供详细见解，包括低召回情况的警告。- 调整了不同记忆类型的评分权重，以强调相似性和重要性，提高记忆检索的质量。- 将向量搜索限制从 2 倍提高到 5 倍，以改善初始召回率。- 引入了一个新脚本，用于为现有节点生成缺失的嵌入，支持批量处理并改进索引。 2025-11-19 23:37:19 +08:00
Windpicker-owo
a8fe969c70 feat(memory_tools): 添加优先节点类型支持，优化多查询生成与记忆扩展逻辑 2025-11-19 23:37:19 +08:00
Windpicker-owo
f43a9a2938 feat: 增强内存移除和图扩展功能 
- 更新了`graph_store.py`中的`remove_memory`方法，以包含一个可选参数`cleanup_orphans`，用于立即清理孤立节点。
- 对`graph_expansion.py`中的图扩展算法进行了优化，具体优化措施包括：
  - 采用内存级广度优先搜索（BFS）遍历，而非节点级遍历。
  - 批量检索邻居内存，以减少数据库调用次数。
  - 早期停止机制，以避免不必要的扩展。
  - 增强日志记录功能，以提高可追溯性。
- 增加了性能指标，以追踪内存扩展的效率。
 2025-11-19 23:36:36 +08:00
Windpicker-owo
924c267a48 refactor: 优化记忆激活机制，增加快速批量激活功能以提升性能 2025-11-19 23:36:24 +08:00
Windpicker-owo
bab62ed42e refactor: 优化兴趣值管理器和统一调度器，增强任务执行的并发控制 2025-11-19 23:36:23 +08:00
明天好像没什么
26d22e5dd8 ruff 2025-11-19 23:36:06 +08:00
Windpicker-owo
a5481121b8 feat: 添加向量数据清理脚本，确保向量数据仅存储在专门的向量数据库中 2025-11-19 23:35:39 +08:00
Windpicker-owo
2caaa5e533 refactor: 优化嵌入生成逻辑，失败时返回 None，简化错误处理；更新调度器任务管理逻辑 2025-11-19 23:35:36 +08:00
Windpicker-owo
c4a9c8a44a refactor: 移除多查询生成方法，简化记忆检索逻辑；在工具接口中添加当前时间信息 2025-11-19 23:35:35 +08:00
copilot-swe-agent[bot]
3b0b18de9c refactor: 消除重复代码并优化记忆系统结构 
- 提取共享工具函数到 utils 模块
  - 创建 utils/similarity.py: 统一余弦相似度计算
  - 创建 utils/graph_expansion.py: 统一图扩展算法
- 删除重复实现
  - manager.py: 删除 _cosine_similarity 和 _fast_cosine_similarity (60行)
  - tools/memory_tools.py: 删除 _expand_with_semantic_filter 和 _cosine_similarity (150行)
- 清理废弃代码
  - 删除 tools/memory_tools.py 中10行注释掉的旧代码
  - 删除空的 retrieval/ 模块
- 净减少 ~150行重复代码

Co-authored-by: Windpicker-owo <221029311+Windpicker-owo@users.noreply.github.com>
 2025-11-19 23:35:35 +08:00
copilot-swe-agent[bot]
f8e58ef229 fix: 修复代码质量问题 - 更正异常处理和导入语句 
Co-authored-by: Windpicker-owo <221029311+Windpicker-owo@users.noreply.github.com>
 2025-11-19 23:35:35 +08:00
Windpicker-owo
30e43c8a28 fix(CreateMemoryTool): 更新属性字段说明，增加时间精确度至小时分钟 2025-11-19 23:35:31 +08:00
Windpicker-owo
5c40fe50c9 feat(memory): 更新记忆管理和配置，优化整合逻辑，添加语义相似度阈值 2025-11-19 23:35:31 +08:00
Windpicker-owo
2dbe615057 feat(memory-graph): 添加记忆图系统配置，整合节点去重合并器与记忆管理器 2025-11-19 23:35:30 +08:00
Windpicker-owo
5c2b7bc5ba fix(manager): 优化记忆整合逻辑，添加批量处理限制，提升性能和稳定性 
fix(config): 更新配置文件版本，调整记忆整合阈值和时间窗口设置
 2025-11-19 23:35:30 +08:00
Windpicker-owo
264462b977 fix(vector_store): 修复 ids 列表检查逻辑，避免 numpy 数组歧义 
fix(memory_tools): 优化邻居节点数据检查逻辑，确保嵌入数据有效
fix(manager): 更新配置项名称为 search_max_expand_depth
 2025-11-19 23:35:29 +08:00
Windpicker-owo
ca237e7d59 fix(storage): 修复 get_node_by_id 函数中的 ids 列表检查逻辑，避免 numpy 数组歧义 2025-11-19 23:35:29 +08:00
tt-P607
b2367fa6b0 fix(storage): 修复了Bot/src/memory_graph/storage/vector_store.py 中 get_node_by_id 函数的逻辑问题。通过将 if result["ids"]: 修改为 if result and result["ids"]:，解决了当 chromadb 返回 numpy 数组时可能引发的 ValueError，确保了程序在处理节点查询时的健壮性。 2025-11-19 23:35:29 +08:00
Windpicker-owo
7fda218291 fix(memory): 移除生成多查询时的优化查询参数 2025-11-19 23:35:28 +08:00
Windpicker-owo
57b42512bb feat: 增强聊天回复生成器，添加参与者信息和聊天历史处理逻辑 2025-11-19 23:35:28 +08:00
Windpicker-owo
35899c8aa0 fix(memory): 更新复杂查询示例以提高检索准确率 2025-11-19 23:35:28 +08:00
Windpicker-owo
2bb7e6294e feat(memory): 优化记忆检索助手的查询生成逻辑，更新示例以提高准确性 2025-11-19 23:35:27 +08:00
Windpicker-owo
de24580dec feat: 将 JSON 处理库从 json 更改为 orjson，以提高性能和兼容性 2025-11-19 23:35:23 +08:00
Windpicker-owo
cbe94f3fa8 feat(memory): 添加图扩展功能，支持语义相似度过滤与深度探索 2025-11-19 23:35:22 +08:00
Windpicker-owo
60cecbcd58 feat: 实现多查询生成与融合搜索，简化记忆检索逻辑 2025-11-19 23:35:22 +08:00
Windpicker-owo
59081848e2 feat(memory): 移除传统内存系统并优化内存图谱 
- 移除整个传统内存系统，包括内存系统模块及所有相关组件
- 删除弃用的内存组件：增强型内存激活器、海马体采样器、内存构建器、内存块、内存遗忘引擎、内存格式器、内存融合器、内存管理器、内存元数据索引、内存查询规划器、内存系统、消息集合处理器、消息集合存储、向量内存存储_v2
- 更新内存图配置，采用增强型检索设置
- 优化内存管理器查询功能，以分析完整对话上下文
- 更新机器人配置模板版本至7.6.1，新增内存图表检索参数

重大变更：旧版内存系统已被完全移除。所有内存功能现依赖于内存图系统。请更新配置以包含新的内存图检索参数。
 2025-11-19 23:34:57 +08:00
Windpicker-owo
b6a693895b feat: 重构聊天系统的内存处理与格式化功能 
- 更新了DefaultReplyer，采用新的内存格式化工具以提供更优质的内存描述。
- 已移除 Config 类中已弃用的内存配置。
- 在主系统中增强内存系统初始化检查，确保配置正确。
- 优化了MemoryManager，使其可直接使用全局配置进行内存设置。
- 新增了一个内存格式化工具，用于将内存对象转换为自然语言描述。
- 更新了内存工具，提供了更清晰的内存创建与管理指南。
- 精炼插件工具与使用提示，提升用户交互体验与记忆准确性。
- 根据内存系统结构的变化调整了机器人配置模板。
 2025-11-19 23:32:11 +08:00
Windpicker-owo
7bb0248ca2 feat(memory): 添加自动关联功能及相关配置支持 2025-11-19 23:32:10 +08:00
Windpicker-owo
5439e3bd82 fix(memory-graph): 修复集成测试问题 
- 修复Config类memory字段验证问题 (改为Optional)
- 为Memory模型添加activation属性
- 修复CreateMemoryTool返回值 (添加memory_id)
- 为GraphStore添加remove_memory方法
- 修复integration测试脚本
- 所有集成测试通过 (5/5)

Changes:
- src/config/config.py: memory字段改为Optional
- src/memory_graph/models.py: 添加activation属性
- src/memory_graph/plugin_tools/memory_plugin_tools.py: 返回memory_id
- src/memory_graph/storage/graph_store.py: 添加remove_memory方法
- tests/test_memory_graph_integration.py: 修复工具返回值检查

Tests:
 基本记忆操作 (CRUD + 检索)
 LLM工具集成 (创建记忆)
 记忆生命周期 (激活/整合/遗忘)
 维护任务 (调度+手动执行)
 配置系统 (默认/自定义/bot_config)
 2025-11-19 23:32:09 +08:00
Windpicker-owo
9deb778e8f feat(memory): 添加配置系统支持，移除旧memory配置 
重大改进:
- 在 bot_config_template.toml 添加 [memory_graph] 配置段
- 移除旧的 [memory] 配置段（~85行）
- 更新 MemoryGraphConfig 支持从 bot_config 加载
- 更新 MemoryManager 使用配置参数
- 更新 manager_singleton 支持配置初始化

配置系统:
- enable: 启用/禁用记忆图系统
- data_dir: 数据存储目录
- 向量存储: collection_name, db_path
- 检索: top_k, min_importance, similarity_threshold
- 智能查询优化: enable_query_optimization
- 整合: enabled, interval_hours, similarity_threshold, time_window
- 遗忘: enabled, activation_threshold, min_importance
- 激活: decay_rate, propagation_strength, propagation_depth
- 性能: max_nodes_per_memory, max_related_memories

配置加载流程:
1. MemoryGraphConfig.from_bot_config(global_config)
2. 使用 getattr 安全获取配置值
3. 提供默认值作为后备

使用配置:
- MemoryManager 从 config 读取所有参数
- maintenance 使用 consolidation_* 参数
- auto_forget_memories 使用 forgetting_* 参数
- activate_memory 使用 activation_* 参数

向后兼容:
- [memory_legacy] 保留旧配置供参考
- [vector_db] 保留给其他系统使用
- 新系统使用独立 chromadb 实例

完成 Step 4: 添加配置支持
 2025-11-19 23:32:08 +08:00
Windpicker-owo
75951e8732 feat(memory): 集成 unified_scheduler 实现定期记忆维护 
重大改进:
- 在 MemoryManager 中添加调度器集成
- 使用 unified_scheduler 定期执行维护任务
- 实现 consolidate_memories 记忆整合方法
- 优化 shutdown 流程，确保调度任务正确停止

技术实现:
- start_maintenance_scheduler: 创建定期维护任务
- stop_maintenance_scheduler: 停止调度任务
- maintenance: 整合、遗忘、保存数据
- consolidate_memories: 合并相似记忆

调度配置:
- 触发类型: TriggerType.TIME
- 默认间隔: 1小时 (3600秒)
- 任务类型: 循环任务 (is_recurring=True)
- 任务名称: memory_maintenance

维护流程:
1. 记忆整理: 合并相似度0.85的记忆
2. 自动遗忘: 遗忘激活度<0.1的记忆
3. 数据保存: 持久化图存储
4. 统计报告: 返回维护结果

测试验证:
- 调度任务成功注册
- 任务信息正确 (循环、TIME类型)
- 初始化时自动启动
- shutdown时自动停止

完成 Step 3: 实现定期记忆整理
 2025-11-19 23:32:08 +08:00
Windpicker-owo
c4d8a132cc feat(memory): 添加智能查询优化，移除瞬时记忆处理 
重大改进:
- 在 MemoryManager 中添加 optimize_search_query 方法
- 使用小模型优化搜索查询，提高检索精确度
- search_memories 新增 optimize_query 和 context 参数
- 移除瞬时记忆处理（由其他系统负责）

技术实现:
- 使用 utils_small 模型优化查询语句
- 自动提取查询核心意图和关键信息
- 支持上下文感知（聊天历史、发言人）
- 失败时自动降级到原始查询

查询优化流程:
1. 提取聊天历史和发言人信息
2. 构建查询上下文
3. 调用小模型生成优化查询
4. 使用优化查询进行语义搜索
5. 返回相关记忆

default_generator.py 调整:
- 移除瞬时记忆处理逻辑
- 调用 manager.search_memories 时传入 context
- 启用 optimize_query 参数
 2025-11-19 23:32:08 +08:00
Windpicker-owo
c764b076ca refactor(memory): 完全移除旧记忆系统，全面切换到新记忆图系统 
重大变更:
- 移除 default_generator.py 中对旧增强记忆系统的所有调用
- 移除 prompt.py 中的记忆构建函数
- 记忆检索全面使用新记忆图系统
- 禁用旧记忆系统的自动存储逻辑

记忆构建流程:
- 记忆创建: LLM 通过 create_memory 工具主动创建
- 记忆检索: default_generator.py 自动检索
- 记忆传递: 通过 pre_built_params 传入 prompt

工具可用性:
- CreateMemoryTool: available_for_llm = True
- LinkMemoriesTool: available_for_llm = False
- SearchMemoriesTool: available_for_llm = False

技术细节:
- 提高记忆检索数量 top_k=10
- 降低重要性阈值 min_importance=0.3
- 修复类型错误和警告
 2025-11-19 23:32:07 +08:00
Windpicker-owo
01d754d5f9 feat(memory-graph): Step 1 - 集成记忆工具到插件系统 
完成记忆系统工具的插件化集成：

1. 创建记忆工具适配器 (memory_plugin_tools.py)
   - CreateMemoryTool: 创建新记忆
   - LinkMemoriesTool: 关联两条记忆
   - SearchMemoriesTool: 搜索相关记忆
   - 适配 BaseTool 接口，支持 LLM 调用

2. 创建全局 MemoryManager 单例 (manager_singleton.py)
   - initialize_memory_manager(): 初始化全局实例
   - get_memory_manager(): 获取单例实例
   - shutdown_memory_manager(): 关闭管理器
   - 线程安全的单例模式

3. 创建记忆系统插件 (plugins/memory_graph_plugin/)
   - MemoryGraphPlugin: 插件主类
   - 自动注册3个记忆工具到系统
   - on_plugin_loaded(): 初始化 MemoryManager
   - on_unload(): 清理资源

4. 修复类型问题
   - ToolParamType.OBJECT  STRING (JSON格式)
   - ToolParamType.NUMBER  FLOAT
   - attributes 参数支持 JSON 字符串解析
   - 修复 min_importance None 比较错误

5. 添加集成测试 (test_plugin_integration.py)
   - 测试工具导入和定义
   - 测试 MemoryManager 初始化
   - 测试工具执行（创建、搜索记忆）
   - 测试单例模式

测试结果:  所有测试通过
LLM 现在可以通过工具调用主动管理记忆！
 2025-11-19 23:32:07 +08:00
Windpicker-owo
fc84afcf40 feat(memory-graph): 增强时间解析器，支持周/月/年和组合时间表达 
- 新增周级别支持: X周前/后（如：2周前、3周后）
- 新增月级别支持: X个月前/后（如：1个月前、3月后）
- 新增年级别支持: X年前/后（如：1年前、2年后）
- 新增组合时间表达: 日期+时间段（如：今天下午、昨天晚上）
- 优化解析顺序，组合表达优先匹配
- 新增测试套件: 44种时间表达式全部通过
- 集成测试无'无法解析时间'警告

Changes:
- src/memory_graph/utils/time_parser.py: 增强 _parse_days_ago, 新增 _parse_combined_time
- tests/memory_graph/test_time_parser_enhanced.py: 完整测试套件（44个测试用例）
- docs/changelogs/time_parser_enhancement.md: 详细的增强说明文档
 2025-11-19 23:32:06 +08:00
Windpicker-owo
16170621c7 feat(memory-graph): 完成 Phase 3 - 记忆管理器 
Phase 3 实现内容:
- MemoryManager: 统一的记忆管理接口
  * 完整的 CRUD 操作
  * 多策略检索（语义+类型+重要性+时间+遗忘状态过滤）
  * 记忆关联管理

- 记忆生命周期管理:
  * 激活机制：时间衰减 + 访问计数 + 激活传播
  * 遗忘机制：手动遗忘 + 自动遗忘（基于激活度）
  * 激活度计算：考虑上次访问时间的衰减

- 系统维护:
  * 定期维护任务
  * 统计信息（总记忆、节点、边、激活度等）
  * 数据持久化和加载

- GraphStore 增强:
  * 添加 get_all_memories() 方法

修复问题:
- search_memories: 修复记忆ID字段名（memory_id vs id）
- 搜索现在正确返回记忆对象

测试结果 (test_manager.py):
 初始化: 组件整合成功
 CRUD: 创建3条记忆，更新重要性
 关联: 建立2个记忆关系（导致、引用）
 搜索: 找到3条记忆，类型/重要性过滤工作
 激活: 激活度 00.81.0，访问次数统计
 遗忘: 手动+自动遗忘，搜索正确过滤
 统计: 4条记忆，17节点，18边，激活度0.333
 维护: 自动遗忘和保存
 持久化: 关闭后重新加载，数据完整

下一步: 整合到主系统，添加 MCP 工具接口
 2025-11-19 23:32:06 +08:00
Windpicker-owo
9bd418b15f feat(memory-graph): 完成 Phase 2 - 记忆构建与工具接口 
Phase 2 实现内容:
- 时间解析器 (utils/time_parser.py): 支持自然语言时间表达式
- 记忆提取器 (core/extractor.py): 参数验证和标准化
- 记忆构建器 (core/builder.py): 自动构造记忆子图，支持节点去重和关联
- 嵌入生成器 (utils/embeddings.py): API 优先策略，降低本地负载
- LLM 工具接口 (tools/memory_tools.py): create_memory, link_memories, search_memories

关键修复:
- VectorStore: 支持 ChromaDB 列表元数据的 JSON 序列化
- 测试数据同步: 确保向量存储和图存储数据一致性

测试结果:
 时间解析器: 6/6 通过
 记忆提取器: 3 个测试用例通过
 记忆构建器: 构建记忆子图成功
 端到端流程: 成功创建 3 条记忆
 记忆关联: 建立因果关系成功
 记忆搜索: 语义搜索返回正确结果
 工具 Schema: 3 个工具定义完整

下一步: Phase 3 - 管理层实现
 2025-11-19 23:32:06 +08:00
Windpicker-owo
75c8c6c8fa feat(memory-graph): Phase 1 完整实现 - 持久化和节点去重 
完成功能:
- 持久化管理 (PersistenceManager)
  * 图数据的保存和加载
  * 自动备份和恢复
  * 数据导出/导入

- 节点去重合并 (NodeMerger)
  * 基于语义相似度查找重复节点
  * 上下文匹配验证
  * 自动节点合并
  * 批量处理支持

 测试验证:
- 持久化: 保存/加载/备份
- 节点合并: 相似度0.999自动合并
- 图统计: 合并后节点数正确减少

 Phase 1 完成度: 100%
- 所有基础设施就绪
- 准备进入 Phase 2
 2025-11-19 23:32:05 +08:00
Windpicker-owo
dd58f5da20 feat(memory-graph): Phase 1 基础架构实现 
- 定义核心数据模型 (MemoryNode, MemoryEdge, Memory)
- 实现配置管理系统 (MemoryGraphConfig)
- 实现向量存储层 (VectorStore with ChromaDB)
- 实现图存储层 (GraphStore with NetworkX)
- 创建设计文档大纲
- 添加基础测试并验证通过

待完成:
- 持久化管理
- 节点去重逻辑
- 记忆构建器
- 记忆检索器
 2025-11-19 23:32:05 +08:00