gardel/Mofox-Core
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,738 Commits 1 Branch 0 Tags
c5c70d3cf71dbc166477b738c8129fac294d06af
Commit Graph

1738 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
Windpicker-owo
c5c70d3cf7 docs(memory-graph): 添加完整的使用文档 
- 创建memory_graph_guide.md (完整使用指南)
- 创建memory_graph_README.md (快速开始)
- 更新TODO.md (标记记忆图系统完成)

文档内容:
- 系统概述和核心特性
- 配置说明 (35+配置项)
- LLM工具使用示例
- 代码使用示例
- 最佳实践建议
- 故障排除指南
- 迁移指南
- API参考

完成状态:
 Step 1-5 全部完成
 所有集成测试通过 (5/5)
 文档完整
 2025-11-05 20:45:44 +08:00
Windpicker-owo
23b011e6ab fix(memory-graph): 修复集成测试问题 
- 修复Config类memory字段验证问题 (改为Optional)
- 为Memory模型添加activation属性
- 修复CreateMemoryTool返回值 (添加memory_id)
- 为GraphStore添加remove_memory方法
- 修复integration测试脚本
- 所有集成测试通过 (5/5)

Changes:
- src/config/config.py: memory字段改为Optional
- src/memory_graph/models.py: 添加activation属性
- src/memory_graph/plugin_tools/memory_plugin_tools.py: 返回memory_id
- src/memory_graph/storage/graph_store.py: 添加remove_memory方法
- tests/test_memory_graph_integration.py: 修复工具返回值检查

Tests:
 基本记忆操作 (CRUD + 检索)
 LLM工具集成 (创建记忆)
 记忆生命周期 (激活/整合/遗忘)
 维护任务 (调度+手动执行)
 配置系统 (默认/自定义/bot_config)
 2025-11-05 20:43:39 +08:00
Windpicker-owo
3ea6d1dcbf fix(config): 更新配置模板版本号 7.5.8 -> 7.6.0 
变更说明:
- 移除旧 [memory] 配置段
- 新增 [memory_graph] 配置段
- 新增 [memory_legacy] 向后兼容标注

这是一个次版本号更新（配置文件内容大更新）
 2025-11-05 20:27:01 +08:00
Windpicker-owo
a3cc074098 feat(memory): 添加配置系统支持，移除旧memory配置 
重大改进:
- 在 bot_config_template.toml 添加 [memory_graph] 配置段
- 移除旧的 [memory] 配置段（~85行）
- 更新 MemoryGraphConfig 支持从 bot_config 加载
- 更新 MemoryManager 使用配置参数
- 更新 manager_singleton 支持配置初始化

配置系统:
- enable: 启用/禁用记忆图系统
- data_dir: 数据存储目录
- 向量存储: collection_name, db_path
- 检索: top_k, min_importance, similarity_threshold
- 智能查询优化: enable_query_optimization
- 整合: enabled, interval_hours, similarity_threshold, time_window
- 遗忘: enabled, activation_threshold, min_importance
- 激活: decay_rate, propagation_strength, propagation_depth
- 性能: max_nodes_per_memory, max_related_memories

配置加载流程:
1. MemoryGraphConfig.from_bot_config(global_config)
2. 使用 getattr 安全获取配置值
3. 提供默认值作为后备

使用配置:
- MemoryManager 从 config 读取所有参数
- maintenance 使用 consolidation_* 参数
- auto_forget_memories 使用 forgetting_* 参数
- activate_memory 使用 activation_* 参数

向后兼容:
- [memory_legacy] 保留旧配置供参考
- [vector_db] 保留给其他系统使用
- 新系统使用独立 chromadb 实例

完成 Step 4: 添加配置支持
 2025-11-05 20:22:08 +08:00
Windpicker-owo
4d44b18ac8 feat(memory): 集成 unified_scheduler 实现定期记忆维护 
重大改进:
- 在 MemoryManager 中添加调度器集成
- 使用 unified_scheduler 定期执行维护任务
- 实现 consolidate_memories 记忆整合方法
- 优化 shutdown 流程，确保调度任务正确停止

技术实现:
- start_maintenance_scheduler: 创建定期维护任务
- stop_maintenance_scheduler: 停止调度任务
- maintenance: 整合、遗忘、保存数据
- consolidate_memories: 合并相似记忆

调度配置:
- 触发类型: TriggerType.TIME
- 默认间隔: 1小时 (3600秒)
- 任务类型: 循环任务 (is_recurring=True)
- 任务名称: memory_maintenance

维护流程:
1. 记忆整理: 合并相似度0.85的记忆
2. 自动遗忘: 遗忘激活度<0.1的记忆
3. 数据保存: 持久化图存储
4. 统计报告: 返回维护结果

测试验证:
- 调度任务成功注册
- 任务信息正确 (循环、TIME类型)
- 初始化时自动启动
- shutdown时自动停止

完成 Step 3: 实现定期记忆整理
 2025-11-05 20:13:46 +08:00
Windpicker-owo
c3ca811e46 feat(memory): 添加智能查询优化，移除瞬时记忆处理 
重大改进:
- 在 MemoryManager 中添加 optimize_search_query 方法
- 使用小模型优化搜索查询，提高检索精确度
- search_memories 新增 optimize_query 和 context 参数
- 移除瞬时记忆处理（由其他系统负责）

技术实现:
- 使用 utils_small 模型优化查询语句
- 自动提取查询核心意图和关键信息
- 支持上下文感知（聊天历史、发言人）
- 失败时自动降级到原始查询

查询优化流程:
1. 提取聊天历史和发言人信息
2. 构建查询上下文
3. 调用小模型生成优化查询
4. 使用优化查询进行语义搜索
5. 返回相关记忆

default_generator.py 调整:
- 移除瞬时记忆处理逻辑
- 调用 manager.search_memories 时传入 context
- 启用 optimize_query 参数
 2025-11-05 19:31:07 +08:00
Windpicker-owo
cd15c51e6b refactor(memory): 完全移除旧记忆系统，全面切换到新记忆图系统 
重大变更:
- 移除 default_generator.py 中对旧增强记忆系统的所有调用
- 移除 prompt.py 中的记忆构建函数
- 记忆检索全面使用新记忆图系统
- 禁用旧记忆系统的自动存储逻辑

记忆构建流程:
- 记忆创建: LLM 通过 create_memory 工具主动创建
- 记忆检索: default_generator.py 自动检索
- 记忆传递: 通过 pre_built_params 传入 prompt

工具可用性:
- CreateMemoryTool: available_for_llm = True
- LinkMemoriesTool: available_for_llm = False
- SearchMemoriesTool: available_for_llm = False

技术细节:
- 提高记忆检索数量 top_k=10
- 降低重要性阈值 min_importance=0.3
- 修复类型错误和警告
 2025-11-05 19:22:34 +08:00
Windpicker-owo
edd74bed9f feat(memory-graph): Step 2 - 集成记忆检索到提示词生成 
- 修改 build_memory_block 方法，添加记忆图系统检索
- 在提示词构建时自动从记忆图系统中检索相关记忆
- 合并增强记忆系统和记忆图系统的检索结果
- 更新记忆格式化代码以使用合并后的记忆列表

技术细节:
- 使用 manager_singleton 获取全局记忆管理器
- 调用 search_memories 检索相关记忆 (top_k=5, min_importance=0.5)
- 将记忆格式化为兼容的数据结构并合并到 all_memories
- 保持与现有增强记忆系统的兼容性

测试验证:
- 成功创建测试记忆并检索
- 不同查询能找到相应的相关记忆
- 记忆图系统可正常被提示词生成器调用
 2025-11-05 18:53:32 +08:00
Windpicker-owo
fc71aad817 feat(memory-graph): Step 1 - 集成记忆工具到插件系统 
完成记忆系统工具的插件化集成：

1. 创建记忆工具适配器 (memory_plugin_tools.py)
   - CreateMemoryTool: 创建新记忆
   - LinkMemoriesTool: 关联两条记忆
   - SearchMemoriesTool: 搜索相关记忆
   - 适配 BaseTool 接口，支持 LLM 调用

2. 创建全局 MemoryManager 单例 (manager_singleton.py)
   - initialize_memory_manager(): 初始化全局实例
   - get_memory_manager(): 获取单例实例
   - shutdown_memory_manager(): 关闭管理器
   - 线程安全的单例模式

3. 创建记忆系统插件 (plugins/memory_graph_plugin/)
   - MemoryGraphPlugin: 插件主类
   - 自动注册3个记忆工具到系统
   - on_plugin_loaded(): 初始化 MemoryManager
   - on_unload(): 清理资源

4. 修复类型问题
   - ToolParamType.OBJECT  STRING (JSON格式)
   - ToolParamType.NUMBER  FLOAT
   - attributes 参数支持 JSON 字符串解析
   - 修复 min_importance None 比较错误

5. 添加集成测试 (test_plugin_integration.py)
   - 测试工具导入和定义
   - 测试 MemoryManager 初始化
   - 测试工具执行（创建、搜索记忆）
   - 测试单例模式

测试结果:  所有测试通过
LLM 现在可以通过工具调用主动管理记忆！
 2025-11-05 18:42:42 +08:00
Windpicker-owo
64b8636e9e feat(memory-graph): 增强时间解析器，支持周/月/年和组合时间表达 
- 新增周级别支持: X周前/后（如：2周前、3周后）
- 新增月级别支持: X个月前/后（如：1个月前、3月后）
- 新增年级别支持: X年前/后（如：1年前、2年后）
- 新增组合时间表达: 日期+时间段（如：今天下午、昨天晚上）
- 优化解析顺序，组合表达优先匹配
- 新增测试套件: 44种时间表达式全部通过
- 集成测试无'无法解析时间'警告

Changes:
- src/memory_graph/utils/time_parser.py: 增强 _parse_days_ago, 新增 _parse_combined_time
- tests/memory_graph/test_time_parser_enhanced.py: 完整测试套件（44个测试用例）
- docs/changelogs/time_parser_enhancement.md: 详细的增强说明文档
 2025-11-05 18:31:13 +08:00
Windpicker-owo
93a2c1dde0 feat(memory-graph): 完成 Phase 3 - 记忆管理器 
Phase 3 实现内容:
- MemoryManager: 统一的记忆管理接口
  * 完整的 CRUD 操作
  * 多策略检索（语义+类型+重要性+时间+遗忘状态过滤）
  * 记忆关联管理

- 记忆生命周期管理:
  * 激活机制：时间衰减 + 访问计数 + 激活传播
  * 遗忘机制：手动遗忘 + 自动遗忘（基于激活度）
  * 激活度计算：考虑上次访问时间的衰减

- 系统维护:
  * 定期维护任务
  * 统计信息（总记忆、节点、边、激活度等）
  * 数据持久化和加载

- GraphStore 增强:
  * 添加 get_all_memories() 方法

修复问题:
- search_memories: 修复记忆ID字段名（memory_id vs id）
- 搜索现在正确返回记忆对象

测试结果 (test_manager.py):
 初始化: 组件整合成功
 CRUD: 创建3条记忆，更新重要性
 关联: 建立2个记忆关系（导致、引用）
 搜索: 找到3条记忆，类型/重要性过滤工作
 激活: 激活度 00.81.0，访问次数统计
 遗忘: 手动+自动遗忘，搜索正确过滤
 统计: 4条记忆，17节点，18边，激活度0.333
 维护: 自动遗忘和保存
 持久化: 关闭后重新加载，数据完整

下一步: 整合到主系统，添加 MCP 工具接口
 2025-11-05 18:18:34 +08:00
Windpicker-owo
1f94cd22b7 feat(memory-graph): 完成 Phase 2 - 记忆构建与工具接口 
Phase 2 实现内容:
- 时间解析器 (utils/time_parser.py): 支持自然语言时间表达式
- 记忆提取器 (core/extractor.py): 参数验证和标准化
- 记忆构建器 (core/builder.py): 自动构造记忆子图，支持节点去重和关联
- 嵌入生成器 (utils/embeddings.py): API 优先策略，降低本地负载
- LLM 工具接口 (tools/memory_tools.py): create_memory, link_memories, search_memories

关键修复:
- VectorStore: 支持 ChromaDB 列表元数据的 JSON 序列化
- 测试数据同步: 确保向量存储和图存储数据一致性

测试结果:
 时间解析器: 6/6 通过
 记忆提取器: 3 个测试用例通过
 记忆构建器: 构建记忆子图成功
 端到端流程: 成功创建 3 条记忆
 记忆关联: 建立因果关系成功
 记忆搜索: 语义搜索返回正确结果
 工具 Schema: 3 个工具定义完整

下一步: Phase 3 - 管理层实现
 2025-11-05 17:54:13 +08:00
Windpicker-owo
1884a2029b docs(memory-graph): 添加 Phase 1 完成总结文档 2025-11-05 16:54:14 +08:00
Windpicker-owo
fcc6edd4e7 feat(memory-graph): Phase 1 完整实现 - 持久化和节点去重 
完成功能:
- 持久化管理 (PersistenceManager)
  * 图数据的保存和加载
  * 自动备份和恢复
  * 数据导出/导入

- 节点去重合并 (NodeMerger)
  * 基于语义相似度查找重复节点
  * 上下文匹配验证
  * 自动节点合并
  * 批量处理支持

 测试验证:
- 持久化: 保存/加载/备份
- 节点合并: 相似度0.999自动合并
- 图统计: 合并后节点数正确减少

 Phase 1 完成度: 100%
- 所有基础设施就绪
- 准备进入 Phase 2
 2025-11-05 16:52:50 +08:00
Windpicker-owo
47af755805 feat(memory-graph): Phase 1 基础架构实现 
- 定义核心数据模型 (MemoryNode, MemoryEdge, Memory)
- 实现配置管理系统 (MemoryGraphConfig)
- 实现向量存储层 (VectorStore with ChromaDB)
- 实现图存储层 (GraphStore with NetworkX)
- 创建设计文档大纲
- 添加基础测试并验证通过

待完成:
- 持久化管理
- 节点去重逻辑
- 记忆构建器
- 记忆检索器
 2025-11-05 16:46:53 +08:00
Windpicker-owo
25c50f759f fix(chat): 增强对自我身份的识别，支持将机器人用户标记为"SELF" 2025-11-05 14:45:36 +08:00
Windpicker-owo
57475b475d feat(config): 添加消息缓存系统配置和表达方式过期天数设置 
feat(expression_learner): 实现清理过期表达方式功能
fix(context_manager): 根据配置检查消息缓存系统启用状态
 2025-11-05 11:54:07 +08:00
Windpicker-owo
26ae2c5b8e fix(scheduler): 优化调度创建逻辑，处理完成后检查缓存消息以决定是否创建新调度 2025-11-05 00:00:38 +08:00
Windpicker-owo
99f71d1bcf fix(scheduler): 添加锁机制以避免调度创建/删除的竞态条件 2025-11-04 23:44:27 +08:00
Windpicker-owo
a349809c5d Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-11-04 23:14:02 +08:00
Windpicker-owo
ca70ae1563 refactor: 将流循环管理器替换为调度器分发器以处理消息 
- 引入SchedulerDispatcher以通过统一调度器管理消息分发。
- 更新了MessageManager以使用新的调度器，移除了旧的流循环管理功能。
- 增强了 add_message 方法，以便在接收消息时通知调度器。
- 已移除废弃的中断处理方法，将其逻辑整合至调度器中。
- 修改了action_manager，改为等待数据库操作而非使用asyncio.create_task以实现更精细的控制。
- 优化了统一调度器，支持并发任务执行及运行中任务的取消。
- 为重构流程和新架构添加了全面的文档说明。
 2025-11-04 23:13:52 +08:00
tt-P607
b79ae93da6 feat(chat): 过滤表情包消息以避免触发聊天 
硬编码增加了一个过滤器，在消息处理的入口处（MessageManager.add_message）对以 [表情包 开头的消息进行拦截。

此举旨在防止纯表情包消息进入聊天流程，从而避免决策模型因无法理解“抽象”内容而作出不当回应或浪费资源。
 2025-11-04 11:17:04 +08:00
tt-P607
d0aa090cc1 Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-11-04 08:20:48 +08:00
tt-P607
445b90560a fix(replyer): 移除历史记录的硬编码上限 
修复了在构建聊天记录上下文时，已读历史消息被硬编码截断为50条的问题。

现在，`build_s4u_chat_history_prompts` 及其回退方法将完全遵循 `max_context_size` 配置，确保模型能获取到完整的上下文信息。
 2025-11-04 08:20:41 +08:00
Windpicker-owo
ac964b9753 fix(affinity-interest-calculator): 限制总分和兴趣匹配分数上限为1.0，确保评分合理 2025-11-04 00:37:40 +08:00
Windpicker-owo
b97470cf60 refactor(chat): 将用户引用处理从同步改为异步，优化性能 2025-11-03 23:11:49 +08:00
Windpicker-owo
87d2485f2c refactor(affinity-flow): 移除关系追踪系统参数配置 2025-11-03 22:32:08 +08:00
Windpicker-owo
fa0559f7d4 refactor(message_processor): 移除单段消息处理中的日志记录 2025-11-03 22:28:23 +08:00
Windpicker-owo
9be301d158 Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-11-03 22:25:20 +08:00
Windpicker-owo
a6d2aee781 feat(affinity-flow): 通过标签扩展与提及分类增强兴趣匹配 
- 实施扩展标签描述以实现更精确的语义匹配
- 增加强/弱提及分类，并附带独立的兴趣评分
- 重构机器人兴趣管理器，采用动态嵌入生成与缓存机制
- 通过增强的@提及处理功能优化消息处理
- 更新配置以支持回帖提升机制
- 将亲和力流量聊天重新组织为模块化结构，包含核心、规划器、主动响应和工具子模块
- 移除已弃用的规划器组件并整合功能
- 为napcat适配器插件添加数据库表初始化功能
- 修复元事件处理器中的心跳监控
 2025-11-03 22:24:51 +08:00
tt-P607
6b91b570b9 refactor(chatter): 优化主动思考提示词 2025-11-03 17:46:18 +08:00
Windpicker-owo
eeb77e0e3c feat(emoji): 使用QueryBuilder优化数据库查询并启用缓存 2025-11-03 15:36:30 +08:00
Windpicker-owo
4e2b598164 feat(cache): 提升内存管理与监控能力 
- 在CacheManager中添加健康监控系统，并提供详细的内存统计信息
- 使用新的memory_utils模块实现精确的内存估算
- 添加基于大小的缓存条目限制，以防止过大项目
- 通过去重内存计算优化缓存统计
- 在MultiLevelCache中添加过期条目的自动清理功能
- 增强批处理调度器缓存功能，支持LRU驱逐策略和内存追踪
- 更新配置以支持最大项目大小限制
- 添加全面的内存分析文档和工具

重大变更：CacheManager 的默认 TTL 参数现改为 None 而非 3600。数据库兼容层默认禁用缓存，以防止旧版代码过度使用缓存。
 2025-11-03 15:18:00 +08:00
Windpicker-owo
99785d09ad feat(cache): 添加自定义TTL支持和内存限制配置 2025-11-02 13:25:39 +08:00
Windpicker-owo
0895d772ac Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-11-02 12:53:57 +08:00
Windpicker-owo
fb5fa0254a fix(config): 更新MMC版本号至0.12.0-alpha-1 2025-11-02 12:53:53 +08:00
minecraft1024a
22ee1b6537 refactor(plugins): 整合权限和插件管理功能至系统管理插件 
将原有的 `permission_management` 和 `plugin_management` 插件的功能合并到 `system_management` 插件中，以简化内置插件结构并统一管理入口。

- 删除了独立的 `permission_management` 和 `plugin_management` 插件目录。
- 将权限管理和插件管理的命令逻辑迁移至 `system_management` 插件的 `SystemCommand` 类中。
- 通过这种方式，核心的管理功能被集中到一个统一的 `/system` 命令下，提高了内聚性并减少了维护开销。
 2025-11-02 12:48:40 +08:00
minecraft1024a
709172268f Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-11-02 12:46:25 +08:00
minecraft1024a
c94566fd1c feat(system): 为系统管理命令添加权限控制 
为 `system` 命令添加了 `system.access` 权限节点，并为 `execute` 方法增加了权限检查。现在只有拥有 `system.access` 权限的用户才能执行系统管理相关操作，提升了机器人的安全性。
 2025-11-02 12:46:20 +08:00
Windpicker-owo
d8b84aab42 Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-11-02 12:43:50 +08:00
Windpicker-owo
f01de48d30 refactor(tool_use): 添加工具调用历史记录功能，优化工具执行器的提示词和历史管理 
refactor(chat_stream_impression_tool): 简化聊天流印象更新逻辑，直接使用传入参数更新
refactor(user_profile_tool): 优化用户画像更新逻辑，直接覆盖更新并移除二步调用机制
 2025-11-02 12:43:44 +08:00
minecraft1024a
74194148d0 Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-11-02 12:41:46 +08:00
minecraft1024a
5728313b09 feat(plugin): 新增统一系统管理插件 
主要变更:

- 插件整合: 将原有的 permission_management 和 plugin_management 插件合并为一个全新的 system_management 插件，统一了管理入口。

- 功能扩展: 在新插件中加入了对 unified_scheduler 定时任务的管理功能，包括查看、暂停和恢复。
命令统一: 所有相关功能现在都整合在新的 /system 主命令下，并通过子命令 permission、plugin 和 schedule 进行调用，提升了易用性。

- 权限重构: 为新的管理功能设计并添加了独立的权限节点 (system.schedule.view, system.schedule.manage)，确保了系统的安全性。
 2025-11-02 12:41:42 +08:00
Windpicker-owo
f1989fcf51 Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-11-02 12:18:57 +08:00
Windpicker-owo
d1c3d2196a refactor(json_parser): 统一 LLM 响应的 JSON 解析逻辑，简化代码并提高解析成功率 2025-11-02 12:18:53 +08:00
minecraft1024a
062446319a fix(emoji): 确保表情包目录在管理器初始化时存在 
在 `EmojiManager` 初始化时，增加对表情包目录存在性的检查和创建。这可以防止因目录不存在而导致后续表情包操作（如保存、加载）失败的问题。
 2025-11-02 12:13:27 +08:00
Windpicker-owo
bd1624a018 Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-11-02 11:48:47 +08:00
Windpicker-owo
8126ab0747 refactor(expression_learner): 添加过滤机器人消息的功能，以优化学习过程 2025-11-02 11:48:33 +08:00
minecraft1024a
f193d7bb40 Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-11-02 10:50:22 +08:00
minecraft1024a
55f114061c refactor(permission): 将权限节点定义从命令类移至插件主类 
将 `permission_nodes` 的定义从 `PermissionCommand` 类移动到 `PermissionManagerPlugin` 类。

这样的结构更加合理，因为权限节点是插件级别的概念，而非特定于某个命令。此更改提高了代码的可读性和可维护性，将插件的核心定义集中在一起。
 2025-11-02 10:49:52 +08:00