gardel/Mofox-Core
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,995 Commits 1 Branch 0 Tags
dd4d3c97ac1248eb2d8dfd0cc78472d45ed111a3
Commit Graph

1995 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
Windpicker-owo
536e6e0eaa Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-11-07 19:10:05 +08:00
Windpicker-owo
974de98b37 feat: 添加向量数据清理脚本，确保向量数据仅存储在专门的向量数据库中 2025-11-07 19:09:47 +08:00
yishan
973070ddb5 Merge pull request #55 from SolenmeChiara/dev 
Dev - Fix: 主程序部分核心功能修复集合
 2025-11-07 18:58:05 +08:00
Windpicker-owo
0e580ab3f7 fix: 等待最多3秒以确保取消正在执行的任务，避免潜在的阻塞 2025-11-07 18:52:38 +08:00
Windpicker-owo
befb8ad3f6 refactor: 优化嵌入生成逻辑，失败时返回 None，简化错误处理；更新调度器任务管理逻辑 2025-11-07 18:09:28 +08:00
Windpicker-owo
6a34cbae79 fix: 等待取消正在执行的任务以确保任务正确终止 2025-11-07 17:41:33 +08:00
Windpicker-owo
ba30a52e32 chore: 更新项目版本至0.12.0，添加aiofiles依赖；优化调度器任务执行逻辑，避免重复触发 2025-11-07 17:38:50 +08:00
Windpicker-owo
de8d1db35f refactor: 移除多查询生成方法，简化记忆检索逻辑；在工具接口中添加当前时间信息 2025-11-07 16:37:00 +08:00
拾风
1ab042813d Merge branch 'dev' into dev 2025-11-07 13:14:27 +08:00
拾风
7dd255fd98 Merge pull request #61 from MoFox-Studio/feature/memory-graph-system 
记忆系统3.0实装
 2025-11-07 13:10:29 +08:00
拾风
dc3651c532 Merge pull request #62 from MoFox-Studio/copilot/sub-pr-61 
refactor: 修复代码质量问题并消除重复代码 - 记忆系统优化
 2025-11-07 13:09:22 +08:00
copilot-swe-agent[bot]
4eaef843a5 refactor: 消除重复代码并优化记忆系统结构 
- 提取共享工具函数到 utils 模块
  - 创建 utils/similarity.py: 统一余弦相似度计算
  - 创建 utils/graph_expansion.py: 统一图扩展算法
- 删除重复实现
  - manager.py: 删除 _cosine_similarity 和 _fast_cosine_similarity (60行)
  - tools/memory_tools.py: 删除 _expand_with_semantic_filter 和 _cosine_similarity (150行)
- 清理废弃代码
  - 删除 tools/memory_tools.py 中10行注释掉的旧代码
  - 删除空的 retrieval/ 模块
- 净减少 ~150行重复代码

Co-authored-by: Windpicker-owo <221029311+Windpicker-owo@users.noreply.github.com>
 2025-11-07 04:57:50 +00:00
copilot-swe-agent[bot]
5caf630623 fix: 修复代码质量问题 - 更正异常处理和导入语句 
Co-authored-by: Windpicker-owo <221029311+Windpicker-owo@users.noreply.github.com>
 2025-11-07 04:39:35 +00:00
copilot-swe-agent[bot]
3bdcfa3dd4 Initial plan 2025-11-07 04:32:46 +00:00
Windpicker-owo
bade7ebbe8 Merge branch 'feature/memory-graph-system' of https://github.com/MoFox-Studio/MoFox_Bot into feature/memory-graph-system 2025-11-07 00:00:31 +08:00
Windpicker-owo
5b3b278693 fix(CreateMemoryTool): 更新属性字段说明，增加时间精确度至小时分钟 2025-11-07 00:00:23 +08:00
tt-P607
93fc275f65 Merge branch 'feature/memory-graph-system' of https://github.com/MoFox-Studio/MoFox_Bot into feature/memory-graph-system 2025-11-06 23:56:59 +08:00
tt-P607
abad4060a4 feat(napcat): 修复JSON消息处理并优化依赖 
- **修复(bug)**: 解决了在处理 `json` 类型的消息段时，因未导入 `json` 模块而导致的 `NameError` 运行时错误。
- **优化(refactor)**: 根据项目规范，将 `json` 模块的调用全部替换为性能更优的 `orjson`，并移除了多余的 `import` 语句，提升了代码质量和运行效率。
 2025-11-06 23:56:47 +08:00
Windpicker-owo
023fab73a5 feat(memory): 更新记忆管理和配置，优化整合逻辑，添加语义相似度阈值 2025-11-06 23:56:18 +08:00
Windpicker-owo
a2ce020099 feat(memory-graph): 添加记忆图系统配置，整合节点去重合并器与记忆管理器 2025-11-06 21:53:55 +08:00
Windpicker-owo
28d41acc51 feat(deduplicate_memories): 添加记忆去重工具，支持预览模式和相似度阈值设置 2025-11-06 21:09:31 +08:00
Windpicker-owo
1396e94a86 fix(manager): 优化记忆整合逻辑，添加批量处理限制，提升性能和稳定性 
fix(config): 更新配置文件版本，调整记忆整合阈值和时间窗口设置
 2025-11-06 20:56:41 +08:00
Windpicker-owo
306749731e fix(vector_store): 修复 ids 列表检查逻辑，避免 numpy 数组歧义 
fix(memory_tools): 优化邻居节点数据检查逻辑，确保嵌入数据有效
fix(manager): 更新配置项名称为 search_max_expand_depth
 2025-11-06 19:52:32 +08:00
Windpicker-owo
687e627ef6 Merge branch 'feature/memory-graph-system' of https://github.com/MoFox-Studio/MoFox_Bot into feature/memory-graph-system 2025-11-06 18:38:03 +08:00
Windpicker-owo
4763571dff fix(storage): 修复 get_node_by_id 函数中的 ids 列表检查逻辑，避免 numpy 数组歧义 2025-11-06 18:36:32 +08:00
tt-P607
71c6bcfed2 Merge branch 'feature/memory-graph-system' of https://github.com/MoFox-Studio/MoFox_Bot into feature/memory-graph-system 2025-11-06 17:47:41 +08:00
tt-P607
3a86be4ffe fix(llm): correct boolean parameter type to 'boolean' 
The enum value for `ToolParamType.BOOLEAN` is updated from 'bool' to 'boolean'. This change aligns the type definition with the standard JSON Schema specification, which is used by most LLM tool-calling APIs. This ensures correct validation and functionality for tools with boolean parameters.

BREAKING CHANGE: The value of `ToolParamType.BOOLEAN` has been changed from 'bool' to 'boolean'. Any part of the system that generates or consumes tool definitions must be updated to use the new value.
 2025-11-06 17:44:37 +08:00
Windpicker-owo
739ab93d70 Merge branch 'feature/memory-graph-system' of https://github.com/MoFox-Studio/MoFox_Bot into feature/memory-graph-system 2025-11-06 17:17:22 +08:00
Windpicker-owo
57941b2692 fix(memory): 移除生成多查询时的优化查询参数 2025-11-06 17:16:35 +08:00
tt-P607
c8189d4a68 Merge branch 'feature/memory-graph-system' of https://github.com/MoFox-Studio/MoFox_Bot into feature/memory-graph-system 2025-11-06 16:52:19 +08:00
tt-P607
155667603b fix(storage): 修复了Bot/src/memory_graph/storage/vector_store.py 中 get_node_by_id 函数的逻辑问题。通过将 if result["ids"]: 修改为 if result and result["ids"]:，解决了当 chromadb 返回 numpy 数组时可能引发的 ValueError，确保了程序在处理节点查询时的健壮性。 2025-11-06 15:20:44 +08:00
Windpicker-owo
d75476d41c feat: 增强聊天回复生成器，添加参与者信息和聊天历史处理逻辑 2025-11-06 15:15:53 +08:00
Windpicker-owo
0da5c04ba2 fix(memory): 更新复杂查询示例以提高检索准确率 2025-11-06 14:29:14 +08:00
Windpicker-owo
e9b37e032d feat(memory): 优化记忆检索助手的查询生成逻辑，更新示例以提高准确性 2025-11-06 14:26:30 +08:00
Windpicker-owo
ffdd4c6b9c feat(tool_history): 实现流工具历史管理器，以增强工具调用跟踪和缓存- 添加了 StreamToolHistoryManager，用于管理聊天流级别的工具调用历史。- 引入了 ToolCallRecord，用于详细记录工具调用，包括执行时间和缓存命中情况。- 集成了内存缓存和全局缓存系统，以高效检索结果。- 更新了 ToolExecutor，以使用新的历史管理器记录和获取工具调用。- 增强了 ExaSearchEngine，以限制返回结果数量并提升答案质量。- 重构了 CacheManager 中的缓存管理，以包括工具调用统计和性能指标。 2025-11-06 14:22:59 +08:00
Windpicker-owo
fa353bf9d1 feat(web_search): 添加答案模式支持，优化Exa搜索引擎的结果处理 2025-11-06 13:11:54 +08:00
Windpicker-owo
17c1d4b4f9 feat: 将 JSON 处理库从 json 更改为 orjson，以提高性能和兼容性 2025-11-06 12:47:56 +08:00
Windpicker-owo
e29266582d feat(memory): 添加图扩展功能，支持语义相似度过滤与深度探索 2025-11-06 12:12:42 +08:00
Windpicker-owo
bc805aabee feat: 实现多查询生成与融合搜索，简化记忆检索逻辑 2025-11-06 12:01:28 +08:00
Windpicker-owo
2ba869c954 feat: 添加具有服务器和简单模式的内存图可视化工具 
-实现了用于启动内存图可视化工具的PowerShell脚本（visualizer.ps1）。
-开发了一个完整的服务器（visualizer_server.py），为可视化内存图数据提供了web API。
-创建了一个简单的独立版本（visualizer_simple.py），可以直接从存储的数据文件生成可视化。
-添加了用于获取完整图形数据、内存详细信息、搜索内存和检索统计信息的端点。
-包括列出可用数据文件和选择特定文件进行可视化的功能。
-在整个服务器和简单的可视化脚本中增强错误处理和日志记录。
 2025-11-06 11:25:48 +08:00
Windpicker-owo
f87e8627e5 feat(memory): 移除传统内存系统并优化内存图谱 
- 移除整个传统内存系统，包括内存系统模块及所有相关组件
- 删除弃用的内存组件：增强型内存激活器、海马体采样器、内存构建器、内存块、内存遗忘引擎、内存格式器、内存融合器、内存管理器、内存元数据索引、内存查询规划器、内存系统、消息集合处理器、消息集合存储、向量内存存储_v2
- 更新内存图配置，采用增强型检索设置
- 优化内存管理器查询功能，以分析完整对话上下文
- 更新机器人配置模板版本至7.6.1，新增内存图表检索参数

重大变更：旧版内存系统已被完全移除。所有内存功能现依赖于内存图系统。请更新配置以包含新的内存图检索参数。
 2025-11-06 09:18:59 +08:00
Windpicker-owo
faca0d3d1b feat: 重构聊天系统的内存处理与格式化功能 
- 更新了DefaultReplyer，采用新的内存格式化工具以提供更优质的内存描述。
- 已移除 Config 类中已弃用的内存配置。
- 在主系统中增强内存系统初始化检查，确保配置正确。
- 优化了MemoryManager，使其可直接使用全局配置进行内存设置。
- 新增了一个内存格式化工具，用于将内存对象转换为自然语言描述。
- 更新了内存工具，提供了更清晰的内存创建与管理指南。
- 精炼插件工具与使用提示，提升用户交互体验与记忆准确性。
- 根据内存系统结构的变化调整了机器人配置模板。
 2025-11-06 08:47:18 +08:00
Windpicker-owo
ae60eae6dc feat(memory): 添加自动关联功能及相关配置支持 2025-11-05 22:15:47 +08:00
Windpicker-owo
c5c70d3cf7 docs(memory-graph): 添加完整的使用文档 
- 创建memory_graph_guide.md (完整使用指南)
- 创建memory_graph_README.md (快速开始)
- 更新TODO.md (标记记忆图系统完成)

文档内容:
- 系统概述和核心特性
- 配置说明 (35+配置项)
- LLM工具使用示例
- 代码使用示例
- 最佳实践建议
- 故障排除指南
- 迁移指南
- API参考

完成状态:
 Step 1-5 全部完成
 所有集成测试通过 (5/5)
 文档完整
 2025-11-05 20:45:44 +08:00
Windpicker-owo
23b011e6ab fix(memory-graph): 修复集成测试问题 
- 修复Config类memory字段验证问题 (改为Optional)
- 为Memory模型添加activation属性
- 修复CreateMemoryTool返回值 (添加memory_id)
- 为GraphStore添加remove_memory方法
- 修复integration测试脚本
- 所有集成测试通过 (5/5)

Changes:
- src/config/config.py: memory字段改为Optional
- src/memory_graph/models.py: 添加activation属性
- src/memory_graph/plugin_tools/memory_plugin_tools.py: 返回memory_id
- src/memory_graph/storage/graph_store.py: 添加remove_memory方法
- tests/test_memory_graph_integration.py: 修复工具返回值检查

Tests:
 基本记忆操作 (CRUD + 检索)
 LLM工具集成 (创建记忆)
 记忆生命周期 (激活/整合/遗忘)
 维护任务 (调度+手动执行)
 配置系统 (默认/自定义/bot_config)
 2025-11-05 20:43:39 +08:00
Windpicker-owo
3ea6d1dcbf fix(config): 更新配置模板版本号 7.5.8 -> 7.6.0 
变更说明:
- 移除旧 [memory] 配置段
- 新增 [memory_graph] 配置段
- 新增 [memory_legacy] 向后兼容标注

这是一个次版本号更新（配置文件内容大更新）
 2025-11-05 20:27:01 +08:00
Windpicker-owo
a3cc074098 feat(memory): 添加配置系统支持，移除旧memory配置 
重大改进:
- 在 bot_config_template.toml 添加 [memory_graph] 配置段
- 移除旧的 [memory] 配置段（~85行）
- 更新 MemoryGraphConfig 支持从 bot_config 加载
- 更新 MemoryManager 使用配置参数
- 更新 manager_singleton 支持配置初始化

配置系统:
- enable: 启用/禁用记忆图系统
- data_dir: 数据存储目录
- 向量存储: collection_name, db_path
- 检索: top_k, min_importance, similarity_threshold
- 智能查询优化: enable_query_optimization
- 整合: enabled, interval_hours, similarity_threshold, time_window
- 遗忘: enabled, activation_threshold, min_importance
- 激活: decay_rate, propagation_strength, propagation_depth
- 性能: max_nodes_per_memory, max_related_memories

配置加载流程:
1. MemoryGraphConfig.from_bot_config(global_config)
2. 使用 getattr 安全获取配置值
3. 提供默认值作为后备

使用配置:
- MemoryManager 从 config 读取所有参数
- maintenance 使用 consolidation_* 参数
- auto_forget_memories 使用 forgetting_* 参数
- activate_memory 使用 activation_* 参数

向后兼容:
- [memory_legacy] 保留旧配置供参考
- [vector_db] 保留给其他系统使用
- 新系统使用独立 chromadb 实例

完成 Step 4: 添加配置支持
 2025-11-05 20:22:08 +08:00
Windpicker-owo
4d44b18ac8 feat(memory): 集成 unified_scheduler 实现定期记忆维护 
重大改进:
- 在 MemoryManager 中添加调度器集成
- 使用 unified_scheduler 定期执行维护任务
- 实现 consolidate_memories 记忆整合方法
- 优化 shutdown 流程，确保调度任务正确停止

技术实现:
- start_maintenance_scheduler: 创建定期维护任务
- stop_maintenance_scheduler: 停止调度任务
- maintenance: 整合、遗忘、保存数据
- consolidate_memories: 合并相似记忆

调度配置:
- 触发类型: TriggerType.TIME
- 默认间隔: 1小时 (3600秒)
- 任务类型: 循环任务 (is_recurring=True)
- 任务名称: memory_maintenance

维护流程:
1. 记忆整理: 合并相似度0.85的记忆
2. 自动遗忘: 遗忘激活度<0.1的记忆
3. 数据保存: 持久化图存储
4. 统计报告: 返回维护结果

测试验证:
- 调度任务成功注册
- 任务信息正确 (循环、TIME类型)
- 初始化时自动启动
- shutdown时自动停止

完成 Step 3: 实现定期记忆整理
 2025-11-05 20:13:46 +08:00
Windpicker-owo
c3ca811e46 feat(memory): 添加智能查询优化，移除瞬时记忆处理 
重大改进:
- 在 MemoryManager 中添加 optimize_search_query 方法
- 使用小模型优化搜索查询，提高检索精确度
- search_memories 新增 optimize_query 和 context 参数
- 移除瞬时记忆处理（由其他系统负责）

技术实现:
- 使用 utils_small 模型优化查询语句
- 自动提取查询核心意图和关键信息
- 支持上下文感知（聊天历史、发言人）
- 失败时自动降级到原始查询

查询优化流程:
1. 提取聊天历史和发言人信息
2. 构建查询上下文
3. 调用小模型生成优化查询
4. 使用优化查询进行语义搜索
5. 返回相关记忆

default_generator.py 调整:
- 移除瞬时记忆处理逻辑
- 调用 manager.search_memories 时传入 context
- 启用 optimize_query 参数
 2025-11-05 19:31:07 +08:00
Windpicker-owo
cd15c51e6b refactor(memory): 完全移除旧记忆系统，全面切换到新记忆图系统 
重大变更:
- 移除 default_generator.py 中对旧增强记忆系统的所有调用
- 移除 prompt.py 中的记忆构建函数
- 记忆检索全面使用新记忆图系统
- 禁用旧记忆系统的自动存储逻辑

记忆构建流程:
- 记忆创建: LLM 通过 create_memory 工具主动创建
- 记忆检索: default_generator.py 自动检索
- 记忆传递: 通过 pre_built_params 传入 prompt

工具可用性:
- CreateMemoryTool: available_for_llm = True
- LinkMemoriesTool: available_for_llm = False
- SearchMemoriesTool: available_for_llm = False

技术细节:
- 提高记忆检索数量 top_k=10
- 降低重要性阈值 min_importance=0.3
- 修复类型错误和警告
 2025-11-05 19:22:34 +08:00