gardel/Mofox-Core
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,193 Commits 1 Branch 0 Tags
8e0d1e791ba995c1283061473f7f20ea20174b5e
Commit Graph

67 Commits

Author SHA1 Message Date
Windpicker-owo
8e0d1e791b Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-10-05 01:29:48 +08:00
Windpicker-owo
624298e1b8 refactor(chat): 异步化聊天系统并重构兴趣值计算机制 
将同步调用改为异步调用以提升性能，重构兴趣值计算流程以支持更灵活的组件化架构。主要改进包括：

- 异步化ChatManager相关方法，避免阻塞主线程
- 重构兴趣值计算系统，从插件内部计算改为通过兴趣管理器统一处理
- 新增should_act字段支持更细粒度的动作决策
- 优化初始化逻辑，避免构造函数中的异步操作
- 扩展插件系统支持兴趣计算器组件注册
- 更新数据库模型以支持新的兴趣值相关字段

这些改进提升了系统的响应性能和可扩展性，同时保持了API的向后兼容性。
 2025-10-05 01:25:52 +08:00
minecraft1024a
0495f0448f chore(memory): 移除记忆系统初始化过程中的冗余日志记录 2025-10-04 21:11:33 +08:00
minecraft1024a
baf22a45dc feat(memory): 增强记忆类型解析，支持中英文映射 
新增了一个 `_resolve_memory_type` 方法，以更健壮地处理从 LLM 返回的记忆类型字符串。此方法现在可以正确解析中文、英文（大小写不敏感）以及下划线格式的记忆类型。

- 增加了从中文到 `MemoryType` 枚举的直接映射。
- 实现了对多种英文格式（如 "personal_fact", "PERSONAL_FACT", "Personal Fact"）的兼容解析。
- 当无法识别任何有效类型时，会记录警告并安全地回退到默认的 `CONTEXTUAL` 类型，提高了系统的容错性。
 2025-10-04 20:45:58 +08:00
minecraft1024a
da1b1a4999 refactor(core): 统一和改进程序优雅关闭逻辑 
将分散的关闭逻辑集中到`MainSystem`中，并由`bot.py`中的顶层异常处理块统一调用。这简化了关闭流程，提高了系统的健壮性和可维护性。

- 将信号处理逻辑从`MainSystem`移除，改由`bot.py`中的`try...finally`块处理，以捕获更广泛的退出场景（如`KeyboardInterrupt`）。
- `graceful_shutdown`函数现在接收`main_system`实例，直接调用其`shutdown`方法，实现了责任的单一化。
- 为`EmojiManager`和`VectorMemoryStorage`添加了`shutdown`/`cleanup`方法，确保其后台任务和资源能被正确清理。
- 调整了`MemorySystem`中对`unified_storage.cleanup()`的调用，使其与接口保持一致。
 2025-10-04 16:47:55 +08:00
Windpicker-owo
675caca04b fix(memory): 修复定时清理任务的异步执行问题 2025-10-04 12:39:26 +08:00
Windpicker-owo
04e7776a45 refactor(memory): 移除废弃的记忆系统备份文件，优化消息管理器架构 
移除了deprecated_backup目录下的所有废弃记忆系统文件，包括增强记忆适配器、钩子、集成层、重排序器、元数据索引、多阶段检索和向量存储等模块。同时优化了消息管理器，集成了批量数据库写入器、流缓存管理器和自适应流管理器，提升了系统性能和可维护性。
 2025-10-04 01:38:41 +08:00
Windpicker-owo
1eb41f8372 refactor(memory): 重构记忆系统架构，引入可配置的采样策略 
将记忆系统从单一构建模式重构为多策略可配置架构，支持灵活的采样行为控制：

核心架构改进：
- 重构记忆构建流程，分离采样策略与核心逻辑
- 引入MemorySamplingMode枚举，标准化采样模式定义
- 设计插件化采样器接口，支持海马体后台定时采样
- 优化记忆处理管道，添加bypass_interval机制支持后台采样

配置系统增强：
- 新增memory_sampling_mode配置项，支持hippocampus/immediate/all三种模式
- 添加海马体双峰采样参数配置，支持自定义采样间隔和分布
- 引入自适应采样阈值控制，动态调整记忆构建频率
- 完善精准记忆配置，支持基于价值评分的触发机制

兼容性与性能优化：
- 修复Python 3.9兼容性问题，替换strict=False参数
- 优化记忆检索逻辑，统一使用filters参数替代scope_id
- 改进错误处理机制，增强系统稳定性

BREAKING CHANGE: 新增memory_sampling_mode配置项，默认值从adaptive改为immediate
 2025-10-03 22:00:53 +08:00
Windpicker-owo
5c0e94cf4c refactor(logging): 将信息日志级别更改为调试级别以减少输出噪声 2025-10-03 16:15:32 +08:00
minecraft1024a
e9fbd749d8 ruff 2025-10-03 12:55:45 +08:00
John Richard
7923eafef3 re-style: 格式化代码 2025-10-02 20:26:01 +08:00
John Richard
ecb02cae31 style: 格式化代码 2025-10-02 19:38:39 +08:00
Windpicker-owo
894c9e2a03 feat(memory): 禁止使用模糊代称构建记忆 
增强记忆构建系统的准确性，禁止使用"用户"等模糊代称
- 新增模糊代称检查机制，确保记忆使用明确的名字或称呼
- 更新记忆构建原则文档，明确要求使用具体姓名
- 修改display字段格式要求，提供正确的示例
- 删除memory_manager中未使用的consolidate_memory方法
- 优化memory_system配置和日志格式
 2025-10-02 17:15:47 +08:00
Windpicker-owo
1f2d7d9ee5 feat(memory): 实现灵活搜索模式并重构记忆格式化系统 
- 新增灵活匹配模式(flexible_mode)，支持2/4项匹配即可的记忆检索策略
- 删除冗余的memory_formatter模块，简化记忆系统架构
- 增强枚举值解析机制，支持字符串、整数和枚举实例的自动转换
- 优化元数据索引搜索逻辑，分离严格模式和灵活模式的实现路径
- 改进向量存储的搜索回退机制，当元数据筛选无结果时自动回退到全量搜索
- 统一记忆类型映射管理，避免重复的格式化函数定义

这些变更提升了记忆检索的准确性和灵活性，同时简化了代码结构，提高了系统可维护性。
 2025-10-02 11:27:06 +08:00
Windpicker-owo
82bb2df369 feat(memory): 增强查询规划以支持未读消息上下文分析 
新增未读消息上下文集成功能，提升记忆检索的精准度和相关性。
通过分析当前对话流中的未读消息内容、关键词和参与者信息，
生成更贴合实际对话场景的记忆检索策略。

主要改进：
- 查询规划器现在能够结合未读消息生成语义查询
- 新增未读消息上下文收集和摘要构建机制
- 优化向量存储的兜底逻辑以兼容新的记忆结构
- 改进记忆转换过程中的调试和空内容处理

这些功能使记忆系统能够更好地理解当前对话的上下文，
提供更相关的历史记忆来支持生成更准确的回复。
 2025-10-02 11:03:47 +08:00
Windpicker-owo
59bda71f29 feat(memory): 实现三阶段记忆检索系统并简化提取策略 
- 移除规则和混合提取策略，统一使用LLM提取
- 实现三阶段检索：元数据粗筛→向量精筛→综合重排
- 新增JSON元数据索引支持，提升检索效率
- 优化Vector DB配置管理和批处理机制
- 统一记忆作用域为全局，实现完全共享
- 增强查询规划和综合评分算法
 2025-10-02 10:13:38 +08:00
Windpicker-owo
c4aa34bc0c refactor(storage): 优化向量记忆存储的批处理和错误处理机制 
- 改进_memory_to_vector_format方法，增强元数据序列化和错误处理
- 重构store_memories方法，实现真正的批处理存储
- 添加详细的日志记录，提升系统可观测性
- 修复memory_id获取和缓存问题
- 增强向量数据库操作的容错能力
- 调整日志级别，优化调试信息输出
 2025-10-02 08:23:19 +08:00
Windpicker-owo
bce623a58b refactor(storage): 迁移记忆系统架构至现代化Vector DB方案 
重构记忆存储层，采用ChromaDB作为核心向量数据库引擎，提升系统可扩展性和查询性能。通过引入VectorMemoryStorage替代原有的UnifiedMemoryStorage实现，实现了更高效的向量索引和检索机制。

主要变更包括：
- 架构层面：完全重构记忆存储抽象层，移除577行旧存储实现代码
- 配置系统：新增41项Vector DB专用配置参数，支持细粒度性能调优
- 查询优化：增强ChromaDB查询条件处理器，添加智能回退机制
- 系统集成：更新记忆系统初始化流程，适配新的存储接口
- 类型安全：修复异步调用类型不匹配问题

BREAKING CHANGE: 记忆存储API接口发生重大变更，UnifiedMemoryStorage相关类已废弃
 2025-10-02 00:28:55 +08:00
Windpicker-owo
70c056b4fa feat: 添加兼容性别名以支持增强记忆激活器，优化向量生成逻辑并调整日志级别 2025-10-01 18:30:47 +08:00
Windpicker-owo
9359e489a9 feat：实现具有向量和元数据索引的统一内存存储系统 
- 添加了 UnifiedMemoryStorage 类，用于管理带向量嵌入的内存块。
- 集成了 FAISS，以实现高效的向量存储和搜索。
- 实现了内存缓存、关键字、类型和用户索引。
- 增加了内存遗忘和自动保存存储数据的支持。
- 包含用于存储、搜索和遗忘记忆的方法。
- 引入了存储行为和性能的配置选项。
- 实现了从磁盘加载和保存内存及向量数据。
 2025-10-01 18:02:42 +08:00
Windpicker-owo
99f77135c1 feat(memory): 重构记忆系统检索机制并优化召回率 
- 实现五阶段检索流程：元数据过滤→向量搜索→语义重排序→上下文过滤→增强重排序
- 添加回退机制保障检索健壮性，当主检索失败时自动降级到文本匹配
- 优化向量相似度阈值配置，提升记忆召回率
- 新增记忆融合候选收集机制，避免重复记忆存储
- 改进记忆格式化器，支持多种展示格式
- 增强向量存储加载和重建逻辑，确保数据持久化
- 优化记忆存储时机，移至回复生成完成后异步执行
- 添加详细的检索调试日志，便于问题排查
- 简化查询规划器提示模板，提升生成效率
 2025-10-01 15:02:38 +08:00
Windpicker-owo
dc39fd26c7 feat(memory): 重构记忆系统并移除插件热重载 
重构记忆系统核心模块，引入全局记忆作用域、记忆指纹去重机制和查询规划器，优化多阶段检索性能。移除插件热重载系统及其相关依赖。

主要变更：
- 引入全局记忆作用域，简化记忆管理
- 实现记忆指纹去重，避免重复记忆存储
- 新增查询规划器，支持语义查询规划和记忆类型过滤
- 优化多阶段检索，增加语义重排和权重配置
- 改进向量存储，支持嵌入维度自动解析和查询向量生成
- 增强元数据索引，支持主体索引和更新操作
- 记忆构建器支持多主体和自然语言展示
- 移除watchdog依赖和插件热重载模块
- 更新配置模板，简化记忆配置项

BREAKING CHANGE: 移除插件热重载系统，相关API和命令不再可用。记忆系统接口有较大调整，使用该系统的模块需要适配新接口。
 2025-10-01 04:56:32 +08:00
Windpicker-owo
ff7294e860 feat(memory): 增强记忆构建系统并优化检索性能 
- 添加记忆提取异常处理机制，提升系统稳定性
- 实现记忆内容格式化功能，增强可读性和结构化输出
- 优化LLM响应解析逻辑，避免系统标识误写入记忆
- 改进向量存储批量嵌入生成，提升处理效率
- 为记忆系统添加机器人身份上下文注入，避免自身信息记录
- 增强记忆检索接口，支持额外上下文参数传递
- 添加控制台记忆预览功能，便于人工检查
- 优化记忆融合算法，正确处理单记忆组情况
- 改进流循环管理器，支持未读消息积压强制分发机制
 2025-09-30 21:15:40 +08:00
Windpicker-owo
41c45889c5 feat(memory): 增强记忆构建上下文处理能力并优化兴趣度批量更新机制 
- 在记忆构建过程中允许检索历史记忆作为上下文补充
- 改进LLM响应解析逻辑，增强JSON提取兼容性
- 优化消息兴趣度计算和批量更新机制，减少数据库写入频率
- 添加构建状态管理，支持在BUILDING状态下进行记忆检索
- 修复stream_id拼写错误处理和历史消息获取逻辑
 2025-09-30 14:22:26 +08:00
Windpicker-owo
dd297e861e fix(memory): 将日志级别从debug更改为info，以提高构建间隔提示的可见性 2025-09-30 09:31:17 +08:00
Windpicker-owo
374c9ffc4d feat(memory): 添加时间规范化处理功能 
在记忆构建器中增加时间规范化处理逻辑，将相对时间表达式转换为绝对日期格式。添加了相对时间映射规则和正则替换机制，确保记忆内容中的时间信息统一使用YYYY-MM-DD格式。同时更新了系统提示语，明确时间处理原则和要求。

- 新增_normalize_time_in_memory方法处理时间规范化
- 添加相对时间到绝对时间的映射规则
- 更新系统提示语包含时间处理原则
- 支持记忆内容和对象信息中的时间规范化
 2025-09-30 00:41:32 +08:00
Windpicker-owo
128529d71f feat(memory): 添加记忆构建节流机制 
在EnhancedMemorySystem中新增min_build_interval_seconds配置项，实现基于作用域的构建频率控制。通过_get_build_scope_key方法根据stream_id、chat_id或user_id生成节流键，确保同一作用域内的记忆构建操作不会过于频繁。

新增_last_memory_build_times字典记录各作用域的最后构建时间，当间隔不足配置阈值时自动跳过构建操作。同时在构建异常时自动清理对应的节流记录，确保系统稳定性。
 2025-09-30 00:24:30 +08:00
Windpicker-owo
b30db43776 feat(memory): 实现增强记忆系统并完全替换原有架构 
引入全新的增强记忆系统，彻底取代海马体记忆架构
删除旧版记忆系统相关模块，包括Hippocampus、异步包装器和优化器
重构消息处理流程，集成增强记忆系统的存储和检索功能
更新配置结构以支持增强记忆的各项参数设置
禁用原有定时任务，采用内置维护机制保证系统性能
 2025-09-30 00:09:46 +08:00
Windpicker-owo
28bce19d27 refactor(chat): 移除 ChatStream 的历史消息自动加载功能 
移除 ChatStream 初始化时的 `_load_history_messages()` 调用，改为按需异步加载历史消息。这解决了启动时阻塞事件循环的问题，并提高了聊天流初始化的性能。

主要变更：
- 删除 `ChatStream._load_history_messages()` 方法及相关代码
- 将多个模块中的同步数据库查询函数改为异步版本
- 修复相关调用处的异步调用方式
- 优化图片描述查询的错误处理

BREAKING CHANGE: `get_raw_msg_before_timestamp_with_chat` 和相关消息查询函数现在改为异步操作，需要调用处使用 await
 2025-09-28 21:31:49 +08:00
Windpicker-owo
08ef960947 refactor(database): 将同步数据库操作迁移为异步操作 
将整个项目的数据库操作从同步模式迁移为异步模式，主要涉及以下修改：

- 将 `with get_db_session()` 改为 `async with get_db_session()`
- 将同步的 SQLAlchemy 查询方法改为异步执行
- 更新相关的方法签名，添加 async/await 关键字
- 修复由于异步化导致的并发问题和性能问题

这些修改提高了数据库操作的并发性能，避免了阻塞主线程，提升了系统的整体响应能力。涉及修改的模块包括表情包管理、反提示注入统计、用户封禁管理、记忆系统、消息存储等多个核心组件。

BREAKING CHANGE: 所有涉及数据库操作的方法现在都需要使用异步调用，同步调用将不再工作
 2025-09-28 15:42:30 +08:00
minecraft1024a
ae738ef8cb perf(memory): 优化记忆系统数据库操作并修复并发问题 
将消息记忆次数的更新方式从单次写入重构为批量更新，在记忆构建任务结束时统一执行，大幅减少数据库写入次数，显著提升性能。

此外，为 `HippocampusManager` 添加了异步锁，以防止记忆巩固和遗忘操作并发执行时产生竞争条件。同时，增加了节点去重逻辑，在插入数据库前检查重复的概念，确保数据一致性。
 2025-09-23 19:15:58 +08:00
雅诺狐
832743249d refactor(db): 修正SQLAlchemy异步操作调用方式 
移除session.add()方法的不必要await调用，修正异步数据库操作模式。主要变更包括：

- 将 `await session.add()` 统一改为 `session.add()`
- 修正部分函数调用为异步版本（如消息查询函数）
- 重构SQLAlchemyTransaction为完全异步实现
- 重写napcat_adapter_plugin数据库层以符合异步规范
- 添加aiomysql和aiosqlite依赖支持
 2025-09-20 17:26:28 +08:00
雅诺狐
55717669dd refactor(db): 将数据库操作异步化 
- 将所有 session.add() 改为 await session.add()
- 将所有 session.commit() 改为 await session.commit()
- 将 session.refresh() 改为 await session.refresh()
 2025-09-20 14:35:31 +08:00
雅诺狐
898208f425 perf(methods): 通过移除不必要的 self 参数优化方法签名 
在包括 chat、plugin_system、schedule 和 mais4u 在内的多个模块中，消除冗余的实例引用。此次改动将无需访问实例状态的实用函数转换为静态方法，从而提升了内存效率，并使方法依赖关系更加清晰。
 2025-09-20 10:55:06 +08:00
tt-P607
0cc4f5bb27 三次修改 2025-09-20 02:21:53 +08:00
Windpicker-owo
c9b712d8fa refactor(prompt): 重构并统一提示词系统 
- 删除旧的智能提示词系统（smart_prompt.py）和相关参数模块（prompt_parameters.py）
- 将 prompt_builder.py 重命名为 prompt.py 并精简功能
- 更新所有模块的导入路径从 `src.chat.utils.prompt_builder` 到 `src.chat.utils.prompt`
- 统一提示词构建接口，使用新的 PromptContext 替代 SmartPromptParameters
- 移除重复和冗余代码，简化系统架构

BREAKING CHANGE: 旧的 SmartPrompt 系统已被完全移除，所有相关模块需要改用新的统一 Prompt 系统
 2025-09-06 00:10:54 +08:00
Furina-1013-create
ac1253acc5 fix: 修复 graph_nodes 表 weight 字段缺失问题 
- 在 GraphNodes 模型中添加 weight 字段，设置默认值为 1.0
- 修复 Hippocampus.py 中插入 GraphNodes 时缺少 weight 字段的问题
- 解决 sqlite3.IntegrityError: NOT NULL constraint failed: graph_nodes.weight 错误
 2025-09-04 20:57:59 +08:00
Windpicker-owo
9f49a453da 迁移：3804124，9e9e796 
（feat：将no_reply内置、fix：优化reply，填补缺失值）
 2025-09-01 21:12:55 +08:00
Windpicker-owo
366dadeb15 迁移：69a855d（feat：保存关键词到message数据库） 2025-09-01 15:24:43 +08:00
Windpicker-owo
8149731925 修复代码格式和文件名大小写问题 2025-08-31 20:50:17 +08:00
minecraft1024a
8a8d2ed574 refactor(memory): 重构向量记忆清理逻辑以提高稳定性 
原有的清理逻辑直接使用 delete 和 where 条件（timestamp: {"$lt": ...}）来删除过期记录。然而，ChromaDB 对元数据中复杂的查询操作符（如 $lt）的支持并不可靠。

为确保过期记录能被稳定地清除，本次提交将清理策略修改为更稳健的“获取-过滤-删除”模式：

1.  为向量数据库抽象层新增 `get` 方法，并为 ChromaDB 提供具体实现。
2.  在 `VectorInstantMemoryV2` 中，先获取指定聊天的所有记录。
3.  在应用代码中根据时间戳筛选出过期的记录ID。
4.  最后根据ID列表精确删除过期记录，确保了清理操作的准确性。
 2025-08-27 21:40:03 +08:00
minecraft1024a
4ced72010b feat(core): 集成统一向量数据库服务并重构相关模块 
本次提交引入了一个统一的、可扩展的向量数据库服务层，旨在解决代码重复、实现分散以及数据库实例泛滥的问题。

主要变更:

新增向量数据库抽象层:

在 src/common/vector_db/ 目录下创建了 VectorDBBase 抽象基类，定义了标准化的数据库操作接口。
创建了 ChromaDBImpl 作为具体的实现，并采用单例模式确保全局只有一个数据库客户端实例。
重构语义缓存 (CacheManager):

移除了对 chromadb 库的直接依赖。
改为调用统一的 vector_db_service 来进行向量的添加和查询操作。
重构瞬时记忆 (VectorInstantMemoryV2):

彻底解决了为每个 chat_id 创建独立数据库实例的问题。
现在所有记忆数据都存储在统一的 instant_memory 集合中，并通过 metadata 中的 chat_id 进行数据隔离和查询。
新增使用文档:

在 docs/ 目录下添加了 vector_db_usage_guide.md，详细说明了如何使用新的 vector_db_service 代码接口。
带来的好处:

高内聚，低耦合: 业务代码与具体的向量数据库实现解耦。
易于维护和扩展: 未来可以轻松替换或添加新的向量数据库支持。
性能与资源优化: 整个应用共享一个数据库连接，显著减少了文件句柄和内存占用
 2025-08-27 19:18:28 +08:00
minecraft1024a
be114223b4 fix(memory_system): 修复即时记忆的 orjson 编码与解码问题 
`orjson.dumps` 返回 `bytes` 类型，在存入数据库前需要解码为 `str`。

同时，将关键词的反序列化库从标准 `json` 统一为 `orjson`，以保持序列化和反序列化操作的一致性。
 2025-08-27 18:01:12 +08:00
雅诺狐
dec88bf20d Update instant_memory.py 2025-08-27 12:09:14 +08:00
Furina-1013-create
434c174dcc chore(deps): 导入 json 模块 2025-08-27 10:00:52 +08:00
minecraft1024a
1e037e5ce9 feat(maizone): 新增QQ空间互通组功能，根据聊天上下文生成说说 
引入了全新的“QQ空间互通组”功能。用户可以配置多个群聊为一个互通组。
在通过指令发布说说时，系统会自动获取这些群聊的近期聊天记录作为上下文，从而生成与当前讨论话题更相关的说说内容。

- 在 `config.toml` 中新增了 `[maizone_intercom]` 配置项用于定义互通组。
- 重构并增强了动态（说说）的拉取逻辑，提高了对不同数据格式的兼容性和解析的稳定性。
- 对项目中的多个文件进行了代码清理，移除了未使用的导入，使代码更加整洁。
 2025-08-26 20:20:54 +08:00
雅诺狐
0e815779b7 Merge branch 'master' of https://github.com/MaiBot-Plus/MaiMbot-Pro-Max 2025-08-26 14:20:32 +08:00
雅诺狐
4a44ba9866 全面更换orjson 2025-08-26 14:20:26 +08:00
tt-P607
e5d6b6979b fix(chat): 修复关键词非列表形式时导致的解析错误 
在处理记忆关键词时，旧代码使用 `ast.literal_eval` 来解析存储为字符串的关键词列表。当关键词字段为空或格式不正确时，这会引发 `ValueError` 或 `SyntaxError`。

本次修改将解析方式更换为 `json.loads`，并增加了 `try-except` 块来处理可能的 `json.JSONDecodeError`。同时，在添加记忆时，使用 `json.dumps` 来确保关键词列表被正确地序列化为 JSON 字符串，从而保证了数据存储和读取的健壮性和一致性。
 2025-08-26 12:07:30 +08:00
雅诺狐
f308adcf5b refactor: 清理代码质量和移除未使用文件 
- 移除未使用的导入语句和变量
- 修复代码风格问题（空格、格式化等）
- 删除备份文件和测试文件
- 改进异常处理链式调用
- 添加权限系统数据库模型和配置
- 更新版本号至6.4.4
- 优化SQL查询使用正确的布尔表达式
 2025-08-24 22:11:20 +08:00