gardel/Mofox-Core
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,149 Commits 1 Branch 0 Tags
d5c8bde3a2298da67a7e6e698f0a574a1b002e97
Commit Graph

489 Commits

Author SHA1 Message Date
tt-P607
d5c8bde3a2 fix(chat): 修复能量调整计算中的负数幂错误 
当能量值非常接近高能量阈值（0.7）时，由于浮点数精度问题，`energy - 0.7` 的结果可能为一个极小的负数，这会导致 `ValueError` (negative number cannot be raised to a fractional power)。

通过使用 `max(0, ...)` 来确保幂运算的基数始终为非负数，从而解决了这个潜在的运行时错误，增强了系统的健壮性。
 2025-10-03 10:39:21 +08:00
tt-P607
b24eaba7ff fix(chat): 确保在流取消时正确取消chatter处理任务 
先前，当一个流循环（stream loop）被取消时，为其创建的 chatter 处理任务（`process_stream_context`）不会被一并取消。

这可能导致任务泄露，即“孤儿”任务在后台继续运行，消耗资源并可能引发意外行为。

本次修改引入了一个任务跟踪机制：
- `ChatterManager`现在会记录每个流正在运行的处理任务。
- 当流循环捕获到 `CancelledError` 时，它会主动取消关联的 chatter 任务。

这确保了在流停止时，相关的计算资源能够被正确、及时地释放，提高了系统的健壮性。
 2025-10-03 10:15:24 +08:00
Windpicker-owo
fa9f14388a refactor(chat): 优化异步任务处理和参数传递机制 
- 重构ExpressionSelector初始化，添加chat_id参数支持
- 优化StreamLoopManager中异步任务的创建和管理方式
- 简化MessageManager中的消息添加流程
- 调整Prompt中表情选择器的参数传递结构
 2025-10-03 02:32:02 +08:00
Windpicker-owo
67154ca78c perf(chat): 使用asyncio.create_task优化异步任务处理 2025-10-03 01:55:21 +08:00
Windpicker-owo
31d03de33a refactor(chat): 优化流循环管理器的并发性能和健壮性 
改进StreamLoopManager的锁机制和任务管理，添加超时控制避免死锁，使用并发操作提升性能，增强异常处理和日志记录确保系统稳定性。
 2025-10-03 01:14:53 +08:00
tt-P607
844d4f3362 fix(chat): 增强回复生成的健壮性，增加超时和类型检查 
在 `DefaultReplyer` 的提示词构建流程中，为并行的子任务（如记忆、工具、关系等）增加了15秒的超时机制。这可以防止因某个子任务耗时过长或卡死而导致整个回复生成过程停滞。

同时，在能量系统中增加了对计算器分数和兴趣值的类型检查，确保它们是数值类型，避免了潜在的 `TypeError` 异常，提高了系统的稳定性。
 2025-10-02 23:22:00 +08:00
John Richard
7923eafef3 re-style: 格式化代码 2025-10-02 20:26:01 +08:00
John Richard
ecb02cae31 style: 格式化代码 2025-10-02 19:38:39 +08:00
minecraft1024a
d5627b0661 refactor(chat): 将消息获取相关函数重构为异步 
将 `chat_message_builder` 中的多个同步消息获取函数（如 `get_raw_msg_by_timestamp`）及其调用全部修改为异步函数。这统一了数据库查询的异步模式，提高了代码一致性和可维护性。

主要改动包括：
- 将 `chat_message_builder.py` 中的数据库查询函数标记为 `async` 并使用 `await`。
- 更新了 `message_api.py`、`mood_manager.py` 和 `qzone_service.py` 中对这些函数的调用，以适应异步接口。
- 调整了 `message_api.py` 中的函数签名和返回类型提示，以反映异步特性。
 2025-10-02 17:32:02 +08:00
Windpicker-owo
894c9e2a03 feat(memory): 禁止使用模糊代称构建记忆 
增强记忆构建系统的准确性，禁止使用"用户"等模糊代称
- 新增模糊代称检查机制，确保记忆使用明确的名字或称呼
- 更新记忆构建原则文档，明确要求使用具体姓名
- 修改display字段格式要求，提供正确的示例
- 删除memory_manager中未使用的consolidate_memory方法
- 优化memory_system配置和日志格式
 2025-10-02 17:15:47 +08:00
Windpicker-owo
1f2d7d9ee5 feat(memory): 实现灵活搜索模式并重构记忆格式化系统 
- 新增灵活匹配模式(flexible_mode)，支持2/4项匹配即可的记忆检索策略
- 删除冗余的memory_formatter模块，简化记忆系统架构
- 增强枚举值解析机制，支持字符串、整数和枚举实例的自动转换
- 优化元数据索引搜索逻辑，分离严格模式和灵活模式的实现路径
- 改进向量存储的搜索回退机制，当元数据筛选无结果时自动回退到全量搜索
- 统一记忆类型映射管理，避免重复的格式化函数定义

这些变更提升了记忆检索的准确性和灵活性，同时简化了代码结构，提高了系统可维护性。
 2025-10-02 11:27:06 +08:00
Windpicker-owo
82bb2df369 feat(memory): 增强查询规划以支持未读消息上下文分析 
新增未读消息上下文集成功能，提升记忆检索的精准度和相关性。
通过分析当前对话流中的未读消息内容、关键词和参与者信息，
生成更贴合实际对话场景的记忆检索策略。

主要改进：
- 查询规划器现在能够结合未读消息生成语义查询
- 新增未读消息上下文收集和摘要构建机制
- 优化向量存储的兜底逻辑以兼容新的记忆结构
- 改进记忆转换过程中的调试和空内容处理

这些功能使记忆系统能够更好地理解当前对话的上下文，
提供更相关的历史记忆来支持生成更准确的回复。
 2025-10-02 11:03:47 +08:00
Windpicker-owo
59bda71f29 feat(memory): 实现三阶段记忆检索系统并简化提取策略 
- 移除规则和混合提取策略，统一使用LLM提取
- 实现三阶段检索：元数据粗筛→向量精筛→综合重排
- 新增JSON元数据索引支持，提升检索效率
- 优化Vector DB配置管理和批处理机制
- 统一记忆作用域为全局，实现完全共享
- 增强查询规划和综合评分算法
 2025-10-02 10:13:38 +08:00
Windpicker-owo
6f750e2bac Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-10-02 08:23:27 +08:00
Windpicker-owo
c4aa34bc0c refactor(storage): 优化向量记忆存储的批处理和错误处理机制 
- 改进_memory_to_vector_format方法，增强元数据序列化和错误处理
- 重构store_memories方法，实现真正的批处理存储
- 添加详细的日志记录，提升系统可观测性
- 修复memory_id获取和缓存问题
- 增强向量数据库操作的容错能力
- 调整日志级别，优化调试信息输出
 2025-10-02 08:23:19 +08:00
tt-P607
3d2da5c3ba fix(chat): 在聊天流处理后清除未读消息 
在之前的逻辑中，当 ChatterManager 处理完一个聊天流后，该流上下文中的 unread_messages 列表并未被清空。这可能导致在后续的处理周期中，相同的消息被重复获取和处理，引发非预期的行为并浪费计算资源。

此更改通过在 MessageManager 中新增 `clear_stream_unread_messages` 方法，并在每次成功处理流之后立即调用它，确保消息只被处理一次，解决了潜在的重复处理问题。
 2025-10-02 04:05:59 +08:00
Windpicker-owo
89f007fa33 Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-10-02 00:29:02 +08:00
Windpicker-owo
bce623a58b refactor(storage): 迁移记忆系统架构至现代化Vector DB方案 
重构记忆存储层，采用ChromaDB作为核心向量数据库引擎，提升系统可扩展性和查询性能。通过引入VectorMemoryStorage替代原有的UnifiedMemoryStorage实现，实现了更高效的向量索引和检索机制。

主要变更包括：
- 架构层面：完全重构记忆存储抽象层，移除577行旧存储实现代码
- 配置系统：新增41项Vector DB专用配置参数，支持细粒度性能调优
- 查询优化：增强ChromaDB查询条件处理器，添加智能回退机制
- 系统集成：更新记忆系统初始化流程，适配新的存储接口
- 类型安全：修复异步调用类型不匹配问题

BREAKING CHANGE: 记忆存储API接口发生重大变更，UnifiedMemoryStorage相关类已废弃
 2025-10-02 00:28:55 +08:00
tt-P607
91cfc3b8a2 perf(napcat): 为 API 调用添加缓存并优化异步任务 
- 为 NapCat 适配器中的 `get_group_info`, `get_member_info` 和 `get_self_info` 函数实现了一个简单的内存缓存（5分钟过期）。此举旨在减少对后端服务的重复 API 请求，从而提升性能并降低被限速的风险。

- 将 `ContextManager` 中对 `start_stream_loop` 的调用修改为 `asyncio.create_task`，使其成为一个非阻塞操作，避免在添加消息时因等待循环启动而造成延迟。
 2025-10-01 22:57:59 +08:00
Windpicker-owo
70c056b4fa feat: 添加兼容性别名以支持增强记忆激活器，优化向量生成逻辑并调整日志级别 2025-10-01 18:30:47 +08:00
Windpicker-owo
fda7341b2c Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-10-01 18:02:49 +08:00
Windpicker-owo
9359e489a9 feat：实现具有向量和元数据索引的统一内存存储系统 
- 添加了 UnifiedMemoryStorage 类，用于管理带向量嵌入的内存块。
- 集成了 FAISS，以实现高效的向量存储和搜索。
- 实现了内存缓存、关键字、类型和用户索引。
- 增加了内存遗忘和自动保存存储数据的支持。
- 包含用于存储、搜索和遗忘记忆的方法。
- 引入了存储行为和性能的配置选项。
- 实现了从磁盘加载和保存内存及向量数据。
 2025-10-01 18:02:42 +08:00
minecraft1024a
dad95f08d6 refactor(context): 统一兴趣度计算的同步与异步调用 
重构了 `_calculate_message_interest` 方法，使其能够同时兼容同步和异步调用场景。

通过内部嵌套一个异步函数 `_get_score` 来封装核心的兴趣度计算逻辑，并根据是否存在正在运行的 asyncio 事件循环来决定是直接 `await` 还是使用 `asyncio.run()` 执行。这消除了对独立同步和异步方法的需要，简化了代码结构，并提高了在不同执行上下文中的健壮性。

同时，优化了异常处理和日志记录，对插件加载失败和计算失败提供了更清晰的调试信息。
 2025-10-01 17:02:57 +08:00
Windpicker-owo
e09e8fd79e Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-10-01 15:02:50 +08:00
Windpicker-owo
99f77135c1 feat(memory): 重构记忆系统检索机制并优化召回率 
- 实现五阶段检索流程：元数据过滤→向量搜索→语义重排序→上下文过滤→增强重排序
- 添加回退机制保障检索健壮性，当主检索失败时自动降级到文本匹配
- 优化向量相似度阈值配置，提升记忆召回率
- 新增记忆融合候选收集机制，避免重复记忆存储
- 改进记忆格式化器，支持多种展示格式
- 增强向量存储加载和重建逻辑，确保数据持久化
- 优化记忆存储时机，移至回复生成完成后异步执行
- 添加详细的检索调试日志，便于问题排查
- 简化查询规划器提示模板，提升生成效率
 2025-10-01 15:02:38 +08:00
tt-P607
15c146c3e9 Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-10-01 06:04:13 +08:00
tt-P607
67aa936013 fix(db): 增强数据库会话管理的容错性 
调整了 `get_db_session` 的行为，当数据库未能成功初始化时，它现在会返回 `None` 并记录错误，而不是抛出异常。这提高了应用在数据库连接不可用时的健壮性，避免了程序因无法获取会话而崩溃。

- `VideoAnalyzer` 已更新，增加了对会话为 `None` 的检查，以安全地跳过数据库读写操作。
- 附带对 `VideoAnalyzer` 和 `LegacyVideoAnalyzer` 进行了重构，将模型选择和API请求执行的逻辑抽象到独立的 `_model_selector` 和 `_executor` 组件中，提升了代码的清晰度和可维护性。
 2025-10-01 06:04:07 +08:00
Windpicker-owo
dc39fd26c7 feat(memory): 重构记忆系统并移除插件热重载 
重构记忆系统核心模块，引入全局记忆作用域、记忆指纹去重机制和查询规划器，优化多阶段检索性能。移除插件热重载系统及其相关依赖。

主要变更：
- 引入全局记忆作用域，简化记忆管理
- 实现记忆指纹去重，避免重复记忆存储
- 新增查询规划器，支持语义查询规划和记忆类型过滤
- 优化多阶段检索，增加语义重排和权重配置
- 改进向量存储，支持嵌入维度自动解析和查询向量生成
- 增强元数据索引，支持主体索引和更新操作
- 记忆构建器支持多主体和自然语言展示
- 移除watchdog依赖和插件热重载模块
- 更新配置模板，简化记忆配置项

BREAKING CHANGE: 移除插件热重载系统，相关API和命令不再可用。记忆系统接口有较大调整，使用该系统的模块需要适配新接口。
 2025-10-01 04:56:32 +08:00
Windpicker-owo
53c7b1e6fe Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-09-30 21:17:47 +08:00
Windpicker-owo
90b1fb74c3 fix(message_manager): 修复全局消息管理器实例创建时的拼写错误 2025-09-30 21:16:17 +08:00
Windpicker-owo
ff7294e860 feat(memory): 增强记忆构建系统并优化检索性能 
- 添加记忆提取异常处理机制，提升系统稳定性
- 实现记忆内容格式化功能，增强可读性和结构化输出
- 优化LLM响应解析逻辑，避免系统标识误写入记忆
- 改进向量存储批量嵌入生成，提升处理效率
- 为记忆系统添加机器人身份上下文注入，避免自身信息记录
- 增强记忆检索接口，支持额外上下文参数传递
- 添加控制台记忆预览功能，便于人工检查
- 优化记忆融合算法，正确处理单记忆组情况
- 改进流循环管理器，支持未读消息积压强制分发机制
 2025-09-30 21:15:40 +08:00
tt-P607
136496c883 feat(config): 新增最大并发分发数配置项 
在 `ChatConfig` 中引入了 `max_concurrent_distributions` 配置，允许用户自定义最大并发处理的消息流数量。

此举旨在提供更灵活的性能调优选项，帮助用户根据服务器负载和API速率限制来控制资源消耗，防止系统过载。该配置的默认值为10。
 2025-09-30 20:04:04 +08:00
tt-P607
f520a52f1f Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-09-30 16:25:38 +08:00
tt-P607
f6ce69c45b feat(chat): 实现多重回复功能，允许单轮处理多条消息 
本次更新引入了核心的多重回复功能，使得 Bot 能够在单次规划中响应多条不同的未读消息。这显著提升了其在活跃群聊中的交互效率和上下文处理能力。

主要变更包括：

- **Planner Prompts 更新**:
  - 增加了明确的指令和示例，引导 LLM 在检测到多个需要回应的消息时，生成一个包含多个 `reply` 动作的 `actions` 列表。

- **PlanExecutor 逻辑增强**:
  - `_execute_reply_actions` 方法被重构，以串行方式执行计划中的所有回复动作。
  - 引入了新的控制逻辑，确保只有在执行完最后一个 `reply` 动作后，才会清除未读消息队列。

- **ActionManager 功能扩展**:
  - `execute_action` 方法新增 `clear_unread_messages` 参数（默认为 `True`），允许调用方控制是否在动作执行后清空未读消息。
  - `PlanExecutor` 在调用非 `reply` 动作或非最后一个 `reply` 动作时，会显式将此参数设为 `False`，防止过早清除消息。
 2025-09-30 16:25:24 +08:00
Windpicker-owo
41c45889c5 feat(memory): 增强记忆构建上下文处理能力并优化兴趣度批量更新机制 
- 在记忆构建过程中允许检索历史记忆作为上下文补充
- 改进LLM响应解析逻辑，增强JSON提取兼容性
- 优化消息兴趣度计算和批量更新机制，减少数据库写入频率
- 添加构建状态管理，支持在BUILDING状态下进行记忆检索
- 修复stream_id拼写错误处理和历史消息获取逻辑
 2025-09-30 14:22:26 +08:00
Windpicker-owo
dd297e861e fix(memory): 将日志级别从debug更改为info，以提高构建间隔提示的可见性 2025-09-30 09:31:17 +08:00
Windpicker-owo
573a4322a7 feat(chat): 优化记忆检索逻辑，异步调用增强记忆系统 2025-09-30 09:14:44 +08:00
Windpicker-owo
374c9ffc4d feat(memory): 添加时间规范化处理功能 
在记忆构建器中增加时间规范化处理逻辑，将相对时间表达式转换为绝对日期格式。添加了相对时间映射规则和正则替换机制，确保记忆内容中的时间信息统一使用YYYY-MM-DD格式。同时更新了系统提示语，明确时间处理原则和要求。

- 新增_normalize_time_in_memory方法处理时间规范化
- 添加相对时间到绝对时间的映射规则
- 更新系统提示语包含时间处理原则
- 支持记忆内容和对象信息中的时间规范化
 2025-09-30 00:41:32 +08:00
Windpicker-owo
128529d71f feat(memory): 添加记忆构建节流机制 
在EnhancedMemorySystem中新增min_build_interval_seconds配置项，实现基于作用域的构建频率控制。通过_get_build_scope_key方法根据stream_id、chat_id或user_id生成节流键，确保同一作用域内的记忆构建操作不会过于频繁。

新增_last_memory_build_times字典记录各作用域的最后构建时间，当间隔不足配置阈值时自动跳过构建操作。同时在构建异常时自动清理对应的节流记录，确保系统稳定性。
 2025-09-30 00:24:30 +08:00
Windpicker-owo
b30db43776 feat(memory): 实现增强记忆系统并完全替换原有架构 
引入全新的增强记忆系统，彻底取代海马体记忆架构
删除旧版记忆系统相关模块，包括Hippocampus、异步包装器和优化器
重构消息处理流程，集成增强记忆系统的存储和检索功能
更新配置结构以支持增强记忆的各项参数设置
禁用原有定时任务，采用内置维护机制保证系统性能
 2025-09-30 00:09:46 +08:00
tt-P607
35a4ca3f50 fix(chat): 修复在海马体未初始化时调用主题遗忘的潜在错误 
在调用 `operation_forget_topic` 方法前增加空值检查，以防止当海马体或其相关组件尚未完全初始化时，调用该方法导致程序崩溃。此更改增强了记忆遗忘操作的健壮性。
 2025-09-29 15:11:05 +08:00
tt-P607
699d71b1f6 fix(chat): 修复在海马体未初始化时整合记忆的潜在错误 
在调用 `integrate_memory` 方法时，如果海马体 (`_hippocampus`) 或其海马旁回 (`parahippocampal_gyrus`) 尚未完全初始化，直接调用其方法会引发错误，导致程序崩溃。

此提交增加了对这些对象的存在性检查，确保只有在它们准备就绪时才执行记忆整合操作，从而提高了系统的健壮性，并为未初始化的情况添加了警告日志。
 2025-09-29 13:36:46 +08:00
Windpicker-owo
b9ddbb60a1 fix(chat): 将同步调用改为异步调用以匹配接口变更 
修改了多处 person_info_manager.get_value() 方法的调用方式，从同步调用改为异步调用（添加 await 关键字），使其与异步接口保持一致。这确保了在获取用户信息时的正确异步操作，避免了潜在的阻塞问题。

涉及文件：
- src/chat/replyer/default_generator.py (3处修改)
- src/chat/utils/prompt.py (1处修改)
- src/person_info/relationship_builder.py (1处修改)
 2025-09-29 12:48:45 +08:00
Windpicker-owo
4570fd8b64 fix(chat): 增强消息查找功能并添加未读消息自动清理机制 
- 重构 `_find_message_by_id` 方法，支持多种消息ID格式和模糊匹配
- 在动作执行后自动清理未读消息，防止消息堆积
- 为 `reply` 动作添加目标消息查找失败时的降级处理
- 将消息计数和关系查询方法改为异步调用以保持一致性
 2025-09-29 10:47:43 +08:00
Windpicker-owo
2fb1674a4d feat(logging): 将调试日志升级为信息级别以增强监控能力 
将多个模块中的调试日志(logger.debug)升级为信息级别(logger.info)，包括流循环管理、聊天动作生成和消息兴趣度计算等关键组件。

这些修改使得生产环境中能够更直观地监控系统运行状态，包括流等待间隔、动作生成数量和消息处理决策等重要指标，同时移除了冗余的用户ID计算逻辑。
 2025-09-29 07:29:20 +08:00
Windpicker-owo
903ab855bf refactor(message_manager): 重构消息分发机制为流循环模式 
重构原有的动态消息分发管理器为流循环管理器，每个聊天流拥有独立的无限循环任务主动轮询处理消息。

主要变更：
- 移除 DistributionManager 及相关类（DistributionPriority、DistributionTask、StreamDistributionState、DistributionExecutor）
- 新增 StreamLoopManager 实现基于流的循环处理机制
- 修改 context_manager 和 message_manager 以适配新的流循环模式
- 优化 plan_filter.py 中的消息处理逻辑以适应新的数据格式

BREAKING CHANGE: 原有的分发管理器 API 已被移除，需要更新所有依赖分发功能的代码
 2025-09-29 00:42:54 +08:00
Windpicker-owo
28bce19d27 refactor(chat): 移除 ChatStream 的历史消息自动加载功能 
移除 ChatStream 初始化时的 `_load_history_messages()` 调用，改为按需异步加载历史消息。这解决了启动时阻塞事件循环的问题，并提高了聊天流初始化的性能。

主要变更：
- 删除 `ChatStream._load_history_messages()` 方法及相关代码
- 将多个模块中的同步数据库查询函数改为异步版本
- 修复相关调用处的异步调用方式
- 优化图片描述查询的错误处理

BREAKING CHANGE: `get_raw_msg_before_timestamp_with_chat` 和相关消息查询函数现在改为异步操作，需要调用处使用 await
 2025-09-28 21:31:49 +08:00
Windpicker-owo
fd76e36320 refactor(chat): 迁移数据库操作为异步模式并修复相关调用 
将同步数据库操作全面迁移为异步模式，主要涉及：
- 将 `with get_db_session()` 改为 `async with get_db_session()`
- 修复相关异步调用链，确保 await 正确传递
- 优化消息管理器、上下文管理器等核心组件的异步处理
- 移除同步的 person_id 获取方法，避免协程对象传递问题

修复 deepcopy 在 StreamContext 中的序列化问题，跳过不可序列化的 asyncio.Task 对象

删除无用的测试文件和废弃的插件清单文件
 2025-09-28 20:40:46 +08:00
Windpicker-owo
08ef960947 refactor(database): 将同步数据库操作迁移为异步操作 
将整个项目的数据库操作从同步模式迁移为异步模式，主要涉及以下修改：

- 将 `with get_db_session()` 改为 `async with get_db_session()`
- 将同步的 SQLAlchemy 查询方法改为异步执行
- 更新相关的方法签名，添加 async/await 关键字
- 修复由于异步化导致的并发问题和性能问题

这些修改提高了数据库操作的并发性能，避免了阻塞主线程，提升了系统的整体响应能力。涉及修改的模块包括表情包管理、反提示注入统计、用户封禁管理、记忆系统、消息存储等多个核心组件。

BREAKING CHANGE: 所有涉及数据库操作的方法现在都需要使用异步调用，同步调用将不再工作
 2025-09-28 15:42:30 +08:00
Windpicker-owo
ff24bd8148 Merge afc branch into dev, prioritizing afc changes and migrating database async modifications from dev 2025-09-27 23:37:40 +08:00