gardel/Mofox-Core
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
5,042 Commits 1 Branch 0 Tags
34701e34f144dab85d62be62c4baf6ed25403931
Commit Graph

65 Commits

Author SHA1 Message Date
tt-P607
34701e34f1 feat(chat): 实现延迟重处理并修复并发问题 
本次提交为聊天处理逻辑带来了两项关键改进：

1.  **中断后的延迟重处理：**
    当机器人被新消息打断时，系统现在会等待一个短暂的延迟（例如0.5秒）再重新处理。这允许多条快速连续发送的消息被合并到同一次处理中，避免了因消息轰炸导致的多次、零碎的处理流程，提高了效率和响应的连贯性。

2.  **为聊天器添加并发锁：**
    在 `AffinityChatter` 中引入了 `asyncio.Lock`，以确保每个实例一次只处理一个流上下文。这可以防止在并发场景下可能出现的竞争条件，保证了数据处理的原子性和状态的一致性。
 2025-11-19 23:22:18 +08:00
tt-P607
3ae6761cbf revert: 回退 commit 94e34c9370 2025-11-19 23:21:12 +08:00
tt-P607
2e2691c8d5 fix(chat): 修复消息打断会取消正在进行的回复任务的问题 
之前的消息打断逻辑会无差别地取消处理流中的所有任务。这会导致一个问题：当用户在机器人生成回复期间快速发送新消息时，回复任务会被意外中断，导致机器人无法正常完成回复。

本次修改通过引入 `is_replying` 状态来解决此问题：
1.  在 `StreamContext` 中新增 `is_replying` 状态标志，用于追踪回复生成过程。
2.  当开始生成回复时，设置该标志为 `True`，并在回复完成或取消后通过 `finally` 块确保其恢复为 `False`。
3.  `MessageManager` 的打断检查逻辑现在会首先检查此标志，如果为 `True` 则跳过打断，从而保护正在进行的回复。
4.  `cancel_all_stream_tasks` 也增加了 `exclude_reply` 选项，确保即使触发打断，也不会取消回复任务。
 2025-11-19 23:21:10 +08:00
Windpicker-owo
bdf0035034 refactor(chat): 重构关系系统并优化消息打断处理机制 
- 移除独立的RelationshipConfig，将关系追踪参数整合到AffinityFlowConfig
- 实现消息打断后立即重新处理流程，提升交互响应性
- 优化关系追踪系统，添加概率筛选和超时保护机制
- 改进机器人自引用处理，确保消息内容正确显示
- 增强用户信息提取逻辑，兼容多种消息格式
- 添加异步后台任务处理，避免阻塞主回复流程
- 调整兴趣评分阈值和权重参数，优化消息匹配精度
 2025-11-19 23:20:49 +08:00
minecraft1024a
fb90d67bf6 refactor(core): 统一代码风格并移除未使用的导入 
本次提交主要进行代码风格的统一和现代化改造，具体包括：
- 使用 `|` 联合类型替代 `typing.Optional`，以符合 PEP 604 的现代语法。
- 移除多个文件中未被使用的导入语句，清理代码。
- 调整了部分日志输出的级别，使其更符合调试场景。
- 统一了部分文件的导入顺序和格式。
 2025-11-19 23:20:40 +08:00
Windpicker-owo
11e50b6521 refactor(chat): 优化任务管理机制支持多重回复 
重构聊天管理器的任务处理系统，将单一任务追踪改为支持多重回复的任务列表管理。

主要变更：
- 将 `_processing_tasks` 从单任务字典改为任务列表字典
- 新增 `add_processing_task` 和 `get_all_processing_tasks` 方法
- 增强 `cancel_all_stream_tasks` 方法支持批量取消
- 修复消息打断机制，确保取消所有相关任务
- 优化任务清理逻辑，自动移除已完成任务

这些改进使系统能够更好地处理并发回复场景，提高任务管理的灵活性和可靠性。
 2025-11-19 23:20:33 +08:00
Windpicker-owo
2448f83373 refactor(chat): 重构消息处理流程引入缓冲队列机制 
通过引入消息缓冲队列，解决了高频消息场景下的竞态条件和消息丢失问题。
新的处理机制将消息暂存于缓冲区，仅在流处理空闲时才释放到未读队列，
确保了消息处理的原子性和一致性。

核心变更：
- 为每个聊天流创建独立的消息缓冲队列
- 实时跟踪流的处理状态，避免并发访问冲突
- 在处理开始前和完成后自动刷新缓冲区
- 仅在成功执行后清空未读消息，失败时保留消息
- 增加对取消任务和异常情况的容错处理
- 集成缓存统计和监控功能

此优化显著提升了消息处理的可靠性和性能表现。
 2025-11-19 23:20:27 +08:00
Windpicker-owo
a3e08e591f feat(chat): 重构消息打断系统为线性概率模型 
将复杂的指数衰减概率模型简化为线性概率模型，提高可预测性和可配置性

- 新增最低打断概率配置，确保始终有打断机会
- 移除复杂的概率因子计算，改用简单的线性递减公式
- 增加最大打断次数默认值从3提升到10
- 保留废弃配置项以确保向后兼容
- 更新配置模板和文档说明新的概率计算方式
 2025-11-19 23:20:16 +08:00
Windpicker-owo
94d7145720 fix(import): 修正导入路径以确保正确引用 StreamPriority 2025-11-19 23:20:14 +08:00
雅诺狐
635a39fa5a refactor: 清理项目结构并修复类型注解问题 
修复 SQLAlchemy 模型的类型注解，使用 Mapped 类型避免类型检查器错误
- 修正异步数据库操作中缺少 await 的问题
- 优化反注入统计系统的数值字段处理逻辑
- 添加缺失的导入语句修复模块依赖问题
 2025-11-19 23:20:11 +08:00
tt-P607
2e45a251d6 refactor(chat): 重构消息打断逻辑以从 ChatterManager 获取任务 
将正在处理的任务跟踪从 ContextManager 转移到 ChatterManager。

此举旨在集中管理聊天任务，降低 MessageManager 与 ContextManager 之间的耦合。现在，中断处理逻辑直接查询 ChatterManager 以获取并取消当前活动任务，使任务状态管理更加清晰和可靠。
 2025-11-19 23:20:06 +08:00
sunbiz1024
950b086063 ruff 2025-11-19 23:19:53 +08:00
minecraft1024a
2a89efe47a ruff fix但指定了--unsafe-fixes 2025-11-19 23:19:42 +08:00
Windpicker-owo
a7bc1b4f20 refactor(chat): 优化异步任务处理和消息管理逻辑 
- 使用asyncio.create_task替代await调用，提升并发性能
- 简化流管理器的槽位获取逻辑，移除回退方案
- 重构上下文管理器的消息添加和更新机制
- 移除StreamContext中的冗余方法，保持数据模型的简洁性
- 优化兴趣度评分系统的更新流程，减少阻塞操作

这些改动主要关注性能优化和代码结构简化，不涉及功能变更。
 2025-11-19 23:18:24 +08:00
minecraft1024a
cd84373828 style: 统一代码风格并进行现代化改进 
对整个代码库进行了一次全面的风格统一和现代化改进。主要变更包括：

- 将 `hasattr` 等内置函数中的字符串参数从单引号 `'` 统一为双引号 `"`。
- 采用现代类型注解，例如将 `Optional[T]` 替换为 `T | None`，`List[T]` 替换为 `list[T]` 等。
- 移除不再需要的 Python 2 兼容性声明 `# -*- coding: utf-8 -*-`。
- 清理了多余的空行、注释和未使用的导入。
- 统一了文件末尾的换行符。
- 优化了部分日志输出和字符串格式化 (`f"{e!s}"`)。

这些改动旨在提升代码的可读性、一致性和可维护性，使其更符合现代 Python 编码规范。
 2025-11-19 23:18:16 +08:00
minecraft1024a
7c89dcd625 fix(api): 修复机器人消息统计计数器逻辑 
chore(logging): 移除 message_manager 各模块多余的启动日志

- 修复了 `get_bot_message_stats_by_chat` 接口中错误地将计数器重置为1而不是递增的问题。
- 清理了 `message_manager` 及其子模块中重复或不必要的启动日志，以减少日志冗余。
 2025-11-19 23:17:52 +08:00
Windpicker-owo
481252d660 refactor(chat): 异步化聊天系统并重构兴趣值计算机制 
将同步调用改为异步调用以提升性能，重构兴趣值计算流程以支持更灵活的组件化架构。主要改进包括：

- 异步化ChatManager相关方法，避免阻塞主线程
- 重构兴趣值计算系统，从插件内部计算改为通过兴趣管理器统一处理
- 新增should_act字段支持更细粒度的动作决策
- 优化初始化逻辑，避免构造函数中的异步操作
- 扩展插件系统支持兴趣计算器组件注册
- 更新数据库模型以支持新的兴趣值相关字段

这些改进提升了系统的响应性能和可扩展性，同时保持了API的向后兼容性。
 2025-11-19 23:15:31 +08:00
Windpicker-owo
a5a16971e9 refactor(memory): 移除废弃的记忆系统备份文件，优化消息管理器架构 
移除了deprecated_backup目录下的所有废弃记忆系统文件，包括增强记忆适配器、钩子、集成层、重排序器、元数据索引、多阶段检索和向量存储等模块。同时优化了消息管理器，集成了批量数据库写入器、流缓存管理器和自适应流管理器，提升了系统性能和可维护性。
 2025-11-19 23:14:42 +08:00
Windpicker-owo
74d022c489 feat(chat): 增强任务管理和取消机制 
添加新的任务管理方法来更好地处理异步任务的生命周期：
- 新增 cancel_processing_task、remove_processing_task 等方法
- 在流循环清理时自动取消关联的 chatter 处理任务
- 添加活跃任务统计信息到管理器统计中
- 改进 prompt 构建时的任务类型检查和错误处理
 2025-11-19 23:14:31 +08:00
minecraft1024a
e02af208c4 ruff 2025-11-19 23:14:28 +08:00
tt-P607
781fa2fce7 fix(chat): 确保在流取消时正确取消chatter处理任务 
先前，当一个流循环（stream loop）被取消时，为其创建的 chatter 处理任务（`process_stream_context`）不会被一并取消。

这可能导致任务泄露，即“孤儿”任务在后台继续运行，消耗资源并可能引发意外行为。

本次修改引入了一个任务跟踪机制：
- `ChatterManager`现在会记录每个流正在运行的处理任务。
- 当流循环捕获到 `CancelledError` 时，它会主动取消关联的 chatter 任务。

这确保了在流停止时，相关的计算资源能够被正确、及时地释放，提高了系统的健壮性。
 2025-11-19 23:14:20 +08:00
Windpicker-owo
f8aa149c39 refactor(chat): 优化流循环管理和数据库性能 
移除StreamLoopManager中的锁机制，简化并发流处理逻辑
- 删除loop_lock，减少锁竞争和超时问题
- 优化流启动、停止和清理流程
- 增强错误处理和日志记录

增强数据库操作性能
- 集成数据库批量调度器和连接池管理器
- 优化ChatStream保存机制，支持批量更新
- 改进数据库会话管理，提高并发性能

清理和优化代码结构
- 移除affinity_chatter中的重复方法
- 改进prompt表达习惯格式化
- 完善系统启动和清理流程
 2025-11-19 23:14:16 +08:00
Windpicker-owo
2fc8e26d3c refactor(chat): 优化异步任务处理和参数传递机制 
- 重构ExpressionSelector初始化，添加chat_id参数支持
- 优化StreamLoopManager中异步任务的创建和管理方式
- 简化MessageManager中的消息添加流程
- 调整Prompt中表情选择器的参数传递结构
 2025-11-19 23:14:08 +08:00
Windpicker-owo
a853722212 perf(chat): 使用asyncio.create_task优化异步任务处理 2025-11-19 23:14:05 +08:00
Windpicker-owo
06484245e1 refactor(chat): 优化流循环管理器的并发性能和健壮性 
改进StreamLoopManager的锁机制和任务管理，添加超时控制避免死锁，使用并发操作提升性能，增强异常处理和日志记录确保系统稳定性。
 2025-11-19 23:14:03 +08:00
John Richard
a79253c714 re-style: 格式化代码 2025-11-19 23:13:20 +08:00
John Richard
00ba07e0e1 style: 格式化代码 2025-11-19 23:12:18 +08:00
tt-P607
22dc9374fd fix(chat): 在聊天流处理后清除未读消息 
在之前的逻辑中，当 ChatterManager 处理完一个聊天流后，该流上下文中的 unread_messages 列表并未被清空。这可能导致在后续的处理周期中，相同的消息被重复获取和处理，引发非预期的行为并浪费计算资源。

此更改通过在 MessageManager 中新增 `clear_stream_unread_messages` 方法，并在每次成功处理流之后立即调用它，确保消息只被处理一次，解决了潜在的重复处理问题。
 2025-11-19 23:11:37 +08:00
tt-P607
82ec73bf07 perf(napcat): 为 API 调用添加缓存并优化异步任务 
- 为 NapCat 适配器中的 `get_group_info`, `get_member_info` 和 `get_self_info` 函数实现了一个简单的内存缓存（5分钟过期）。此举旨在减少对后端服务的重复 API 请求，从而提升性能并降低被限速的风险。

- 将 `ContextManager` 中对 `start_stream_loop` 的调用修改为 `asyncio.create_task`，使其成为一个非阻塞操作，避免在添加消息时因等待循环启动而造成延迟。
 2025-11-19 23:11:29 +08:00
Windpicker-owo
5eac7e8ad5 feat: 添加兼容性别名以支持增强记忆激活器，优化向量生成逻辑并调整日志级别 2025-11-19 23:11:28 +08:00
minecraft1024a
7cd9819fa6 refactor(context): 统一兴趣度计算的同步与异步调用 
重构了 `_calculate_message_interest` 方法，使其能够同时兼容同步和异步调用场景。

通过内部嵌套一个异步函数 `_get_score` 来封装核心的兴趣度计算逻辑，并根据是否存在正在运行的 asyncio 事件循环来决定是直接 `await` 还是使用 `asyncio.run()` 执行。这消除了对独立同步和异步方法的需要，简化了代码结构，并提高了在不同执行上下文中的健壮性。

同时，优化了异常处理和日志记录，对插件加载失败和计算失败提供了更清晰的调试信息。
 2025-11-19 23:11:28 +08:00
Windpicker-owo
8fa18a74e2 feat(memory): 重构记忆系统检索机制并优化召回率 
- 实现五阶段检索流程：元数据过滤→向量搜索→语义重排序→上下文过滤→增强重排序
- 添加回退机制保障检索健壮性，当主检索失败时自动降级到文本匹配
- 优化向量相似度阈值配置，提升记忆召回率
- 新增记忆融合候选收集机制，避免重复记忆存储
- 改进记忆格式化器，支持多种展示格式
- 增强向量存储加载和重建逻辑，确保数据持久化
- 优化记忆存储时机，移至回复生成完成后异步执行
- 添加详细的检索调试日志，便于问题排查
- 简化查询规划器提示模板，提升生成效率
 2025-11-19 23:11:22 +08:00
tt-P607
ac73994847 feat(config): 新增最大并发分发数配置项 
在 `ChatConfig` 中引入了 `max_concurrent_distributions` 配置，允许用户自定义最大并发处理的消息流数量。

此举旨在提供更灵活的性能调优选项，帮助用户根据服务器负载和API速率限制来控制资源消耗，防止系统过载。该配置的默认值为10。
 2025-11-19 23:11:12 +08:00
Windpicker-owo
8844bcf17a fix(message_manager): 修复全局消息管理器实例创建时的拼写错误 2025-11-19 23:11:12 +08:00
Windpicker-owo
37c8253f54 feat(memory): 增强记忆构建系统并优化检索性能 
- 添加记忆提取异常处理机制，提升系统稳定性
- 实现记忆内容格式化功能，增强可读性和结构化输出
- 优化LLM响应解析逻辑，避免系统标识误写入记忆
- 改进向量存储批量嵌入生成，提升处理效率
- 为记忆系统添加机器人身份上下文注入，避免自身信息记录
- 增强记忆检索接口，支持额外上下文参数传递
- 添加控制台记忆预览功能，便于人工检查
- 优化记忆融合算法，正确处理单记忆组情况
- 改进流循环管理器，支持未读消息积压强制分发机制
 2025-11-19 23:11:11 +08:00
Windpicker-owo
0a3c908654 feat(memory): 增强记忆构建上下文处理能力并优化兴趣度批量更新机制 
- 在记忆构建过程中允许检索历史记忆作为上下文补充
- 改进LLM响应解析逻辑，增强JSON提取兼容性
- 优化消息兴趣度计算和批量更新机制，减少数据库写入频率
- 添加构建状态管理，支持在BUILDING状态下进行记忆检索
- 修复stream_id拼写错误处理和历史消息获取逻辑
 2025-11-19 23:11:10 +08:00
Windpicker-owo
fc429228b5 fix(chat): 增强消息查找功能并添加未读消息自动清理机制 
- 重构 `_find_message_by_id` 方法，支持多种消息ID格式和模糊匹配
- 在动作执行后自动清理未读消息，防止消息堆积
- 为 `reply` 动作添加目标消息查找失败时的降级处理
- 将消息计数和关系查询方法改为异步调用以保持一致性
 2025-11-19 23:09:53 +08:00
Windpicker-owo
02d0490da7 feat(logging): 将调试日志升级为信息级别以增强监控能力 
将多个模块中的调试日志(logger.debug)升级为信息级别(logger.info)，包括流循环管理、聊天动作生成和消息兴趣度计算等关键组件。

这些修改使得生产环境中能够更直观地监控系统运行状态，包括流等待间隔、动作生成数量和消息处理决策等重要指标，同时移除了冗余的用户ID计算逻辑。
 2025-11-19 23:09:50 +08:00
Windpicker-owo
7b94623ba8 refactor(message_manager): 重构消息分发机制为流循环模式 
重构原有的动态消息分发管理器为流循环管理器，每个聊天流拥有独立的无限循环任务主动轮询处理消息。

主要变更：
- 移除 DistributionManager 及相关类（DistributionPriority、DistributionTask、StreamDistributionState、DistributionExecutor）
- 新增 StreamLoopManager 实现基于流的循环处理机制
- 修改 context_manager 和 message_manager 以适配新的流循环模式
- 优化 plan_filter.py 中的消息处理逻辑以适应新的数据格式

BREAKING CHANGE: 原有的分发管理器 API 已被移除，需要更新所有依赖分发功能的代码
 2025-11-19 23:09:46 +08:00
Windpicker-owo
ae0c2704d1 refactor(chat): 移除 ChatStream 的历史消息自动加载功能 
移除 ChatStream 初始化时的 `_load_history_messages()` 调用，改为按需异步加载历史消息。这解决了启动时阻塞事件循环的问题，并提高了聊天流初始化的性能。

主要变更：
- 删除 `ChatStream._load_history_messages()` 方法及相关代码
- 将多个模块中的同步数据库查询函数改为异步版本
- 修复相关调用处的异步调用方式
- 优化图片描述查询的错误处理

BREAKING CHANGE: `get_raw_msg_before_timestamp_with_chat` 和相关消息查询函数现在改为异步操作，需要调用处使用 await
 2025-11-19 23:09:40 +08:00
Windpicker-owo
c31fd02daf refactor(chat): 迁移数据库操作为异步模式并修复相关调用 
将同步数据库操作全面迁移为异步模式，主要涉及：
- 将 `with get_db_session()` 改为 `async with get_db_session()`
- 修复相关异步调用链，确保 await 正确传递
- 优化消息管理器、上下文管理器等核心组件的异步处理
- 移除同步的 person_id 获取方法，避免协程对象传递问题

修复 deepcopy 在 StreamContext 中的序列化问题，跳过不可序列化的 asyncio.Task 对象

删除无用的测试文件和废弃的插件清单文件
 2025-11-19 23:09:34 +08:00
Windpicker-owo
9836d317b8 refactor(database): 将同步数据库操作迁移为异步操作 
将整个项目的数据库操作从同步模式迁移为异步模式，主要涉及以下修改：

- 将 `with get_db_session()` 改为 `async with get_db_session()`
- 将同步的 SQLAlchemy 查询方法改为异步执行
- 更新相关的方法签名，添加 async/await 关键字
- 修复由于异步化导致的并发问题和性能问题

这些修改提高了数据库操作的并发性能，避免了阻塞主线程，提升了系统的整体响应能力。涉及修改的模块包括表情包管理、反提示注入统计、用户封禁管理、记忆系统、消息存储等多个核心组件。

BREAKING CHANGE: 所有涉及数据库操作的方法现在都需要使用异步调用，同步调用将不再工作
 2025-11-19 23:09:31 +08:00
Windpicker-owo
7508d542f2 refactor(interest-system): 移除旧兴趣度管理系统，迁移到插件内部实现 
移除旧的集中式兴趣度管理系统（interest_manager.py），将兴趣度计算功能迁移到affinity_flow_chatter插件内部实现。主要包括：

- 删除interest_manager.py及其相关导入引用
- 修改RelationshipEnergyCalculator使用插件内部的关系分计算
- 重构StreamContextManager使用插件内部的兴趣度评分系统
- 更新ChatStream、PlanFilter、Planner等组件使用新的插件接口
- 简化上下文管理器，移除事件系统和验证器相关代码

此次重构提高了模块独立性，减少了核心代码对插件功能的直接依赖，符合"高内聚低耦合"的设计原则。
 2025-11-19 23:09:28 +08:00
tt-P607
e8e3c1bd3f feat(sleep): 细化唤醒机制，实现分聊天的起床气 
先前的唤醒与起床气机制是全局性的，一个聊天中的频繁消息会导致Bot对所有聊天都表现出“起床气”状态，这在多聊天场景下体验不佳。

本次更新将唤醒机制与具体的 `chat_id` 进行绑定，实现了更精细化的交互逻辑：
- Bot被吵醒后，其“起床气”状态将只针对吵醒它的聊天生效。
- 在此期间，Bot会忽略其他所有聊天的消息，专注于处理来自触发唤醒的聊天的消息。
- Prompt现在会优先注入起床气相关的描述，确保响应符合当前状态。

此外，为了更准确地捕捉唤醒意图，在群聊中，即使没有@提及，只要消息包含Bot的昵称或别名，也会被视为一次有效“提及”，从而累加唤醒值。
 2025-11-19 23:09:27 +08:00
Windpicker-owo
f2d02572fb refactor(chat): 优化上下文管理器，添加启动与停止功能，改进消息用户ID获取逻辑 2025-11-19 23:09:25 +08:00
Windpicker-owo
1177b81285 refactor(chat): 重构消息管理器以使用集中式上下文管理和能量系统 
- 将流上下文管理从MessageManager迁移到专门的ContextManager
- 使用统一的能量系统计算focus_energy和分发间隔
- 重构ChatStream的消息数据转换逻辑，支持更完整的数据字段
- 更新数据库模型，移除interest_degree字段，统一使用interest_value
- 集成新的兴趣度管理系统替代原有的评分系统
- 添加消息存储的interest_value修复功能
 2025-11-19 23:09:25 +08:00
Windpicker-owo
5962b44294 refactor(chat): 优化消息管理与打断系统，添加打断计数与历史消息加载功能 2025-11-19 23:09:23 +08:00
Windpicker-owo
701e523823 refactor(chat): 从StreamContext获取消息兴趣度和连续无回复次数的计算逻辑 2025-11-19 23:09:22 +08:00
Windpicker-owo
ca8a47f246 refactor(chat): 重构消息兴趣度计算与动作记录机制 
重构聊天系统以使用集中式消息管理API，移除ChatMessageContext类，将兴趣度计算和动作记录功能整合到StreamContext中。

主要变更：
- 移除ChatMessageContext类，使用StreamContext统一管理消息上下文
- 在DatabaseMessages模型中添加interest_degree、actions、should_reply字段
- 实现消息管理器API用于更新消息信息和刷新focus_energy
- 重构ChatStream的focus_energy计算逻辑，基于StreamContext历史消息
- 在动作管理器中添加动作记录功能，确保动作执行后更新消息状态

BREAKING CHANGE: ChatMessageContext类已被移除，相关功能需使用StreamContext API替代
 2025-11-19 23:09:19 +08:00
tt-P607
185706f599 Revert: 回退并发消息处理系统的相关提交 
由于并发消息处理的实现在测试中暴露出消息重复和目标ID丢失的问题，暂时回退至该功能合并前的稳定状态，以便进一步排查问题。
 2025-11-19 23:09:16 +08:00