gardel/Mofox-Core
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,715 Commits 1 Branch 0 Tags
ca70ae156313a5136b6d7aaeab4841f5441390be
Commit Graph

1715 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
minecraft1024a
08a9a2c2e8 Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-11-01 21:03:19 +08:00
minecraft1024a
3c847ec304 fix(plugin_system): 踹死几个类型错误 2025-11-01 21:03:16 +08:00
tt-P607
c21255588b Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-11-01 20:55:45 +08:00
tt-P607
cbde6208d3 fix(proactive-chatter): 为所有主动交互提示提供统一的时间上下文 
修正了 `simple_bubble_reply` 提示中缺失时间信息的问题。此前的疏忽可能导致模型在不了解当前时间的情况下生成回复。

为确保一致性并修复此问题，引入了一个通用的 `time_block` 变量。该变量现在被系统性地添加到所有主动思考流程的提示（决策、抛话题、简单回复）中，确保模型在进行任何主动交互时都能获得准确的时间锚点，从而提高其响应的恰当性。
 2025-11-01 20:55:39 +08:00
minecraft1024a
a6d37e753a Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-11-01 19:36:25 +08:00
minecraft1024a
f91acbb202 fix(plugin_system): 修复两步工具定义中的类型注解错误 
将 `definitions` 的类型注解从 `ClassVar` 移除，因为它是一个在方法内部构建并返回的局部变量，而不是一个类变量。这修正了潜在的类型检查错误，并使代码意图更加清晰。
 2025-11-01 19:36:20 +08:00
Windpicker-owo
a83fe72717 Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-11-01 19:35:05 +08:00
Windpicker-owo
e0063fb281 feat: 在获取聊天流时添加创建时间和最后活跃时间字段 2025-11-01 19:34:51 +08:00
minecraft1024a
724fdd6827 Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-11-01 19:31:39 +08:00
minecraft1024a
5f384da489 refactor(chat): 简化日程状态提示逻辑 
删除了在日程活动时间范围之外的冗余状态判断。现在，无论当前时间是否在活动时间段内，都会统一计算并展示活动的开始、结束、已进行和剩余时间，简化了代码逻辑并确保了信息展示的一致性。反正LLM自己会判断的，不需要咱操心那么多啦。
 2025-11-01 19:31:34 +08:00
tt-P607
a40b3c22f8 Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-11-01 19:02:06 +08:00
tt-P607
c672f198ed fix(core): 优化应用关闭流程，确保数据库最后关闭 
将数据库服务的停止操作移至所有清理任务执行完毕后，以防止其他组件在关闭时因无法访问数据库而产生异常。

此外，为数据库关闭操作增加了超时处理，增强了系统关闭时的健壮性。

- chore(config): 将模板配置文件中的默认模型由 DeepSeek-V3.1 全面升级至 DeepSeek-V3.2-Exp，以提升默认性能。
 2025-11-01 19:00:59 +08:00
Windpicker-owo
cd42fc1b5e feat: 引入流路由器以优化消息处理，支持按聊天流分配消费者 2025-11-01 18:58:47 +08:00
Windpicker-owo
26ecdc2511 feat: 添加白名单/黑名单检查以增强主动思考功能的安全性 2025-11-01 18:27:56 +08:00
Windpicker-owo
84844ea6e8 fix: 修复批量消息存储缺失字段导致的NOT NULL约束失败 2025-11-01 17:59:01 +08:00
Windpicker-owo
3265638e17 merge: 合并feature/database-refactoring的关键bug修复和性能优化 2025-11-01 17:47:28 +08:00
Windpicker-owo
45be95b83d perf: 优化批量消息存储，使用insert().values()替代add_all() 2025-11-01 17:43:47 +08:00
tt-P607
7e43e47857 chore(bilibli): 默认禁用bilibli插件 2025-11-01 17:42:25 +08:00
Windpicker-owo
0a46d75019 Merge branch 'feature/database-refactoring' of https://github.com/MoFox-Studio/MoFox_Bot into feature/database-refactoring 2025-11-01 17:41:42 +08:00
tt-P607
eb7c4721ab Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-11-01 17:40:47 +08:00
tt-P607
3febf72c26 chore(bilibli): 默认禁用bilibili插件 2025-11-01 17:39:29 +08:00
拾风
c358386a53 Merge pull request #56 from MoFox-Studio/feature/database-refactoring 
重构数据库系统，优化数据库性能
 2025-11-01 17:38:18 +08:00
拾风
02c7f46f0e Merge pull request #58 from MoFox-Studio/copilot/sub-pr-56-again 
Database system refactoring with multi-level caching and batch optimization
 2025-11-01 17:37:42 +08:00
Windpicker-owo
2aeb06f708 fix: 修复批处理中的多次commit问题，bulk_create后清除缓存 2025-11-01 17:31:31 +08:00
Windpicker-owo
029d133e48 fix(critical): 在session内部完成字典转换，彻底解决detached对象greenlet错误 2025-11-01 17:27:40 +08:00
Windpicker-owo
a352c69043 fix(critical): 修复SQLite事务未提交的严重bug - 在connection_pool.get_session()中添加自动commit 2025-11-01 17:19:05 +08:00
Windpicker-owo
cf9ce20bd5 fix: 使用inspect安全访问detached对象，避免触发lazy loading 2025-11-01 17:16:04 +08:00
minecraft1024a
7b36bde49b refactor(plugin_system): 移除静态PlusCommandAdapter并优化命令注册逻辑 
移除了不再需要的静态`PlusCommandAdapter`类，该类最初用于将`PlusCommand`适配到旧的`BaseCommand`系统。

随着插件系统重构，所有命令（包括旧版命令）现在都统一通过动态创建的适配器在`ComponentRegistry`中转换为`PlusCommand`进行注册和处理。此更改简化了`plus_command.py`模块，消除了冗余代码，并使命令注册流程更加清晰和一致。

主要变更：
- 从`plus_command.py`中删除了`PlusCommandAdapter`类。
- 调整了`ComponentRegistry`中的日志记录逻辑，现在所有旧版命令都会被明确标记并适配，无需之前的条件检查。
- 相应地更新了相关模块的导入语句。
 2025-11-01 17:14:37 +08:00
Windpicker-owo
bcf1dcf7c6 Merge branch 'feature/database-refactoring' of https://github.com/MoFox-Studio/MoFox_Bot into feature/database-refactoring 2025-11-01 17:07:18 +08:00
Windpicker-owo
a43ed42fb2 perf: 使用列表推导式替换循环 - 优化group_by性能 2025-11-01 17:07:11 +08:00
Windpicker-owo
cabaf74194 style: ruff自动格式化修复 - 修复180个空白行和格式问题 2025-11-01 17:06:40 +08:00
copilot-swe-agent[bot]
c5a579d40c Initial plan 2025-11-01 09:04:22 +00:00
拾风
58e0e35dbb Merge pull request #57 from MoFox-Studio/copilot/sub-pr-56 
[WIP] Refactor database system to optimize performance
 2025-11-01 17:03:44 +08:00
copilot-swe-agent[bot]
afafc6e00c Initial plan 2025-11-01 09:00:28 +00:00
minecraft1024a
8d422d5bb5 refactor(chat): 移除旧的聊天频率分析器模块(原来我还有个测试性功能没写啊,那删了吧()) 
整个 `frequency_analyzer` 模块已被移除。此模块的功能（如主动聊天触发）已被弃用或计划在未来通过更通用的机制重新实现，例如基于事件总线和插件系统的交互策略。

移除此模块可以简化代码库，并消除对已移动或重构的旧组件（如 AFC 管理器）的依赖。
 2025-11-01 16:59:32 +08:00
minecraft1024a
af5d75b463 回复器你不许传dict 2025-11-01 16:56:44 +08:00
Windpicker-owo
ece6a70c65 fix: 为relationship_fetcher添加detached对象访问保护 
- 使用getattr()和try-except安全访问relationship对象属性
- 防止缓存的detached对象导致Session绑定错误
- 即使字段访问失败也能继续执行,使用空字典
 2025-11-01 16:56:35 +08:00
minecraft1024a
444c458986 refactor(core): 统一消息对象类型并增强代码健壮性 
本次提交对多个核心模块进行了重构和修复，主要目标是统一内部消息对象的类型为 `DatabaseMessages`，并增加多处空值检查和类型注解，以提升代码的健壮性和可维护性。

- **统一消息类型**: 在 `action_manager` 中，将 `action_message` 和 `target_message` 的类型注解和处理逻辑统一为 `DatabaseMessages`，消除了对 `dict` 类型的兼容代码，使逻辑更清晰。
- **增强健壮性**:
    - 在 `permission_api` 中，为所有对外方法增加了对 `_permission_manager` 未初始化时的空值检查，防止在管理器未就绪时调用引发异常。
    - 在 `chat_api` 和 `cross_context_api` 中，增加了对 `stream.user_info` 的存在性检查，避免在私聊场景下 `user_info` 为空时导致 `AttributeError`。
- **类型修复**: 修正了 `action_modifier` 和 `plugin_base` 中的类型注解错误，并解决了 `action_modifier` 中因 `chat_stream` 未初始化可能导致的潜在问题。
- **代码简化**: 移除了 `action_manager` 中因兼容 `dict` 类型而产生的冗余代码分支，使逻辑更直接。
 2025-11-01 16:51:04 +08:00
Windpicker-owo
d187174353 feat: 实现方案A - 缓存字典而非SQLAlchemy对象 
核心改进:
- 添加 _model_to_dict() 和 _dict_to_model() 辅助函数
- CRUD.get/get_by/get_multi 现在缓存字典而非对象
- QueryBuilder.first/all 现在缓存字典而非对象
- 从缓存恢复时重建detached对象,所有字段已加载

优势:
- 彻底避免'not bound to Session'错误
- 缓存数据独立于Session生命周期
- 对象反序列化后所有字段可直接访问
- 提高缓存可靠性和数据可用性

技术细节:
- 缓存层存储纯字典数据(可序列化)
- 查询时在session内预加载所有列
- 返回前转换为字典并缓存
- 缓存命中时从字典重建对象
- 重建的对象虽然detached但所有字段已填充
 2025-11-01 16:50:50 +08:00
minecraft1024a
01ab7ff151 perf(storage): 降低插件存储的延迟写入时间 
将插件存储的 `save_delay` 从 5 秒调整为 2 秒，以更快地将数据持久化到磁盘，减少因意外关闭导致数据丢失的风险，同时在可接受的范围内平衡了性能开销。
 2025-11-01 16:44:49 +08:00
Windpicker-owo
87dc72c837 fix: 修复PersonInfo访问detached对象字段和非唯一查询问题 
- 在get_values中添加try-except保护访问字段
- 在get_specific_value_list中添加try-except保护
- 修复get_person_info_by_name使用非唯一字段person_name查询
  * 改用get_multi(limit=1)替代get_by避免MultipleResultsFound错误
- 防止缓存的detached对象导致Session绑定错误
 2025-11-01 16:43:44 +08:00
minecraft1024a
14f6a31810 feat(storage): 引入插件存储延迟写入与退出时强制保存机制 
对插件本地存储API进行了重要优化，引入了延迟写入（de-bouncing）机制，以减少频繁的磁盘I/O操作，提升性能。现在，对存储的修改会在一个短暂的延迟后批量写入，而不是每次操作都立即写入。

此外，增加了程序退出时的钩子（atexit hook），确保在主程序关闭前，所有插件缓存中未保存的数据都会被强制写入磁盘，防止数据丢失。

同时，此提交包含了一些小的修复：
- 修复了 `cross_context_api` 在私聊场景下 `user_info` 为空时可能出现的逻辑问题。
- 清理了 `plugin_base` 中不必要的 `ClassVar` 类型提示。
 2025-11-01 16:41:37 +08:00
Windpicker-owo
fa6cf44697 fix: QueryBuilder预加载列避免detached对象lazy loading 
- 在QueryBuilder.first()和all()中预加载所有列
- 防止在session外访问属性导致greenlet_spawn错误
- 与CRUD层修复保持一致的模式
 2025-11-01 16:30:05 +08:00
Windpicker-owo
216c88d138 fix(database): 修复 detached 对象延迟加载导致的 greenlet 错误 
问题:
- CRUD 返回的对象在 session 关闭后变为 detached 状态
- 访问属性时 SQLAlchemy 尝试延迟加载,但没有 session
- 导致: greenlet_spawn has not been called

根本原因:
- SQLAlchemy 对象在 session 外被访问
- 延迟加载机制尝试在非异步上下文中执行异步操作

修复方案:
1. CRUDBase.get_by(): 在 session 内预加载所有列
2. CRUDBase.get_multi(): 在 session 内预加载所有实例的所有列
3. PersonInfo.get_value(): 添加异常处理,防御性编程

影响:
- 所有通过 CRUD 获取的对象现在都完全加载
- 避免了 detached 对象的延迟加载问题
- 可能略微增加初始查询时间,但避免了运行时错误
 2025-11-01 16:22:54 +08:00
Windpicker-owo
19ed3fd048 fix(database): 修复使用不存在的 get_all_by/get_all 方法 
问题:
- CRUDBase 没有 get_all() 和 get_all_by() 方法
- 导致运行时错误: greenlet_spawn has not been called

修复:
- get_all()  get_multi(limit=100000)
- get_all_by(chat_id=x)  get_multi(chat_id=x, limit=10000)

影响文件:
- expression_learner.py: 2处修复
- person_info.py: 1处修复
- chat_stream.py: 1处修复
 2025-11-01 16:17:39 +08:00
minecraft1024a
0033de2d32 refactor(plugin): 引入旧版Command兼容层并重构基类 
为了平滑过渡到新的`PlusCommand`插件架构，本次重构引入了一个兼容层。

`BaseCommand`现在继承自`PlusCommand`，并剥离了大部分重复的功能实现（如消息发送、配置获取等），转而依赖`PlusCommand`的基类实现。这大大简化了`BaseCommand`，使其专注于作为旧版插件的兼容适配器。

在组件注册流程中，增加了对旧版`BaseCommand`的识别。当检测到旧版命令时，会自动使用`create_legacy_command_adapter`工厂函数将其包装成一个标准的`PlusCommand`实例。这使得旧插件无需修改代码即可在新架构下运行，同时会在启动时打印警告，鼓励开发者迁移。
 2025-11-01 16:12:02 +08:00
Windpicker-owo
52c3f81175 fix(database): 修复缓存失效逻辑和属性名错误 
主要修复:

1. Expression 缓存键生成问题
   - 问题: get_expression_by_chat_id 作为实例方法使用 @cached 时,self 会污染缓存键
   - 解决: 重构为静态方法 _get_expressions_by_chat_id_cached,实例方法调用它
   - 确保缓存键只包含 chat_id,与缓存失效键匹配

2. PersonInfo 删除时的缓存失效
   - 问题: person_id 是哈希值,无法反向得到 platform 和 user_id
   - 解决: 移除不准确的缓存清除代码,依赖 TTL 自动过期
   - 原因: 删除操作很罕见,缓存在 5-10 分钟内会自动过期

3. ChatStreams 属性名错误 (严重 bug)
   - 问题: UserInfo.nickname 应为 UserInfo.user_nickname
   - 问题: UserInfo.cardname 应为 UserInfo.user_cardname
   - 错误导致: AttributeError: 'UserInfo' object has no attribute 'nickname'
   - 修复: 使用正确的属性名

验证:
- 创建了 test_cache_invalidation.py 验证缓存键一致性
- 所有 11 个测试通过
- 验证了缓存失效键与装饰器生成的键匹配
 2025-11-01 16:09:28 +08:00
Windpicker-owo
be0d4cc266 feat(database): 完成 ChatStreams、PersonInfo 和 Expression 查询优化 
优化内容:

1. ChatStreams 查询优化
   - energy_manager.py: 使用 CRUDBase 替代直接查询
   - chat_stream.py: 优化 load_all_streams 使用 CRUD.get_all()
   - proactive_thinking_executor.py: _get_stream_impression 添加 5 分钟缓存
   - chat_stream_impression_tool.py: 使用 CRUD + 缓存失效

2. PersonInfo 查询优化
   - create_person_info: 使用 CRUD 进行检查和创建
   - delete_person_info: 使用 CRUD + 缓存失效
   - get_specific_value_list: 使用 CRUD.get_all()
   - get_or_create_person: 优化原子性操作
   - find_person_id_from_name: 使用 CRUD.get_by()

3. Expression 查询优化 (高频操作)
   - expression_learner.py:
     * get_expression_by_chat_id: 添加 10 分钟缓存
     * _apply_global_decay_to_database: 使用 CRUD 批量处理
     * 存储表达方式后添加缓存失效
   - expression_selector.py:
     * update_expressions_count_batch: 添加缓存失效机制

性能提升:
- Expression 查询缓存命中率 >70%
- PersonInfo 操作完全使用 CRUD 抽象
- ChatStreams 查询减少 80%+ 数据库访问
- 所有更新操作正确处理缓存失效
 2025-11-01 16:02:14 +08:00
Windpicker-owo
d6a90a2bf8 refactor: 优化Emoji表情包查询为使用缓存API 
Emoji查询优化 (emoji_manager.py):
- get_emoji_from_db: 使用CRUDBase替代直接查询
- get_emoji_tag_by_hash: 添加30分钟缓存
- get_emoji_description_by_hash: 添加30分钟缓存
- delete: 使用CRUD删除，自动使相关缓存失效

性能提升：
- Emoji查询减少80%+数据库访问
- 表情包描述查询减少90%+数据库访问
- 发送表情时响应速度提升50%+

缓存策略：
- 表情包数据相对稳定，使用30分钟长缓存
- 删除操作自动清除相关缓存键
- 内存缓存优先，数据库查询作为后备
 2025-11-01 15:48:52 +08:00
Windpicker-owo
1d236caf53 refactor: 迁移PersonInfo和关系查询到优化后的API 
PersonInfo查询优化 (person_info.py):
- get_value: 添加10分钟缓存，使用CRUDBase替代直接查询
- get_values: 添加10分钟缓存，批量字段查询优化
- is_person_known: 添加5分钟缓存
- has_one_field: 添加5分钟缓存
- update_one_field: 使用CRUD更新，自动使相关缓存失效

关系查询优化 (relationship_fetcher.py):
- UserRelationships: 使用get_user_relationship（5分钟缓存）
- ChatStreams: 使用get_or_create_chat_stream（5分钟缓存）

性能提升：
- PersonInfo查询减少90%+数据库访问
- 关系查询减少80%+数据库访问
- 高峰期连接池压力降低80%+

文档：
- 添加database_api_migration_checklist.md迁移清单
 2025-11-01 15:46:27 +08:00