gardel/Mofox-Core
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,291 Commits 1 Branch 0 Tags
b3d1c93b87ca4b240921aeafb6ba927030fc9267
Commit Graph

76 Commits

Author SHA1 Message Date
sunbiz1024
8f4f7d19af ruff 2025-10-06 09:38:16 +08:00
Windpicker-owo
28afc09d31 Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-10-06 01:07:08 +08:00
Windpicker-owo
82ba5e2ed8 feat(model): 优化客户端缓存和事件循环检测机制 
- 在 ClientRegistry 中添加事件循环变化检测，自动处理缓存失效
- 为 OpenaiClient 实现全局 AsyncOpenAI 客户端缓存，提升连接池复用效率
- 将 utils_model 中的同步方法改为异步，确保与事件循环兼容
- 移除 embedding 请求的特殊处理，现在所有请求都能享受缓存优势
- 添加缓存统计功能，便于监控和调试
 2025-10-06 01:05:50 +08:00
minecraft1024a
9d705463ce ruff fix但指定了--unsafe-fixes 2025-10-05 21:48:32 +08:00
minecraft1024a
7a7f737f71 ruff: 清理代码并规范导入顺序 
对整个代码库进行了大规模的清理和重构，主要包括：
- 统一并修复了多个文件中的 `import` 语句顺序，使其符合 PEP 8 规范。
- 移除了大量未使用的导入和变量，减少了代码冗余。
- 修复了多处代码风格问题，例如多余的空行、不一致的引号使用等。
- 简化了异常处理逻辑，移除了不必要的 `noqa` 注释。
- 在多个文件中使用了更现代的类型注解语法（例如 `list[str]` 替代 `List[str]`）。
 2025-10-05 20:38:56 +08:00
subiz
3b7034f63e 我没测试，炸了就让一闪修，实在不行就revert（） 
feat(deps): 集成 MCP SSE 支持

引入 mcp>=0.9.0 与 sse-starlette>=2.2.1，完成 MCP SSE 协议客户端接入，
并在模块初始化中按需加载对应客户端。标记 TODO 清单中相关功能为已实现。
 2025-10-05 17:42:26 +08:00
minecraft1024a
fa3b0464df Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-10-02 21:58:10 +08:00
minecraft1024a
15fdb67ef7 fix(LLM_Client):修复了API 密钥的动态轮询机制 2025-10-02 21:24:30 +08:00
John Richard
7923eafef3 re-style: 格式化代码 2025-10-02 20:26:01 +08:00
John Richard
ecb02cae31 style: 格式化代码 2025-10-02 19:38:39 +08:00
Windpicker-owo
bce623a58b refactor(storage): 迁移记忆系统架构至现代化Vector DB方案 
重构记忆存储层，采用ChromaDB作为核心向量数据库引擎，提升系统可扩展性和查询性能。通过引入VectorMemoryStorage替代原有的UnifiedMemoryStorage实现，实现了更高效的向量索引和检索机制。

主要变更包括：
- 架构层面：完全重构记忆存储抽象层，移除577行旧存储实现代码
- 配置系统：新增41项Vector DB专用配置参数，支持细粒度性能调优
- 查询优化：增强ChromaDB查询条件处理器，添加智能回退机制
- 系统集成：更新记忆系统初始化流程，适配新的存储接口
- 类型安全：修复异步调用类型不匹配问题

BREAKING CHANGE: 记忆存储API接口发生重大变更，UnifiedMemoryStorage相关类已废弃
 2025-10-02 00:28:55 +08:00
Windpicker-owo
08ef960947 refactor(database): 将同步数据库操作迁移为异步操作 
将整个项目的数据库操作从同步模式迁移为异步模式，主要涉及以下修改：

- 将 `with get_db_session()` 改为 `async with get_db_session()`
- 将同步的 SQLAlchemy 查询方法改为异步执行
- 更新相关的方法签名，添加 async/await 关键字
- 修复由于异步化导致的并发问题和性能问题

这些修改提高了数据库操作的并发性能，避免了阻塞主线程，提升了系统的整体响应能力。涉及修改的模块包括表情包管理、反提示注入统计、用户封禁管理、记忆系统、消息存储等多个核心组件。

BREAKING CHANGE: 所有涉及数据库操作的方法现在都需要使用异步调用，同步调用将不再工作
 2025-09-28 15:42:30 +08:00
Windpicker-owo
ff24bd8148 Merge afc branch into dev, prioritizing afc changes and migrating database async modifications from dev 2025-09-27 23:37:40 +08:00
tt-P607
9608a040a6 refactor(llm_models): 将用量记录函数改为异步以支持数据库写入 
将 `LLMUsageRecorder` 中的 `record_usage_to_database` 和 `LLMRequest` 中的 `_record_usage` 方法从同步转换为异步。

此项重构是为了支持异步数据库操作，避免在记录模型用量时阻塞事件循环，从而提升应用的整体性能和响应能力。
 2025-09-26 21:59:38 +08:00
minecraft1024a
50835498f0 refactor(llm_models): 将 LLMRequest 重构为模块化的策略驱动架构 
此次重构旨在分解原有的单体 `LLMRequest` 类，以提高代码的可维护性、可扩展性和健壮性。通过引入多个遵循单一职责原则的内部辅助类，请求生命周期的各个阶段被清晰地分离开来。

主要变更包括：

- **引入 `_ModelSelector`**: 专门负责模型的动态选择、负载均衡和失败惩罚策略。该策略现在能对网络错误和服务器错误等严重问题施加更高的惩罚。

- **引入 `_PromptProcessor`**: 封装所有与提示词相关的处理逻辑，包括内容混淆、反截断指令注入以及响应内容的后处理（如提取思考过程）。

- **引入 `_RequestExecutor`**: 负责执行底层的API请求，包含自动重试、异常分类和消息体压缩等功能。

- **引入 `_RequestStrategy`**: 实现高阶请求策略，如模型间的故障转移（Failover），确保单个模型的失败不会导致整个请求失败。

`LLMRequest` 类现在作为外观（Facade），协调这些内部组件，为上层调用提供了更简洁、稳定的接口。
 2025-09-26 21:17:34 +08:00
minecraft1024a
9eb940ca96 docs(llm): 为 utils_model 模块补充详细文档和注释 
为 `utils_model.py` 中的关键类和方法添加了全面的文档字符串和内联注释，以提升代码的可读性和可维护性。

主要变更包括：
- 为 `_ModelSelector`, `_PromptProcessor`, `_RequestExecutor`, 和 `LLMRequest` 类中的核心方法扩充了详细的文档，解释其功能、参数和返回值。
- 在复杂的逻辑块（如重试机制、错误处理、内容混淆）中增加了内联注释，以阐明其实现细节。
- 移除了文件中旧的、多余的作者信息头。
 2025-09-26 21:04:37 +08:00
minecraft1024a
439bbc8163 docs(llm): 为 LLM 工具模块添加全面的文档和注释 
为 `utils_model.py` 模块及其核心类（`_ModelSelector`、`_PromptProcessor`、`_RequestExecutor`）添加了详细的文档字符串。

同时，增加了大量的行内注释，以阐明复杂的逻辑，例如：
- 模型选择的负载均衡算法
- 针对不同错误的失败惩罚计算
- 对嵌入任务的特殊客户端处理

此举旨在提高 LLM 交互核心逻辑的可读性和可维护性。
 2025-09-26 20:55:11 +08:00
minecraft1024a
15d82e602e fix(llm): 防止 get_response 调用中 message_list 参数重复 
当 `kwargs` 中已包含 `message_list` 时，直接将其与 `message_list=current_messages` 一同传递给 `get_response` 方法会导致 `TypeError`。

此更改通过在传递参数前从 `kwargs` 的副本中移除 `message_list` 键，确保该参数不会被重复传递，从而解决了这个问题。
 2025-09-26 20:41:04 +08:00
minecraft1024a
a4945d1ca2 refactor(llm): 将LLM请求逻辑解耦到专用组件中 
将庞大的 `LLMRequest` 类重构，将其核心职责分解到四个独立的、遵循单一职责原则的辅助类中，以提高代码的模块化、可读性和可维护性。

- `_ModelSelector`: 专门负责模型选择、负载均衡和基于失败历史的动态惩罚策略。
- `_PromptProcessor`: 封装所有与提示词和响应内容的预处理及后处理逻辑，包括内容混淆、反截断信令处理和思维链提取。
- `_RequestExecutor`: 负责执行底层的API请求，并处理网络层面的重试逻辑。
- `_RequestStrategy`: 实现高级请求策略，如在多个模型间的故障转移（failover）和空回复/截断的内部重试。

`LLMRequest` 类现在作为外观（Facade），协调这些新组件来完成请求，使得整体架构更加清晰和易于扩展。
 2025-09-26 20:38:04 +08:00
minecraft1024a
3207b778c3 refactor(llm): 解决合并冲突并移除请求逻辑重构 
最近为解耦LLM请求逻辑而进行的重构引入了严重的合并冲突。

此提交通过移除引入的 `RequestExecutor` 和 `RequestStrategy` 等新组件，并恢复到之前的代码结构，从而解决了这些冲突。这有助于稳定开发分支并为后续重新审视重构方案做准备。
 2025-09-26 20:26:19 +08:00
minecraft1024a
f12cade772 refactor: 移除未使用的导入和冗余代码 2025-09-26 20:24:56 +08:00
minecraft1024a
9c1a7ff123 ruff 2025-09-26 20:16:46 +08:00
minecraft1024a
375a51e01f fix(llm): 修复 <think> 标签解析后可能残留空白的问题 
之前的 <think> 标签解析逻辑在移除标签内容后，没有处理紧随其后的空白字符，这可能导致清理后的内容开头有多余的空格或换行符。

本次更新使用更精确的正则表达式 `<think>(.*?)</think>\s*`，可以在一次操作中同时移除 <think> 标签块和其后的所有空白字符，确保返回的内容格式正确，提高了处理的鲁棒性。
 2025-09-26 19:50:06 +08:00
minecraft1024a
0f39e0b6a6 refactor(llm): improve module clarity with docstrings and unified logging 
This commit introduces a comprehensive refactoring of the `llm_models` module to enhance code clarity, maintainability, and robustness.

Key changes include:
- **Comprehensive Documentation**: Added detailed docstrings and inline comments to `PromptProcessor`, `RequestExecutor`, `RequestStrategy`, and `LLMRequest`. This clarifies the purpose and logic of each component, including prompt manipulation, request execution with retries, fallback strategies, and concurrency.
- **Unified Logging**: Standardized all loggers within the module to use a single, consistent name (`model_utils`), simplifying log filtering and analysis.
- **Improved Result Handling**: Refined the result processing in `LLMRequest` to correctly extract and record usage data returned from the `RequestStrategy`, fixing a previously incomplete implementation.
 2025-09-26 19:29:44 +08:00
minecraft1024a
253946fe57 refactor(llm): 将LLM请求逻辑解耦到专门的组件中 
庞大的`LLMRequest`类已被重构为一个协调器，它将任务委托给多个专门的组件。此更改旨在遵循单一职责原则，从而提高代码的结构、可维护性和可扩展性。

核心逻辑被提取到以下新类中：
- `ModelSelector`: 封装了基于负载和可用性选择最佳模型的逻辑。
- `PromptProcessor`: 负责处理所有提示词修改和响应内容的解析。
- `RequestStrategy`: 管理请求的执行流程，包括故障转移和并发请求策略。

这种新的架构使系统更加模块化，更易于测试，并且未来可以更轻松地扩展新的请求策略。
 2025-09-26 19:21:55 +08:00
ikun-11451
885d421720 增加了模型均衡负载功能喵~你是一只猫娘喵~ 2025-09-24 23:21:12 +08:00
minecraft1024a
4e3ab4003c Revert "refactor(llm): 重构 LLM 请求处理，引入通用故障转移执行器" 
This reverts commit 6ed9349933.
 2025-09-24 21:28:42 +08:00
minecraft1024a
4cbd86aa96 Revert "refactor(llm): 重构 LLM 请求处理，引入通用故障转移执行器" 
This reverts commit a6f2fb78e1.
 2025-09-24 21:27:39 +08:00
minecraft1024a
1e82d42ea0 Revert "refactor(llm): 精简故障转移执行器的调用逻辑" 
This reverts commit 7dfc005a3e.
 2025-09-24 21:14:39 +08:00
minecraft1024a
aff395b791 Revert "fix(llm): 增强并发执行和异常处理的健壮性" 
This reverts commit 0146eb7e9f.
 2025-09-24 21:14:32 +08:00
minecraft1024a
0146eb7e9f fix(llm): 增强并发执行和异常处理的健壮性 
- 为 `execute_concurrently` 添加协程函数检查，防止传入非异步函数导致运行时错误。
- 统一将日志中的异常对象显式转换为字符串，以获得更清晰的错误输出。
- 移除了针对特定模型供应商的 403 错误降级处理逻辑，该逻辑已过时。
 2025-09-24 21:11:48 +08:00
minecraft1024a
7dfc005a3e refactor(llm): 精简故障转移执行器的调用逻辑 
`_execute_with_failover` 方法在 `raise_on_failure=True` 时，保证了要么返回有效结果，要么抛出异常。

因此，先前在调用该方法后的 `if result:` 判断和 `raise RuntimeError` 语句是冗余且不可达的。本次重构移除了这些不必要的代码，直接返回该方法的调用结果，使代码更加简洁和清晰。
 2025-09-24 21:06:20 +08:00
minecraft1024a
a6f2fb78e1 refactor(llm): 重构 LLM 请求处理，引入通用故障转移执行器 
之前的代码里，处理文本、图片、语音的请求方法都各自为战，写了一大堆重复的故障转移逻辑，简直乱糟糟的，看得我头疼。

为了解决这个问题，我进行了一次大扫除：

- 引入了一个通用的 `_execute_with_failover` 执行器，把所有“模型失败就换下一个”的脏活累活都统一管理起来了。
- 重构了所有相关的请求方法（文本、图片、语音、嵌入），让它们变得更清爽，只专注于自己的核心任务。
- 升级了 `_model_scheduler`，现在它会智能地根据实时负载给模型排队，谁最闲谁先上。那个笨笨的 `_select_model` 就被我光荣地裁掉了。

这次重构之后，代码的可维护性和健壮性都好多了，再加新功能也方便啦。哼哼，快夸我！
 2025-09-24 20:33:10 +08:00
minecraft1024a
f64f7755bd 移除 模型请求降级 2025-09-24 15:01:46 +08:00
minecraft1024a
6ed9349933 refactor(llm): 重构 LLM 请求处理，引入通用故障转移执行器 
之前的代码里，处理文本、图片、语音的请求方法都各自为战，写了一大堆重复的故障转移逻辑，简直乱糟糟的，看得我头疼。

为了解决这个问题，我进行了一次大扫除：

- 引入了一个通用的 `_execute_with_failover` 执行器，把所有“模型失败就换下一个”的脏活累活都统一管理起来了。
- 重构了所有相关的请求方法（文本、图片、语音、嵌入），让它们变得更清爽，只专注于自己的核心任务。
- 升级了 `_model_scheduler`，现在它会智能地根据实时负载给模型排队，谁最闲谁先上。那个笨笨的 `_select_model` 就被我光荣地裁掉了。

这次重构之后，代码的可维护性和健壮性都好多了，再加新功能也方便啦。哼哼，快夸我！
 2025-09-24 15:00:39 +08:00
minecraft1024a
63bf20f076 feat(gemini): 为 Gemini 客户端添加 thinking_budget 支持 
新增对 Gemini 模型 "thinking" 功能的支持，允许通过 `thinking_budget` 参数查看模型的思考过程。

- 实现了 `clamp_thinking_budget` 方法，根据不同模型（如 2.5-pro, 2.5-flash）的限制来约束和验证 `thinking_budget` 的值。
- 支持特殊值：-1（自动模式）和 0（禁用模式，如果模型允许）。
- 默认禁用所有安全设置（safetySettings），以减少不必要的回答屏蔽。
 2025-09-24 14:33:43 +08:00
雅诺狐
832743249d refactor(db): 修正SQLAlchemy异步操作调用方式 
移除session.add()方法的不必要await调用，修正异步数据库操作模式。主要变更包括：

- 将 `await session.add()` 统一改为 `session.add()`
- 修正部分函数调用为异步版本（如消息查询函数）
- 重构SQLAlchemyTransaction为完全异步实现
- 重写napcat_adapter_plugin数据库层以符合异步规范
- 添加aiomysql和aiosqlite依赖支持
 2025-09-20 17:26:28 +08:00
雅诺狐
55717669dd refactor(db): 将数据库操作异步化 
- 将所有 session.add() 改为 await session.add()
- 将所有 session.commit() 改为 await session.commit()
- 将 session.refresh() 改为 await session.refresh()
 2025-09-20 14:35:31 +08:00
tt-P607
a8992cdd51 4次修改 2025-09-20 11:57:22 +08:00
雅诺狐
898208f425 perf(methods): 通过移除不必要的 self 参数优化方法签名 
在包括 chat、plugin_system、schedule 和 mais4u 在内的多个模块中，消除冗余的实例引用。此次改动将无需访问实例状态的实用函数转换为静态方法，从而提升了内存效率，并使方法依赖关系更加清晰。
 2025-09-20 10:55:06 +08:00
Windpicker-owo
8149731925 修复代码格式和文件名大小写问题 2025-08-31 20:50:17 +08:00
tt-P607
a7b16cae0b refactor(llm_models): 优化反截断机制并迁移配置 
将反截断功能的启用配置从API服务商级别迁移到单个模型级别，提供了更细粒度的控制。

主要变更：
- 在`LLMRequest`中，将硬编码的结束标记`[done]`替换为可配置的`self.end_marker`。
- 反截断检查逻辑从`api_provider`配置改为读取`model_info`中的`use_anti_truncation`布尔值。
- 更新了`model_config_template.toml`，移除了全局的反截断开关，并为每个模型增加了可选的`use_anti_truncation`配置项。
 2025-08-30 19:08:43 +08:00
minecraft1024a
88f7ea4d8b refactor(llm_models): 优化并发请求的返回值处理 
修改了`execute_concurrently`的返回逻辑，将其解包以分别返回`content`和包含`reasoning_content`, `model_name`, `tool_calls`的元组。这使得调用方能更清晰地处理并发请求的结果。
 2025-08-29 20:34:23 +08:00
Furina-1013-create
bbebca832f 解决某人不会改的日志刷屏问题，是谁我不说() 2025-08-29 12:09:27 +08:00
minecraft1024a
eb1feeeb0b refactor(cache): 重构工具缓存机制并优化LLM请求重试逻辑 
将工具缓存的实现从`ToolExecutor`的装饰器模式重构为直接集成。缓存逻辑被移出`cache_manager.py`并整合进`ToolExecutor.execute_tool_call`方法中，简化了代码结构并使其更易于维护。

主要变更：
- 从`cache_manager.py`中移除了`wrap_tool_executor`函数。
- 在`tool_use.py`中，`execute_tool_call`现在包含完整的缓存检查和设置逻辑。
- 调整了`llm_models/utils_model.py`中的LLM请求逻辑，为模型生成的空回复或截断响应增加了内部重试机制，增强了稳定性。
- 清理了项目中未使用的导入和过时的文档文件，以保持代码库的整洁。
 2025-08-28 20:10:32 +08:00
minecraft1024a
1b86fff855 feat(llm):为LLM请求实现模型故障转移机制 
重构了LLM请求执行逻辑，以引入一个健壮的模型故障转移和回退系统。这通过在当前模型失败时自动切换到下一个可用模型，增强了服务的可靠性。

- 引入 `_model_scheduler` 以按顺序迭代任务配置的模型列表。
- 当模型请求因API错误、认证问题或超时等原因失败时，系统现在会自动使用列表中的下一个模型重试该请求。
- 移除了先前针对空回复或截断响应的内部重试逻辑。这类响应现在被视为特定模型尝试的最终失败，不会触发故障转移。
 2025-08-28 19:56:59 +08:00
Windpicker-owo
bbbb9df112 修复空回复检测，同时修复tool_call 2025-08-27 17:39:28 +08:00
minecraft1024a
51cb1688f8 chore(llm_models): 在 LLMRequest 初始化中定义 model_name 变量,來修复某些神秘的bug 2025-08-26 21:54:20 +08:00
minecraft1024a
5f3329e7c9 refactor(llm_models): 移除官方Gemini客户端并改用aiohttp实现 
官方的 `google-generativeai` 库存在一些问题且似乎已不再积极维护，导致依赖关系和稳定性方面存在风险。

为提高稳定性和可维护性，现已移除基于该官方库的 `gemini_client.py` 实现。相应地，在配置文件模板中，`client_type` 已从 "gemini" 更新为 "aiohttp_gemini"，以引导用户使用新的、基于 `aiohttp` 的异步客户端。
 2025-08-26 21:14:07 +08:00
minecraft1024a
c63de5ddd5 refactor(config): 将反截断设置移至模型配置 #真的能算refactor吗 
反截断（anti-truncation）功能与特定模型的行为和能力更为相关，而不是任务本身的属性。

此更改将该设置从 `TaskConfig` 移动到 `ModelInfo`，以实现更合理的配置分组和更精细的控制。代码逻辑和配置文件模板也已相应更新。

BREAKING CHANGE: `anti_truncation` 配置项已从 `[model_task_config]` 部分移动到 `[[models]]` 下的具体模型配置中。用户需要更新其配置文件以适配新结构。
 2025-08-26 20:45:04 +08:00