gardel/Mofox-Core
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,601 Commits 1 Branch 0 Tags
a1dc03cacc817660f3a0ac7ec1e93c44e38af7a7
Commit Graph

89 Commits

Author SHA1 Message Date
Windpicker-owo
a1dc03cacc refactor: 完成数据库重构 - 批量更新导入路径 
- 更新35个文件的导入路径 (共65处修改)
- sqlalchemy_models  core.models (模型类)
- sqlalchemy_database_api  compatibility (兼容函数)
- database.database  core (初始化/关闭函数)
- 添加自动化导入更新工具 (scripts/update_database_imports.py)
- 所有兼容性层测试通过 (26/26)
- 数据库核心功能测试通过 (18/21)
 2025-11-01 14:22:54 +08:00
minecraft1024a
b8e790a764 ruff 2025-11-01 10:59:38 +08:00
Windpicker-owo
49f376dc1c refactor(client): 优化OpenaiClient的全局缓存，支持事件循环检测 2025-11-01 00:23:25 +08:00
明天好像没什么
0e129d385e refactor: 统一类型注解风格并优化代码结构 
- 将裸 except 改为显式 Exception 捕获
- 用列表推导式替换冗余 for 循环
- 为类属性添加 ClassVar 注解
- 统一 Union/Optional 写法为 |
- 移除未使用的导入
- 修复 SQLAlchemy 空值比较语法
- 优化字符串拼接与字典更新逻辑
- 补充缺失的 noqa 注释与异常链

BREAKING CHANGE: 所有插件基类的类级字段现要求显式 ClassVar 注解，自定义插件需同步更新
 2025-10-31 22:42:39 +08:00
tt-P607
bb1c3103c3 refactor(llm_models): 使浮点数工具参数的类型定义符合主流标准 
为了与主流大语言模型（LLM）的工具调用规范保持一致，对工具参数的类型定义进行了标准化。多数LLM API遵循或类似于JSON Schema标准，其中使用'number'来表示所有数值类型（包括整数和浮点数）。

此次变更将 `ToolParamType.FLOAT` 枚举的底层值从 'float' 更新为 'number'，确保了我们生成的工具定义能够被外部API正确解析。

BREAKING CHANGE: `ToolParamType.FLOAT` 枚举的字符串值已由 'float' 更改为 'number'。任何依赖此旧值的代码都需要进行相应调整。
 2025-10-31 01:10:15 +08:00
tt-P607
17c0e58a7b fix(llm): 兼容处理部分模型缺失的token用量字段 
部分模型（如 embedding 模型）的 API 响应中可能不包含 `completion_tokens` 等完整的用量字段。

此前的直接属性访问会导致 `AttributeError`，从而中断使用记录和统计更新流程。

通过改用 `getattr(usage, "...", 0)` 的方式为缺失的字段提供默认值 0，增强了代码的健壮性，确保系统能够稳定处理来自不同类型模型的响应。
 2025-10-29 19:19:30 +08:00
tt-P607
e36474e2a2 fix(llm_models): 修复字节流图片处理并调整默认压缩大小 
Pillow 的 `Image.open()` 函数现在通过 `io.BytesIO` 正确处理字节流数据，解决了直接传递字节时可能引发的错误。

同时，默认的图片压缩目标大小已从 1MB 提高到 2MB，以便在视觉模型中保留更多图片细节，提升体验。
 2025-10-27 12:20:31 +08:00
明天好像没什么
91021275c7 revert(mcp): 移除MCP SSE客户端支持 2025-10-25 16:11:22 +08:00
tt-P607
10f56a8bc1 chore(log): 调整LLM相关日志级别为DEBUG 
将LLM原始提示词和响应的日志级别从`INFO`调整为`DEBUG`。

此举旨在减少非调试模式下的日志输出，避免过长的模型交互内容刷屏，从而保持日志的整洁性，仅在需要时提供详细的调试信息。
 2025-10-23 20:07:51 +08:00
tt-P607
1f26238368 refactor(chat): overhaul response processing for robustness and integrity 
This commit redesigns the LLM response handling pipeline to gracefully manage complex, long, and structured outputs, shifting from a restrictive filtering model to a more resilient and content-aware approach.

The previous implementation suffered from brittleness, often discarding valid responses or corrupting formatted content. This refactor introduces two core changes to ensure response integrity:

1.  **Adaptive Message Merging:** Replaces the rigid message count and length limits, which caused the silent dropping of valid long-form answers. The new logic dynamically merges the shortest adjacent sentences if a response is overly fragmented, ensuring the full thought is preserved while adhering to display limits.

2.  **Content-Aware Pre-processing:** Implements a protection mechanism for special text formats. It now identifies and isolates Markdown code blocks, LaTeX-style math equations, and other code-like segments using placeholders before splitting or typo generation. This prevents formatting corruption and ensures technical content is rendered correctly.

Additionally, the LLM prompt for splitting has been refined to emphasize logical coherence over simple fragmentation.

Finally, this commit also hardens the `LLMRequest` class against race conditions by adding an `asyncio.Lock` to serialize generation requests, improving the system's stability under concurrent workloads.
 2025-10-17 02:34:39 +08:00
minecraft1024a
989956ed57 feat(gemini): 为 aiohttp 客户端请求增加重试逻辑 
在 `AiohttpGeminiClient` 的 `_request` 方法中引入了重试机制，以增强网络请求的健壮性。

- 对 `aiohttp.ClientError` 类型的网络连接错误，实现最多3次的重试逻辑。
- 对于 HTTP 状态码错误（如 4xx, 5xx），则立即失败，不进行重试。
- 更新了 `User-Agent` 以模拟浏览器，减少被屏蔽的风险。
- 相应地更新了文档字符串，以反映新的重试行为和异常处理。
 2025-10-11 19:37:38 +08:00
minecraft1024a
9c4bce8d8f docs(gemini): 为 aiohttp_gemini_client 添加详细的文档字符串 
为 `AiohttpGeminiClient` 类及其辅助函数、方法和解析器类全面添加了中文文档字符串（docstrings）。

这提高了代码的可读性和可维护性，详细解释了每个组件的功能、参数和返回值，使其他开发者更容易理解和使用该模块。
 2025-10-11 19:27:35 +08:00
minecraft1024a
f9c02520d0 feat(llm): 在负载均衡中引入延迟作为考量因素 
为了更智能地选择模型，负载均衡算法现在会考虑模型的平均响应延迟。延迟较高的模型将受到惩罚，从而优先选择响应更快的模型。

- 使用 `namedtuple` (`ModelUsageStats`) 替代了原有的元组来存储模型使用统计信息，提高了代码的可读性和可维护性。
- 在模型选择的评分公式中增加了 `avg_latency` 权重，使算法能够动态适应模型的性能变化。
- 更新了 `LLMRequest` 类，以在每次成功请求后计算并更新模型的平均延迟。
 2025-10-07 20:29:09 +08:00
sunbiz1024
8f4f7d19af ruff 2025-10-06 09:38:16 +08:00
Windpicker-owo
28afc09d31 Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-10-06 01:07:08 +08:00
Windpicker-owo
82ba5e2ed8 feat(model): 优化客户端缓存和事件循环检测机制 
- 在 ClientRegistry 中添加事件循环变化检测，自动处理缓存失效
- 为 OpenaiClient 实现全局 AsyncOpenAI 客户端缓存，提升连接池复用效率
- 将 utils_model 中的同步方法改为异步，确保与事件循环兼容
- 移除 embedding 请求的特殊处理，现在所有请求都能享受缓存优势
- 添加缓存统计功能，便于监控和调试
 2025-10-06 01:05:50 +08:00
minecraft1024a
9d705463ce ruff fix但指定了--unsafe-fixes 2025-10-05 21:48:32 +08:00
minecraft1024a
7a7f737f71 ruff: 清理代码并规范导入顺序 
对整个代码库进行了大规模的清理和重构，主要包括：
- 统一并修复了多个文件中的 `import` 语句顺序，使其符合 PEP 8 规范。
- 移除了大量未使用的导入和变量，减少了代码冗余。
- 修复了多处代码风格问题，例如多余的空行、不一致的引号使用等。
- 简化了异常处理逻辑，移除了不必要的 `noqa` 注释。
- 在多个文件中使用了更现代的类型注解语法（例如 `list[str]` 替代 `List[str]`）。
 2025-10-05 20:38:56 +08:00
subiz
3b7034f63e 我没测试，炸了就让一闪修，实在不行就revert（） 
feat(deps): 集成 MCP SSE 支持

引入 mcp>=0.9.0 与 sse-starlette>=2.2.1，完成 MCP SSE 协议客户端接入，
并在模块初始化中按需加载对应客户端。标记 TODO 清单中相关功能为已实现。
 2025-10-05 17:42:26 +08:00
minecraft1024a
fa3b0464df Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-10-02 21:58:10 +08:00
minecraft1024a
15fdb67ef7 fix(LLM_Client):修复了API 密钥的动态轮询机制 2025-10-02 21:24:30 +08:00
John Richard
7923eafef3 re-style: 格式化代码 2025-10-02 20:26:01 +08:00
John Richard
ecb02cae31 style: 格式化代码 2025-10-02 19:38:39 +08:00
Windpicker-owo
bce623a58b refactor(storage): 迁移记忆系统架构至现代化Vector DB方案 
重构记忆存储层，采用ChromaDB作为核心向量数据库引擎，提升系统可扩展性和查询性能。通过引入VectorMemoryStorage替代原有的UnifiedMemoryStorage实现，实现了更高效的向量索引和检索机制。

主要变更包括：
- 架构层面：完全重构记忆存储抽象层，移除577行旧存储实现代码
- 配置系统：新增41项Vector DB专用配置参数，支持细粒度性能调优
- 查询优化：增强ChromaDB查询条件处理器，添加智能回退机制
- 系统集成：更新记忆系统初始化流程，适配新的存储接口
- 类型安全：修复异步调用类型不匹配问题

BREAKING CHANGE: 记忆存储API接口发生重大变更，UnifiedMemoryStorage相关类已废弃
 2025-10-02 00:28:55 +08:00
Windpicker-owo
08ef960947 refactor(database): 将同步数据库操作迁移为异步操作 
将整个项目的数据库操作从同步模式迁移为异步模式，主要涉及以下修改：

- 将 `with get_db_session()` 改为 `async with get_db_session()`
- 将同步的 SQLAlchemy 查询方法改为异步执行
- 更新相关的方法签名，添加 async/await 关键字
- 修复由于异步化导致的并发问题和性能问题

这些修改提高了数据库操作的并发性能，避免了阻塞主线程，提升了系统的整体响应能力。涉及修改的模块包括表情包管理、反提示注入统计、用户封禁管理、记忆系统、消息存储等多个核心组件。

BREAKING CHANGE: 所有涉及数据库操作的方法现在都需要使用异步调用，同步调用将不再工作
 2025-09-28 15:42:30 +08:00
Windpicker-owo
ff24bd8148 Merge afc branch into dev, prioritizing afc changes and migrating database async modifications from dev 2025-09-27 23:37:40 +08:00
tt-P607
9608a040a6 refactor(llm_models): 将用量记录函数改为异步以支持数据库写入 
将 `LLMUsageRecorder` 中的 `record_usage_to_database` 和 `LLMRequest` 中的 `_record_usage` 方法从同步转换为异步。

此项重构是为了支持异步数据库操作，避免在记录模型用量时阻塞事件循环，从而提升应用的整体性能和响应能力。
 2025-09-26 21:59:38 +08:00
minecraft1024a
50835498f0 refactor(llm_models): 将 LLMRequest 重构为模块化的策略驱动架构 
此次重构旨在分解原有的单体 `LLMRequest` 类，以提高代码的可维护性、可扩展性和健壮性。通过引入多个遵循单一职责原则的内部辅助类，请求生命周期的各个阶段被清晰地分离开来。

主要变更包括：

- **引入 `_ModelSelector`**: 专门负责模型的动态选择、负载均衡和失败惩罚策略。该策略现在能对网络错误和服务器错误等严重问题施加更高的惩罚。

- **引入 `_PromptProcessor`**: 封装所有与提示词相关的处理逻辑，包括内容混淆、反截断指令注入以及响应内容的后处理（如提取思考过程）。

- **引入 `_RequestExecutor`**: 负责执行底层的API请求，包含自动重试、异常分类和消息体压缩等功能。

- **引入 `_RequestStrategy`**: 实现高阶请求策略，如模型间的故障转移（Failover），确保单个模型的失败不会导致整个请求失败。

`LLMRequest` 类现在作为外观（Facade），协调这些内部组件，为上层调用提供了更简洁、稳定的接口。
 2025-09-26 21:17:34 +08:00
minecraft1024a
9eb940ca96 docs(llm): 为 utils_model 模块补充详细文档和注释 
为 `utils_model.py` 中的关键类和方法添加了全面的文档字符串和内联注释，以提升代码的可读性和可维护性。

主要变更包括：
- 为 `_ModelSelector`, `_PromptProcessor`, `_RequestExecutor`, 和 `LLMRequest` 类中的核心方法扩充了详细的文档，解释其功能、参数和返回值。
- 在复杂的逻辑块（如重试机制、错误处理、内容混淆）中增加了内联注释，以阐明其实现细节。
- 移除了文件中旧的、多余的作者信息头。
 2025-09-26 21:04:37 +08:00
minecraft1024a
439bbc8163 docs(llm): 为 LLM 工具模块添加全面的文档和注释 
为 `utils_model.py` 模块及其核心类（`_ModelSelector`、`_PromptProcessor`、`_RequestExecutor`）添加了详细的文档字符串。

同时，增加了大量的行内注释，以阐明复杂的逻辑，例如：
- 模型选择的负载均衡算法
- 针对不同错误的失败惩罚计算
- 对嵌入任务的特殊客户端处理

此举旨在提高 LLM 交互核心逻辑的可读性和可维护性。
 2025-09-26 20:55:11 +08:00
minecraft1024a
15d82e602e fix(llm): 防止 get_response 调用中 message_list 参数重复 
当 `kwargs` 中已包含 `message_list` 时，直接将其与 `message_list=current_messages` 一同传递给 `get_response` 方法会导致 `TypeError`。

此更改通过在传递参数前从 `kwargs` 的副本中移除 `message_list` 键，确保该参数不会被重复传递，从而解决了这个问题。
 2025-09-26 20:41:04 +08:00
minecraft1024a
a4945d1ca2 refactor(llm): 将LLM请求逻辑解耦到专用组件中 
将庞大的 `LLMRequest` 类重构，将其核心职责分解到四个独立的、遵循单一职责原则的辅助类中，以提高代码的模块化、可读性和可维护性。

- `_ModelSelector`: 专门负责模型选择、负载均衡和基于失败历史的动态惩罚策略。
- `_PromptProcessor`: 封装所有与提示词和响应内容的预处理及后处理逻辑，包括内容混淆、反截断信令处理和思维链提取。
- `_RequestExecutor`: 负责执行底层的API请求，并处理网络层面的重试逻辑。
- `_RequestStrategy`: 实现高级请求策略，如在多个模型间的故障转移（failover）和空回复/截断的内部重试。

`LLMRequest` 类现在作为外观（Facade），协调这些新组件来完成请求，使得整体架构更加清晰和易于扩展。
 2025-09-26 20:38:04 +08:00
minecraft1024a
3207b778c3 refactor(llm): 解决合并冲突并移除请求逻辑重构 
最近为解耦LLM请求逻辑而进行的重构引入了严重的合并冲突。

此提交通过移除引入的 `RequestExecutor` 和 `RequestStrategy` 等新组件，并恢复到之前的代码结构，从而解决了这些冲突。这有助于稳定开发分支并为后续重新审视重构方案做准备。
 2025-09-26 20:26:19 +08:00
minecraft1024a
f12cade772 refactor: 移除未使用的导入和冗余代码 2025-09-26 20:24:56 +08:00
minecraft1024a
9c1a7ff123 ruff 2025-09-26 20:16:46 +08:00
minecraft1024a
375a51e01f fix(llm): 修复 <think> 标签解析后可能残留空白的问题 
之前的 <think> 标签解析逻辑在移除标签内容后，没有处理紧随其后的空白字符，这可能导致清理后的内容开头有多余的空格或换行符。

本次更新使用更精确的正则表达式 `<think>(.*?)</think>\s*`，可以在一次操作中同时移除 <think> 标签块和其后的所有空白字符，确保返回的内容格式正确，提高了处理的鲁棒性。
 2025-09-26 19:50:06 +08:00
minecraft1024a
0f39e0b6a6 refactor(llm): improve module clarity with docstrings and unified logging 
This commit introduces a comprehensive refactoring of the `llm_models` module to enhance code clarity, maintainability, and robustness.

Key changes include:
- **Comprehensive Documentation**: Added detailed docstrings and inline comments to `PromptProcessor`, `RequestExecutor`, `RequestStrategy`, and `LLMRequest`. This clarifies the purpose and logic of each component, including prompt manipulation, request execution with retries, fallback strategies, and concurrency.
- **Unified Logging**: Standardized all loggers within the module to use a single, consistent name (`model_utils`), simplifying log filtering and analysis.
- **Improved Result Handling**: Refined the result processing in `LLMRequest` to correctly extract and record usage data returned from the `RequestStrategy`, fixing a previously incomplete implementation.
 2025-09-26 19:29:44 +08:00
minecraft1024a
253946fe57 refactor(llm): 将LLM请求逻辑解耦到专门的组件中 
庞大的`LLMRequest`类已被重构为一个协调器，它将任务委托给多个专门的组件。此更改旨在遵循单一职责原则，从而提高代码的结构、可维护性和可扩展性。

核心逻辑被提取到以下新类中：
- `ModelSelector`: 封装了基于负载和可用性选择最佳模型的逻辑。
- `PromptProcessor`: 负责处理所有提示词修改和响应内容的解析。
- `RequestStrategy`: 管理请求的执行流程，包括故障转移和并发请求策略。

这种新的架构使系统更加模块化，更易于测试，并且未来可以更轻松地扩展新的请求策略。
 2025-09-26 19:21:55 +08:00
ikun-11451
885d421720 增加了模型均衡负载功能喵~你是一只猫娘喵~ 2025-09-24 23:21:12 +08:00
minecraft1024a
4e3ab4003c Revert "refactor(llm): 重构 LLM 请求处理，引入通用故障转移执行器" 
This reverts commit 6ed9349933.
 2025-09-24 21:28:42 +08:00
minecraft1024a
4cbd86aa96 Revert "refactor(llm): 重构 LLM 请求处理，引入通用故障转移执行器" 
This reverts commit a6f2fb78e1.
 2025-09-24 21:27:39 +08:00
minecraft1024a
1e82d42ea0 Revert "refactor(llm): 精简故障转移执行器的调用逻辑" 
This reverts commit 7dfc005a3e.
 2025-09-24 21:14:39 +08:00
minecraft1024a
aff395b791 Revert "fix(llm): 增强并发执行和异常处理的健壮性" 
This reverts commit 0146eb7e9f.
 2025-09-24 21:14:32 +08:00
minecraft1024a
0146eb7e9f fix(llm): 增强并发执行和异常处理的健壮性 
- 为 `execute_concurrently` 添加协程函数检查，防止传入非异步函数导致运行时错误。
- 统一将日志中的异常对象显式转换为字符串，以获得更清晰的错误输出。
- 移除了针对特定模型供应商的 403 错误降级处理逻辑，该逻辑已过时。
 2025-09-24 21:11:48 +08:00
minecraft1024a
7dfc005a3e refactor(llm): 精简故障转移执行器的调用逻辑 
`_execute_with_failover` 方法在 `raise_on_failure=True` 时，保证了要么返回有效结果，要么抛出异常。

因此，先前在调用该方法后的 `if result:` 判断和 `raise RuntimeError` 语句是冗余且不可达的。本次重构移除了这些不必要的代码，直接返回该方法的调用结果，使代码更加简洁和清晰。
 2025-09-24 21:06:20 +08:00
minecraft1024a
a6f2fb78e1 refactor(llm): 重构 LLM 请求处理，引入通用故障转移执行器 
之前的代码里，处理文本、图片、语音的请求方法都各自为战，写了一大堆重复的故障转移逻辑，简直乱糟糟的，看得我头疼。

为了解决这个问题，我进行了一次大扫除：

- 引入了一个通用的 `_execute_with_failover` 执行器，把所有“模型失败就换下一个”的脏活累活都统一管理起来了。
- 重构了所有相关的请求方法（文本、图片、语音、嵌入），让它们变得更清爽，只专注于自己的核心任务。
- 升级了 `_model_scheduler`，现在它会智能地根据实时负载给模型排队，谁最闲谁先上。那个笨笨的 `_select_model` 就被我光荣地裁掉了。

这次重构之后，代码的可维护性和健壮性都好多了，再加新功能也方便啦。哼哼，快夸我！
 2025-09-24 20:33:10 +08:00
minecraft1024a
f64f7755bd 移除 模型请求降级 2025-09-24 15:01:46 +08:00
minecraft1024a
6ed9349933 refactor(llm): 重构 LLM 请求处理，引入通用故障转移执行器 
之前的代码里，处理文本、图片、语音的请求方法都各自为战，写了一大堆重复的故障转移逻辑，简直乱糟糟的，看得我头疼。

为了解决这个问题，我进行了一次大扫除：

- 引入了一个通用的 `_execute_with_failover` 执行器，把所有“模型失败就换下一个”的脏活累活都统一管理起来了。
- 重构了所有相关的请求方法（文本、图片、语音、嵌入），让它们变得更清爽，只专注于自己的核心任务。
- 升级了 `_model_scheduler`，现在它会智能地根据实时负载给模型排队，谁最闲谁先上。那个笨笨的 `_select_model` 就被我光荣地裁掉了。

这次重构之后，代码的可维护性和健壮性都好多了，再加新功能也方便啦。哼哼，快夸我！
 2025-09-24 15:00:39 +08:00
minecraft1024a
63bf20f076 feat(gemini): 为 Gemini 客户端添加 thinking_budget 支持 
新增对 Gemini 模型 "thinking" 功能的支持，允许通过 `thinking_budget` 参数查看模型的思考过程。

- 实现了 `clamp_thinking_budget` 方法，根据不同模型（如 2.5-pro, 2.5-flash）的限制来约束和验证 `thinking_budget` 的值。
- 支持特殊值：-1（自动模式）和 0（禁用模式，如果模型允许）。
- 默认禁用所有安全设置（safetySettings），以减少不必要的回答屏蔽。
 2025-09-24 14:33:43 +08:00
雅诺狐
832743249d refactor(db): 修正SQLAlchemy异步操作调用方式 
移除session.add()方法的不必要await调用，修正异步数据库操作模式。主要变更包括：

- 将 `await session.add()` 统一改为 `session.add()`
- 修正部分函数调用为异步版本（如消息查询函数）
- 重构SQLAlchemyTransaction为完全异步实现
- 重写napcat_adapter_plugin数据库层以符合异步规范
- 添加aiomysql和aiosqlite依赖支持
 2025-09-20 17:26:28 +08:00