minecraft1024a
a6e6569e3e
feat(llm): 在负载均衡中引入延迟作为考量因素
...
为了更智能地选择模型，负载均衡算法现在会考虑模型的平均响应延迟。延迟较高的模型将受到惩罚，从而优先选择响应更快的模型。
- 使用 `namedtuple` (`ModelUsageStats`) 替代了原有的元组来存储模型使用统计信息，提高了代码的可读性和可维护性。
- 在模型选择的评分公式中增加了 `avg_latency` 权重，使算法能够动态适应模型的性能变化。
- 更新了 `LLMRequest` 类，以在每次成功请求后计算并更新模型的平均延迟。
2025-11-19 23:20:41 +08:00
sunbiz1024
950b086063
ruff
2025-11-19 23:19:53 +08:00
minecraft1024a
2a89efe47a
ruff fix但指定了--unsafe-fixes
2025-11-19 23:19:42 +08:00
minecraft1024a
f8e62d0253
ruff: 清理代码并规范导入顺序
...
对整个代码库进行了大规模的清理和重构，主要包括：
- 统一并修复了多个文件中的 `import` 语句顺序，使其符合 PEP 8 规范。
- 移除了大量未使用的导入和变量，减少了代码冗余。
- 修复了多处代码风格问题，例如多余的空行、不一致的引号使用等。
- 简化了异常处理逻辑，移除了不必要的 `noqa` 注释。
- 在多个文件中使用了更现代的类型注解语法（例如 `list[str]` 替代 `List[str]`）。
2025-11-19 23:19:07 +08:00
Windpicker-owo
f59a31865c
feat(model): 优化客户端缓存和事件循环检测机制
...
- 在 ClientRegistry 中添加事件循环变化检测，自动处理缓存失效
- 为 OpenaiClient 实现全局 AsyncOpenAI 客户端缓存，提升连接池复用效率
- 将 utils_model 中的同步方法改为异步，确保与事件循环兼容
- 移除 embedding 请求的特殊处理，现在所有请求都能享受缓存优势
- 添加缓存统计功能，便于监控和调试
2025-11-19 23:18:54 +08:00
subiz
e02519b80e
我没测试，炸了就让一闪修，实在不行就revert（）
...
feat(deps): 集成 MCP SSE 支持
引入 mcp>=0.9.0 与 sse-starlette>=2.2.1，完成 MCP SSE 协议客户端接入，
并在模块初始化中按需加载对应客户端。标记 TODO 清单中相关功能为已实现。
2025-11-19 23:18:31 +08:00
John Richard
a79253c714
re-style: 格式化代码
2025-11-19 23:13:20 +08:00
John Richard
00ba07e0e1
style: 格式化代码
2025-11-19 23:12:18 +08:00
minecraft1024a
1d20b9067e
fix(LLM_Client):修复了API 密钥的动态轮询机制
2025-11-19 23:11:52 +08:00
Windpicker-owo
6fecfa8857
refactor(storage): 迁移记忆系统架构至现代化Vector DB方案
...
重构记忆存储层，采用ChromaDB作为核心向量数据库引擎，提升系统可扩展性和查询性能。通过引入VectorMemoryStorage替代原有的UnifiedMemoryStorage实现，实现了更高效的向量索引和检索机制。
主要变更包括：
- 架构层面：完全重构记忆存储抽象层，移除577行旧存储实现代码
- 配置系统：新增41项Vector DB专用配置参数，支持细粒度性能调优
- 查询优化：增强ChromaDB查询条件处理器，添加智能回退机制
- 系统集成：更新记忆系统初始化流程，适配新的存储接口
- 类型安全：修复异步调用类型不匹配问题
BREAKING CHANGE: 记忆存储API接口发生重大变更，UnifiedMemoryStorage相关类已废弃
2025-11-19 23:11:29 +08:00
Windpicker-owo
9836d317b8
refactor(database): 将同步数据库操作迁移为异步操作
...
将整个项目的数据库操作从同步模式迁移为异步模式，主要涉及以下修改：
- 将 `with get_db_session()` 改为 `async with get_db_session()`
- 将同步的 SQLAlchemy 查询方法改为异步执行
- 更新相关的方法签名，添加 async/await 关键字
- 修复由于异步化导致的并发问题和性能问题
这些修改提高了数据库操作的并发性能，避免了阻塞主线程，提升了系统的整体响应能力。涉及修改的模块包括表情包管理、反提示注入统计、用户封禁管理、记忆系统、消息存储等多个核心组件。
BREAKING CHANGE: 所有涉及数据库操作的方法现在都需要使用异步调用，同步调用将不再工作
2025-11-19 23:09:31 +08:00
tt-P607
c7c57461ca
refactor(llm_models): 将用量记录函数改为异步以支持数据库写入
...
将 `LLMUsageRecorder` 中的 `record_usage_to_database` 和 `LLMRequest` 中的 `_record_usage` 方法从同步转换为异步。
此项重构是为了支持异步数据库操作，避免在记录模型用量时阻塞事件循环，从而提升应用的整体性能和响应能力。
2025-11-19 23:09:26 +08:00
minecraft1024a
ac9321ff80
refactor(llm_models): 将 LLMRequest 重构为模块化的策略驱动架构
...
此次重构旨在分解原有的单体 `LLMRequest` 类，以提高代码的可维护性、可扩展性和健壮性。通过引入多个遵循单一职责原则的内部辅助类，请求生命周期的各个阶段被清晰地分离开来。
主要变更包括：
- **引入 `_ModelSelector`**: 专门负责模型的动态选择、负载均衡和失败惩罚策略。该策略现在能对网络错误和服务器错误等严重问题施加更高的惩罚。
- **引入 `_PromptProcessor`**: 封装所有与提示词相关的处理逻辑，包括内容混淆、反截断指令注入以及响应内容的后处理（如提取思考过程）。
- **引入 `_RequestExecutor`**: 负责执行底层的API请求，包含自动重试、异常分类和消息体压缩等功能。
- **引入 `_RequestStrategy`**: 实现高阶请求策略，如模型间的故障转移（Failover），确保单个模型的失败不会导致整个请求失败。
`LLMRequest` 类现在作为外观（Facade），协调这些内部组件，为上层调用提供了更简洁、稳定的接口。
2025-11-19 23:09:25 +08:00
minecraft1024a
c4f24244c1
Revert "refactor(llm): 重构 LLM 请求处理，引入通用故障转移执行器"
...
This reverts commit a6f2fb78e1
2025-11-19 23:09:10 +08:00
minecraft1024a
c180d55944
Revert "refactor(llm): 精简故障转移执行器的调用逻辑"
...
This reverts commit 7dfc005a3e
2025-11-19 23:09:08 +08:00
minecraft1024a
59d4434717
Revert "fix(llm): 增强并发执行和异常处理的健壮性"
...
This reverts commit 0146eb7e9f
2025-11-19 23:09:06 +08:00
minecraft1024a
cb38f14e82
fix(llm): 增强并发执行和异常处理的健壮性
...
- 为 `execute_concurrently` 添加协程函数检查，防止传入非异步函数导致运行时错误。
- 统一将日志中的异常对象显式转换为字符串，以获得更清晰的错误输出。
- 移除了针对特定模型供应商的 403 错误降级处理逻辑，该逻辑已过时。
2025-11-19 23:09:04 +08:00
minecraft1024a
ef809cd9fa
refactor(llm): 精简故障转移执行器的调用逻辑
...
`_execute_with_failover` 方法在 `raise_on_failure=True` 时，保证了要么返回有效结果，要么抛出异常。
因此，先前在调用该方法后的 `if result:` 判断和 `raise RuntimeError` 语句是冗余且不可达的。本次重构移除了这些不必要的代码，直接返回该方法的调用结果，使代码更加简洁和清晰。
2025-11-19 23:09:03 +08:00
minecraft1024a
b91d1e6bf5
refactor(llm): 重构 LLM 请求处理，引入通用故障转移执行器
...
之前的代码里，处理文本、图片、语音的请求方法都各自为战，写了一大堆重复的故障转移逻辑，简直乱糟糟的，看得我头疼。
为了解决这个问题，我进行了一次大扫除：
- 引入了一个通用的 `_execute_with_failover` 执行器，把所有“模型失败就换下一个”的脏活累活都统一管理起来了。
- 重构了所有相关的请求方法（文本、图片、语音、嵌入），让它们变得更清爽，只专注于自己的核心任务。
- 升级了 `_model_scheduler`，现在它会智能地根据实时负载给模型排队，谁最闲谁先上。那个笨笨的 `_select_model` 就被我光荣地裁掉了。
这次重构之后，代码的可维护性和健壮性都好多了，再加新功能也方便啦。哼哼，快夸我！
2025-11-19 23:08:59 +08:00
minecraft1024a
2fa3e132b2
docs(llm): 为 utils_model 模块补充详细文档和注释
...
为 `utils_model.py` 中的关键类和方法添加了全面的文档字符串和内联注释，以提升代码的可读性和可维护性。
主要变更包括：
- 为 `_ModelSelector`, `_PromptProcessor`, `_RequestExecutor`, 和 `LLMRequest` 类中的核心方法扩充了详细的文档，解释其功能、参数和返回值。
- 在复杂的逻辑块（如重试机制、错误处理、内容混淆）中增加了内联注释，以阐明其实现细节。
- 移除了文件中旧的、多余的作者信息头。
2025-11-19 23:05:49 +08:00
minecraft1024a
97cf1d3f71
docs(llm): 为 LLM 工具模块添加全面的文档和注释
...
为 `utils_model.py` 模块及其核心类（`_ModelSelector`、`_PromptProcessor`、`_RequestExecutor`）添加了详细的文档字符串。
同时，增加了大量的行内注释，以阐明复杂的逻辑，例如：
- 模型选择的负载均衡算法
- 针对不同错误的失败惩罚计算
- 对嵌入任务的特殊客户端处理
此举旨在提高 LLM 交互核心逻辑的可读性和可维护性。
2025-11-19 23:05:49 +08:00
minecraft1024a
1ed8172ff4
fix(llm): 防止 get_response 调用中 message_list 参数重复
...
当 `kwargs` 中已包含 `message_list` 时，直接将其与 `message_list=current_messages` 一同传递给 `get_response` 方法会导致 `TypeError`。
此更改通过在传递参数前从 `kwargs` 的副本中移除 `message_list` 键，确保该参数不会被重复传递，从而解决了这个问题。
2025-11-19 23:05:48 +08:00
minecraft1024a
b7848a6b28
refactor(llm): 将LLM请求逻辑解耦到专用组件中
...
将庞大的 `LLMRequest` 类重构，将其核心职责分解到四个独立的、遵循单一职责原则的辅助类中，以提高代码的模块化、可读性和可维护性。
- `_ModelSelector`: 专门负责模型选择、负载均衡和基于失败历史的动态惩罚策略。
- `_PromptProcessor`: 封装所有与提示词和响应内容的预处理及后处理逻辑，包括内容混淆、反截断信令处理和思维链提取。
- `_RequestExecutor`: 负责执行底层的API请求，并处理网络层面的重试逻辑。
- `_RequestStrategy`: 实现高级请求策略，如在多个模型间的故障转移（failover）和空回复/截断的内部重试。
`LLMRequest` 类现在作为外观（Facade），协调这些新组件来完成请求，使得整体架构更加清晰和易于扩展。
2025-11-19 23:05:48 +08:00
minecraft1024a
88446ac49a
refactor(llm): 解决合并冲突并移除请求逻辑重构
...
最近为解耦LLM请求逻辑而进行的重构引入了严重的合并冲突。
此提交通过移除引入的 `RequestExecutor` 和 `RequestStrategy` 等新组件，并恢复到之前的代码结构，从而解决了这些冲突。这有助于稳定开发分支并为后续重新审视重构方案做准备。
2025-11-19 23:05:48 +08:00
minecraft1024a
23937f7fbc
refactor: 移除未使用的导入和冗余代码
2025-11-19 23:05:48 +08:00
minecraft1024a
f842c43ab0
ruff
2025-11-19 23:05:47 +08:00
minecraft1024a
988bf7f7ab
fix(llm): 修复 <think> 标签解析后可能残留空白的问题
...
之前的 <think> 标签解析逻辑在移除标签内容后，没有处理紧随其后的空白字符，这可能导致清理后的内容开头有多余的空格或换行符。
本次更新使用更精确的正则表达式 `<think>(.*?)</think>\s*`，可以在一次操作中同时移除 <think> 标签块和其后的所有空白字符，确保返回的内容格式正确，提高了处理的鲁棒性。
2025-11-19 23:05:46 +08:00
minecraft1024a
77d5cc5c3c
refactor(llm): improve module clarity with docstrings and unified logging
...
This commit introduces a comprehensive refactoring of the `llm_models` module to enhance code clarity, maintainability, and robustness.
Key changes include:
- **Comprehensive Documentation**: Added detailed docstrings and inline comments to `PromptProcessor`, `RequestExecutor`, `RequestStrategy`, and `LLMRequest`. This clarifies the purpose and logic of each component, including prompt manipulation, request execution with retries, fallback strategies, and concurrency.
- **Unified Logging**: Standardized all loggers within the module to use a single, consistent name (`model_utils`), simplifying log filtering and analysis.
- **Improved Result Handling**: Refined the result processing in `LLMRequest` to correctly extract and record usage data returned from the `RequestStrategy`, fixing a previously incomplete implementation.
2025-11-19 23:05:46 +08:00
minecraft1024a
2c183d9288
refactor(llm): 将LLM请求逻辑解耦到专门的组件中
...
庞大的`LLMRequest`类已被重构为一个协调器，它将任务委托给多个专门的组件。此更改旨在遵循单一职责原则，从而提高代码的结构、可维护性和可扩展性。
核心逻辑被提取到以下新类中：
- `ModelSelector`: 封装了基于负载和可用性选择最佳模型的逻辑。
- `PromptProcessor`: 负责处理所有提示词修改和响应内容的解析。
- `RequestStrategy`: 管理请求的执行流程，包括故障转移和并发请求策略。
这种新的架构使系统更加模块化，更易于测试，并且未来可以更轻松地扩展新的请求策略。
2025-11-19 23:05:45 +08:00
ikun-11451
b99cb95416
增加了模型均衡负载功能喵~你是一只猫娘喵~
2025-11-19 23:05:45 +08:00
minecraft1024a
d593f06c63
Revert "refactor(llm): 重构 LLM 请求处理，引入通用故障转移执行器"
...
This reverts commit 6ed9349933
2025-11-19 23:05:44 +08:00
minecraft1024a
b5baa27d76
移除 模型请求降级
2025-11-19 23:05:42 +08:00
minecraft1024a
e34bafb843
refactor(llm): 重构 LLM 请求处理，引入通用故障转移执行器
...
之前的代码里，处理文本、图片、语音的请求方法都各自为战，写了一大堆重复的故障转移逻辑，简直乱糟糟的，看得我头疼。
为了解决这个问题，我进行了一次大扫除：
- 引入了一个通用的 `_execute_with_failover` 执行器，把所有“模型失败就换下一个”的脏活累活都统一管理起来了。
- 重构了所有相关的请求方法（文本、图片、语音、嵌入），让它们变得更清爽，只专注于自己的核心任务。
- 升级了 `_model_scheduler`，现在它会智能地根据实时负载给模型排队，谁最闲谁先上。那个笨笨的 `_select_model` 就被我光荣地裁掉了。
这次重构之后，代码的可维护性和健壮性都好多了，再加新功能也方便啦。哼哼，快夸我！
2025-11-19 23:05:42 +08:00
minecraft1024a
9d55603bde
feat(gemini): 为 Gemini 客户端添加 thinking_budget 支持
...
新增对 Gemini 模型 "thinking" 功能的支持，允许通过 `thinking_budget` 参数查看模型的思考过程。
- 实现了 `clamp_thinking_budget` 方法，根据不同模型（如 2.5-pro, 2.5-flash）的限制来约束和验证 `thinking_budget` 的值。
- 支持特殊值：-1（自动模式）和 0（禁用模式，如果模型允许）。
- 默认禁用所有安全设置（safetySettings），以减少不必要的回答屏蔽。
2025-11-19 23:05:41 +08:00
雅诺狐
679195d792
refactor(db): 修正SQLAlchemy异步操作调用方式
...
移除session.add()方法的不必要await调用，修正异步数据库操作模式。主要变更包括：
- 将 `await session.add()` 统一改为 `session.add()`
- 修正部分函数调用为异步版本（如消息查询函数）
- 重构SQLAlchemyTransaction为完全异步实现
- 重写napcat_adapter_plugin数据库层以符合异步规范
- 添加aiomysql和aiosqlite依赖支持
2025-11-19 23:05:17 +08:00
雅诺狐
0cffc0aa95
refactor(db): 将数据库操作异步化
...
- 将所有 session.add() 改为 await session.add()
- 将所有 session.commit() 改为 await session.commit()
- 将 session.refresh() 改为 await session.refresh()
2025-11-19 23:05:14 +08:00
tt-P607
d53238dfc9
4次修改
2025-11-19 23:05:02 +08:00
雅诺狐
93542cadef
perf(methods): 通过移除不必要的 self 参数优化方法签名
...
在包括 chat、plugin_system、schedule 和 mais4u 在内的多个模块中，消除冗余的实例引用。此次改动将无需访问实例状态的实用函数转换为静态方法，从而提升了内存效率，并使方法依赖关系更加清晰。
2025-11-19 23:05:00 +08:00
Windpicker-owo
fe472dff60
修复代码格式和文件名大小写问题
2025-11-19 22:55:55 +08:00
tt-P607
424c0fa093
refactor(llm_models): 优化反截断机制并迁移配置
...
将反截断功能的启用配置从API服务商级别迁移到单个模型级别，提供了更细粒度的控制。
主要变更：
- 在`LLMRequest`中，将硬编码的结束标记`[done]`替换为可配置的`self.end_marker`。
- 反截断检查逻辑从`api_provider`配置改为读取`model_info`中的`use_anti_truncation`布尔值。
- 更新了`model_config_template.toml`，移除了全局的反截断开关，并为每个模型增加了可选的`use_anti_truncation`配置项。
2025-11-19 22:54:20 +08:00
minecraft1024a
ed4d7e8e61
refactor(llm_models): 优化并发请求的返回值处理
...
修改了`execute_concurrently`的返回逻辑，将其解包以分别返回`content`和包含`reasoning_content`, `model_name`, `tool_calls`的元组。这使得调用方能更清晰地处理并发请求的结果。
2025-11-19 22:53:55 +08:00
Furina-1013-create
072fc32821
解决某人不会改的日志刷屏问题，是谁我不说()
2025-11-19 22:50:02 +08:00
minecraft1024a
a645e766ca
refactor(cache): 重构工具缓存机制并优化LLM请求重试逻辑
...
将工具缓存的实现从`ToolExecutor`的装饰器模式重构为直接集成。缓存逻辑被移出`cache_manager.py`并整合进`ToolExecutor.execute_tool_call`方法中，简化了代码结构并使其更易于维护。
主要变更：
- 从`cache_manager.py`中移除了`wrap_tool_executor`函数。
- 在`tool_use.py`中，`execute_tool_call`现在包含完整的缓存检查和设置逻辑。
- 调整了`llm_models/utils_model.py`中的LLM请求逻辑，为模型生成的空回复或截断响应增加了内部重试机制，增强了稳定性。
- 清理了项目中未使用的导入和过时的文档文件，以保持代码库的整洁。
2025-11-19 22:49:46 +08:00
minecraft1024a
9e720ea80e
feat(llm):为LLM请求实现模型故障转移机制
...
重构了LLM请求执行逻辑，以引入一个健壮的模型故障转移和回退系统。这通过在当前模型失败时自动切换到下一个可用模型，增强了服务的可靠性。
- 引入 `_model_scheduler` 以按顺序迭代任务配置的模型列表。
- 当模型请求因API错误、认证问题或超时等原因失败时，系统现在会自动使用列表中的下一个模型重试该请求。
- 移除了先前针对空回复或截断响应的内部重试逻辑。这类响应现在被视为特定模型尝试的最终失败，不会触发故障转移。
2025-11-19 22:49:44 +08:00
Windpicker-owo
313c7eec17
修复空回复检测，同时修复tool_call
2025-11-19 22:48:29 +08:00
minecraft1024a
5f9c752e81
chore(llm_models): 在 LLMRequest 初始化中定义 model_name 变量,來修复某些神秘的bug
2025-11-19 22:48:18 +08:00
minecraft1024a
d52c37f683
refactor(llm_models): 移除官方Gemini客户端并改用aiohttp实现
...
官方的 `google-generativeai` 库存在一些问题且似乎已不再积极维护，导致依赖关系和稳定性方面存在风险。
为提高稳定性和可维护性，现已移除基于该官方库的 `gemini_client.py` 实现。相应地，在配置文件模板中，`client_type` 已从 "gemini" 更新为 "aiohttp_gemini"，以引导用户使用新的、基于 `aiohttp` 的异步客户端。
2025-11-19 22:48:14 +08:00
minecraft1024a
38bfdfd7a0
refactor(config): 将反截断设置移至模型配置 #真的能算refactor吗
...
反截断（anti-truncation）功能与特定模型的行为和能力更为相关，而不是任务本身的属性。
此更改将该设置从 `TaskConfig` 移动到 `ModelInfo`，以实现更合理的配置分组和更精细的控制。代码逻辑和配置文件模板也已相应更新。
BREAKING CHANGE: `anti_truncation` 配置项已从 `[model_task_config]` 部分移动到 `[[models]]` 下的具体模型配置中。用户需要更新其配置文件以适配新结构。
2025-11-19 22:48:05 +08:00
tt-P607
3835475ba0
fix(llm_models): 修复模型信息不存在时引发的属性错误
...
在处理模型信息 `model_info` 为 `None` 的情况下，直接访问 `model_info.name` 会导致 `AttributeError`。
此提交通过以下方式修复了该问题：
- 在 `_select_model` 调用后立即将 `model_info.name` 赋值给 `model_name` 变量，确保后续使用时该变量已定义。
- 在 `_handle_error` 方法中，当 `model_info` 可能为 `None` 时，增加了一个条件检查，如果 `model_info` 不存在，则将 `model_name` 设为 "unknown"，从而避免了潜在的 `AttributeError`。
2025-11-19 22:47:19 +08:00
雅诺狐
ab3a36bfa7
全面更换orjson
2025-11-19 22:47:10 +08:00
