gardel/Mofox-Core
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
2,005 Commits 1 Branch 0 Tags
50acb70131705a138c740d99ea1c69fc5fc6dacc
Commit Graph

51 Commits

Author SHA1 Message Date
minecraft1024a
4d67cc8d83 fix(prompt): 修复抗审查指令被无条件添加的问题 
在之前的提交中，抗审查指令被错误地设置为无条件添加。本次提交修正了此逻辑，将其与 `enable_prompt_perturbation` 开关关联，确保只有在启用提示词扰动时才会添加该指令，恢复了预期的行为。

此外，还简化了反截断指令的条件判断，直接访问 `model_info.anti_truncation` 属性以提高代码的可读性。
 2025-11-15 21:09:13 +08:00
minecraft1024a
7e323e3d0f feat(prompt): 默认启用抗审查指令并简化配置 
为了简化用户配置并默认提高模型的抗审查能力，本次更新移除了 `prepend_noise_instruction` 配置选项。

现在，抗审查指令将作为默认行为，在处理所有提示词时自动添加，不再需要用户手动开启。同时，更新了模板文件中的注释，使其更清晰易懂。
 2025-11-15 21:08:29 +08:00
minecraft1024a
6f62073630 chore: perform widespread code cleanup and formatting 
Perform a comprehensive code cleanup across multiple modules to improve code quality, consistency, and maintainability.

Key changes include:
- Removing numerous unused imports.
- Standardizing import order.
- Eliminating trailing whitespace and inconsistent newlines.
- Updating legacy type hints to modern syntax (e.g., `List` -> `list`).
- Making minor improvements for code robustness and style.
 2025-11-15 17:12:46 +08:00
minecraft1024a
5167b990d5 refactor(prompt): 将注意力优化与内容混淆统一为扰动流程 
将原有的 `_AttentionOptimizer` 类重构并入 `_PromptProcessor` 类，以集中管理所有与提示词相关的预处理逻辑。

本次重构的主要变更包括：
- 引入 "提示词扰动" (Prompt Perturbation) 的统一概念，取代了之前分散的 "注意力优化" 和 "内容混淆" 术语。
- 创建新的核心方法 `_apply_prompt_perturbation`，它将语义变体、空白噪声和随机字符串注入整合为一个有序的处理流水线。
- 简化了 `prepare_prompt` 中的调用逻辑，使其更清晰、更易于维护。

此次重构显著提高了代码的可读性和模块化程度，使未来的扩展和调整更加方便。
 2025-11-15 13:08:46 +08:00
minecraft1024a
f980a6f9f4 refactor(prompt): 将注意力和内容混淆统一为提示词扰动 
本次提交重构了提示词修改逻辑，将之前独立的“注意力优化”和“内容混淆”功能合并为一个统一的概念：“提示词扰动”(Prompt Perturbation)。

主要变更包括：
- 在模型配置中引入新的统一选项：`enable_prompt_perturbation`, `perturbation_strength` 和 `enable_semantic_variants`。
- 将原 `AttentionOptimizer` 中的噪声注入和语义变体逻辑迁移到 `llm_models` 模块中，作为扰动策略的一部分。
- 简化 `attention_optimizer.py`，使其专注于提示词块重排 (`BlockShuffler`)。
- 更新 `_PromptProcessor` 以根据新的统一配置来协调不同的扰动技术。

此项更改为用户简化了配置，并通过集中化相关逻辑，提供了一个更清晰、更易于维护的实现。

BREAKING CHANGE: 内容混淆的相关配置已被替换。`enable_content_obfuscation` 和 `obfuscation_intensity` 配置项已移除。用户需更新配置以使用新的 `enable_prompt_perturbation` 和 `perturbation_strength`。
 2025-11-14 20:14:19 +08:00
minecraft1024a
58bc8e9867 feat(config): 将内容混淆设置移至模型级别 
内容混淆功能的相关配置项（`enable_content_obfuscation` 和 `obfuscation_intensity`）已从 API Provider 级别迁移到单个模型级别。

这一调整提供了更精细的控制能力，允许用户为特定模型独立启用或配置内容混淆，而不是统一应用于同一API下的所有模型。这对于处理来自同一提供商但审查策略不同的模型非常有用。

BREAKING CHANGE: `enable_content_obfuscation` 和 `obfuscation_intensity` 配置项已从 `[[api_providers]]` 部分移除。请将这些配置项迁移到需要此功能的 `[[models]]` 部分下。
 2025-11-14 16:20:37 +08:00
Windpicker-owo
ee44b02f93 feat(client): 优化连接池配置以支持高并发embedding请求 
refactor(request): 移除全局锁，改用信号量控制并发度
 2025-11-09 20:16:47 +08:00
明天好像没什么
c8d7c09625 ruff 2025-11-07 21:01:45 +08:00
SolenmeChiara
06ed1cbae6 chore: 恢复PR改动并适配官方最新版本 
在官方更新到4936a6d后，选择性恢复PR中的功能改动：

Maizone插件修复（6个文件）:
- 优化成功/失败反馈机制（直接反馈，不使用AI生成）
- 实现QQ空间Cookie失效自动重试机制
- 修复评论回复被分割导致标点符号丢失的问题
- 修复QQ空间转发内容提取错误
- 改进maizone图片识别模型配置，支持自动fallback
- 优化maizone说说生成规则

适配器响应处理（bot.py）:
- 添加adapter_response消息处理逻辑
- 适配新的DatabaseMessages架构
- 在message_process早期阶段优先处理adapter_response

Web搜索引擎扩展:
- 添加Serper搜索引擎支持

LLM成本计算修复:
- 修复LLM使用统计中成本计算错误的bug
- 调整LLM相关日志级别为DEBUG

其他优化:
- 优化NapCat adapter响应处理
- 优化person_info关系推理逻辑

注：本次恢复已跳过与官方冲突的部分，保留官方的新架构改进

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-11-04 22:08:58 -05:00
明天好像没什么
0e129d385e refactor: 统一类型注解风格并优化代码结构 
- 将裸 except 改为显式 Exception 捕获
- 用列表推导式替换冗余 for 循环
- 为类属性添加 ClassVar 注解
- 统一 Union/Optional 写法为 |
- 移除未使用的导入
- 修复 SQLAlchemy 空值比较语法
- 优化字符串拼接与字典更新逻辑
- 补充缺失的 noqa 注释与异常链

BREAKING CHANGE: 所有插件基类的类级字段现要求显式 ClassVar 注解，自定义插件需同步更新
 2025-10-31 22:42:39 +08:00
tt-P607
17c0e58a7b fix(llm): 兼容处理部分模型缺失的token用量字段 
部分模型（如 embedding 模型）的 API 响应中可能不包含 `completion_tokens` 等完整的用量字段。

此前的直接属性访问会导致 `AttributeError`，从而中断使用记录和统计更新流程。

通过改用 `getattr(usage, "...", 0)` 的方式为缺失的字段提供默认值 0，增强了代码的健壮性，确保系统能够稳定处理来自不同类型模型的响应。
 2025-10-29 19:19:30 +08:00
tt-P607
10f56a8bc1 chore(log): 调整LLM相关日志级别为DEBUG 
将LLM原始提示词和响应的日志级别从`INFO`调整为`DEBUG`。

此举旨在减少非调试模式下的日志输出，避免过长的模型交互内容刷屏，从而保持日志的整洁性，仅在需要时提供详细的调试信息。
 2025-10-23 20:07:51 +08:00
tt-P607
1f26238368 refactor(chat): overhaul response processing for robustness and integrity 
This commit redesigns the LLM response handling pipeline to gracefully manage complex, long, and structured outputs, shifting from a restrictive filtering model to a more resilient and content-aware approach.

The previous implementation suffered from brittleness, often discarding valid responses or corrupting formatted content. This refactor introduces two core changes to ensure response integrity:

1.  **Adaptive Message Merging:** Replaces the rigid message count and length limits, which caused the silent dropping of valid long-form answers. The new logic dynamically merges the shortest adjacent sentences if a response is overly fragmented, ensuring the full thought is preserved while adhering to display limits.

2.  **Content-Aware Pre-processing:** Implements a protection mechanism for special text formats. It now identifies and isolates Markdown code blocks, LaTeX-style math equations, and other code-like segments using placeholders before splitting or typo generation. This prevents formatting corruption and ensures technical content is rendered correctly.

Additionally, the LLM prompt for splitting has been refined to emphasize logical coherence over simple fragmentation.

Finally, this commit also hardens the `LLMRequest` class against race conditions by adding an `asyncio.Lock` to serialize generation requests, improving the system's stability under concurrent workloads.
 2025-10-17 02:34:39 +08:00
minecraft1024a
f9c02520d0 feat(llm): 在负载均衡中引入延迟作为考量因素 
为了更智能地选择模型，负载均衡算法现在会考虑模型的平均响应延迟。延迟较高的模型将受到惩罚，从而优先选择响应更快的模型。

- 使用 `namedtuple` (`ModelUsageStats`) 替代了原有的元组来存储模型使用统计信息，提高了代码的可读性和可维护性。
- 在模型选择的评分公式中增加了 `avg_latency` 权重，使算法能够动态适应模型的性能变化。
- 更新了 `LLMRequest` 类，以在每次成功请求后计算并更新模型的平均延迟。
 2025-10-07 20:29:09 +08:00
sunbiz1024
8f4f7d19af ruff 2025-10-06 09:38:16 +08:00
Windpicker-owo
28afc09d31 Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-10-06 01:07:08 +08:00
Windpicker-owo
82ba5e2ed8 feat(model): 优化客户端缓存和事件循环检测机制 
- 在 ClientRegistry 中添加事件循环变化检测，自动处理缓存失效
- 为 OpenaiClient 实现全局 AsyncOpenAI 客户端缓存，提升连接池复用效率
- 将 utils_model 中的同步方法改为异步，确保与事件循环兼容
- 移除 embedding 请求的特殊处理，现在所有请求都能享受缓存优势
- 添加缓存统计功能，便于监控和调试
 2025-10-06 01:05:50 +08:00
minecraft1024a
9d705463ce ruff fix但指定了--unsafe-fixes 2025-10-05 21:48:32 +08:00
John Richard
7923eafef3 re-style: 格式化代码 2025-10-02 20:26:01 +08:00
John Richard
ecb02cae31 style: 格式化代码 2025-10-02 19:38:39 +08:00
Windpicker-owo
bce623a58b refactor(storage): 迁移记忆系统架构至现代化Vector DB方案 
重构记忆存储层，采用ChromaDB作为核心向量数据库引擎，提升系统可扩展性和查询性能。通过引入VectorMemoryStorage替代原有的UnifiedMemoryStorage实现，实现了更高效的向量索引和检索机制。

主要变更包括：
- 架构层面：完全重构记忆存储抽象层，移除577行旧存储实现代码
- 配置系统：新增41项Vector DB专用配置参数，支持细粒度性能调优
- 查询优化：增强ChromaDB查询条件处理器，添加智能回退机制
- 系统集成：更新记忆系统初始化流程，适配新的存储接口
- 类型安全：修复异步调用类型不匹配问题

BREAKING CHANGE: 记忆存储API接口发生重大变更，UnifiedMemoryStorage相关类已废弃
 2025-10-02 00:28:55 +08:00
tt-P607
9608a040a6 refactor(llm_models): 将用量记录函数改为异步以支持数据库写入 
将 `LLMUsageRecorder` 中的 `record_usage_to_database` 和 `LLMRequest` 中的 `_record_usage` 方法从同步转换为异步。

此项重构是为了支持异步数据库操作，避免在记录模型用量时阻塞事件循环，从而提升应用的整体性能和响应能力。
 2025-09-26 21:59:38 +08:00
minecraft1024a
50835498f0 refactor(llm_models): 将 LLMRequest 重构为模块化的策略驱动架构 
此次重构旨在分解原有的单体 `LLMRequest` 类，以提高代码的可维护性、可扩展性和健壮性。通过引入多个遵循单一职责原则的内部辅助类，请求生命周期的各个阶段被清晰地分离开来。

主要变更包括：

- **引入 `_ModelSelector`**: 专门负责模型的动态选择、负载均衡和失败惩罚策略。该策略现在能对网络错误和服务器错误等严重问题施加更高的惩罚。

- **引入 `_PromptProcessor`**: 封装所有与提示词相关的处理逻辑，包括内容混淆、反截断指令注入以及响应内容的后处理（如提取思考过程）。

- **引入 `_RequestExecutor`**: 负责执行底层的API请求，包含自动重试、异常分类和消息体压缩等功能。

- **引入 `_RequestStrategy`**: 实现高阶请求策略，如模型间的故障转移（Failover），确保单个模型的失败不会导致整个请求失败。

`LLMRequest` 类现在作为外观（Facade），协调这些内部组件，为上层调用提供了更简洁、稳定的接口。
 2025-09-26 21:17:34 +08:00
minecraft1024a
4cbd86aa96 Revert "refactor(llm): 重构 LLM 请求处理，引入通用故障转移执行器" 
This reverts commit a6f2fb78e1.
 2025-09-24 21:27:39 +08:00
minecraft1024a
1e82d42ea0 Revert "refactor(llm): 精简故障转移执行器的调用逻辑" 
This reverts commit 7dfc005a3e.
 2025-09-24 21:14:39 +08:00
minecraft1024a
aff395b791 Revert "fix(llm): 增强并发执行和异常处理的健壮性" 
This reverts commit 0146eb7e9f.
 2025-09-24 21:14:32 +08:00
minecraft1024a
0146eb7e9f fix(llm): 增强并发执行和异常处理的健壮性 
- 为 `execute_concurrently` 添加协程函数检查，防止传入非异步函数导致运行时错误。
- 统一将日志中的异常对象显式转换为字符串，以获得更清晰的错误输出。
- 移除了针对特定模型供应商的 403 错误降级处理逻辑，该逻辑已过时。
 2025-09-24 21:11:48 +08:00
minecraft1024a
7dfc005a3e refactor(llm): 精简故障转移执行器的调用逻辑 
`_execute_with_failover` 方法在 `raise_on_failure=True` 时，保证了要么返回有效结果，要么抛出异常。

因此，先前在调用该方法后的 `if result:` 判断和 `raise RuntimeError` 语句是冗余且不可达的。本次重构移除了这些不必要的代码，直接返回该方法的调用结果，使代码更加简洁和清晰。
 2025-09-24 21:06:20 +08:00
minecraft1024a
a6f2fb78e1 refactor(llm): 重构 LLM 请求处理，引入通用故障转移执行器 
之前的代码里，处理文本、图片、语音的请求方法都各自为战，写了一大堆重复的故障转移逻辑，简直乱糟糟的，看得我头疼。

为了解决这个问题，我进行了一次大扫除：

- 引入了一个通用的 `_execute_with_failover` 执行器，把所有“模型失败就换下一个”的脏活累活都统一管理起来了。
- 重构了所有相关的请求方法（文本、图片、语音、嵌入），让它们变得更清爽，只专注于自己的核心任务。
- 升级了 `_model_scheduler`，现在它会智能地根据实时负载给模型排队，谁最闲谁先上。那个笨笨的 `_select_model` 就被我光荣地裁掉了。

这次重构之后，代码的可维护性和健壮性都好多了，再加新功能也方便啦。哼哼，快夸我！
 2025-09-24 20:33:10 +08:00
Windpicker-owo
8149731925 修复代码格式和文件名大小写问题 2025-08-31 20:50:17 +08:00
tt-P607
a7b16cae0b refactor(llm_models): 优化反截断机制并迁移配置 
将反截断功能的启用配置从API服务商级别迁移到单个模型级别，提供了更细粒度的控制。

主要变更：
- 在`LLMRequest`中，将硬编码的结束标记`[done]`替换为可配置的`self.end_marker`。
- 反截断检查逻辑从`api_provider`配置改为读取`model_info`中的`use_anti_truncation`布尔值。
- 更新了`model_config_template.toml`，移除了全局的反截断开关，并为每个模型增加了可选的`use_anti_truncation`配置项。
 2025-08-30 19:08:43 +08:00
minecraft1024a
88f7ea4d8b refactor(llm_models): 优化并发请求的返回值处理 
修改了`execute_concurrently`的返回逻辑，将其解包以分别返回`content`和包含`reasoning_content`, `model_name`, `tool_calls`的元组。这使得调用方能更清晰地处理并发请求的结果。
 2025-08-29 20:34:23 +08:00
Furina-1013-create
bbebca832f 解决某人不会改的日志刷屏问题，是谁我不说() 2025-08-29 12:09:27 +08:00
minecraft1024a
eb1feeeb0b refactor(cache): 重构工具缓存机制并优化LLM请求重试逻辑 
将工具缓存的实现从`ToolExecutor`的装饰器模式重构为直接集成。缓存逻辑被移出`cache_manager.py`并整合进`ToolExecutor.execute_tool_call`方法中，简化了代码结构并使其更易于维护。

主要变更：
- 从`cache_manager.py`中移除了`wrap_tool_executor`函数。
- 在`tool_use.py`中，`execute_tool_call`现在包含完整的缓存检查和设置逻辑。
- 调整了`llm_models/utils_model.py`中的LLM请求逻辑，为模型生成的空回复或截断响应增加了内部重试机制，增强了稳定性。
- 清理了项目中未使用的导入和过时的文档文件，以保持代码库的整洁。
 2025-08-28 20:10:32 +08:00
minecraft1024a
1b86fff855 feat(llm):为LLM请求实现模型故障转移机制 
重构了LLM请求执行逻辑，以引入一个健壮的模型故障转移和回退系统。这通过在当前模型失败时自动切换到下一个可用模型，增强了服务的可靠性。

- 引入 `_model_scheduler` 以按顺序迭代任务配置的模型列表。
- 当模型请求因API错误、认证问题或超时等原因失败时，系统现在会自动使用列表中的下一个模型重试该请求。
- 移除了先前针对空回复或截断响应的内部重试逻辑。这类响应现在被视为特定模型尝试的最终失败，不会触发故障转移。
 2025-08-28 19:56:59 +08:00
Windpicker-owo
bbbb9df112 修复空回复检测，同时修复tool_call 2025-08-27 17:39:28 +08:00
minecraft1024a
51cb1688f8 chore(llm_models): 在 LLMRequest 初始化中定义 model_name 变量,來修复某些神秘的bug 2025-08-26 21:54:20 +08:00
minecraft1024a
c63de5ddd5 refactor(config): 将反截断设置移至模型配置 #真的能算refactor吗 
反截断（anti-truncation）功能与特定模型的行为和能力更为相关，而不是任务本身的属性。

此更改将该设置从 `TaskConfig` 移动到 `ModelInfo`，以实现更合理的配置分组和更精细的控制。代码逻辑和配置文件模板也已相应更新。

BREAKING CHANGE: `anti_truncation` 配置项已从 `[model_task_config]` 部分移动到 `[[models]]` 下的具体模型配置中。用户需要更新其配置文件以适配新结构。
 2025-08-26 20:45:04 +08:00
tt-P607
45ccab6033 fix(llm_models): 修复模型信息不存在时引发的属性错误 
在处理模型信息 `model_info` 为 `None` 的情况下，直接访问 `model_info.name` 会导致 `AttributeError`。

此提交通过以下方式修复了该问题：
- 在 `_select_model` 调用后立即将 `model_info.name` 赋值给 `model_name` 变量，确保后续使用时该变量已定义。
- 在 `_handle_error` 方法中，当 `model_info` 可能为 `None` 时，增加了一个条件检查，如果 `model_info` 不存在，则将 `model_name` 设为 "unknown"，从而避免了潜在的 `AttributeError`。
 2025-08-26 12:01:39 +08:00
tt-P607
21aec70e92 我或许修好了反截断？但我无法验证，用gemini 2.5 pro生成日程截断太严重了，连完整的二十四小时都无法输出，gemini 2.5 Flash截断好很多，我试了5次生成的都是完整的，可能修好了？但有待验证，建议在待办上打个问号 2025-08-25 01:55:18 +08:00
雅诺狐
9c8fb929e1 Merge branch 'master' of https://github.com/MaiBot-Plus/MaiMbot-Pro-Max 2025-08-21 21:31:47 +08:00
雅诺狐
618561096d feat: 模型请求降级 2025-08-21 21:31:42 +08:00
minecraft1024a
3c891f08e5 feat(config): 新增反截断功能防止模型输出截断 
在任务配置中增加 anti_truncation 开关，支持在生成大段文本时防止被意外截断。启用后会在 prompt 中添加指示模型输出完成信令的指令，并在检测到未正常结束时触发自动重试机制。（我相信这次的一定不会炸飞你们了）
 2025-08-21 20:29:37 +08:00
minecraft1024a
3bef6f4bab fix(embedding): 彻底解决事件循环冲突导致的嵌入生成异常 
通过以下改动修复嵌入生成过程中的事件循环相关问题：
- 在 EmbeddingStore._get_embedding 中，改为同步创建-使用-销毁的新事件循环模式，彻底避免嵌套事件循环问题
- 调整批量嵌入 _get_embeddings_batch_threaded，确保每个线程使用独立、短生命周期的事件循环
- 新增 force_new 参数，LLM 请求嵌入任务时强制创建新的客户端实例，减少跨循环对象复用
- 在 OpenAI 客户端的 embedding 调用处补充详细日志，方便排查网络连接异常
- get_embedding() 每次都重建 LLMRequest，降低实例在多个事件循环中穿梭的概率

此次改动虽然以同步风格“硬掰”异步接口，但对现有接口零破坏，确保了向量数据库及相关知识检索功能的稳定性。(还有就是把的脚本文件夹移回来了)
 2025-08-19 20:41:00 +08:00
minecraft1024a
95bbcaff18 refactor(llm_models): 重构并发请求逻辑以提高代码复用性 
将并发请求的通用逻辑提取到一个新的 `execute_concurrently` 辅助函数中。此举简化了 `LLMRequest.get_response` 方法，使其更易于阅读和维护。

现在，`get_response` 方法调用 `execute_concurrently` 来处理并发执行，而不是在方法内部直接管理任务创建和结果收集。同时，改进了单个请求失败时的异常处理和重试逻辑，使其在并发和非并发模式下都更加健壮。

Co-authored-by: 雅诺狐 <foxcyber907@users.noreply.github.com>
 2025-08-17 12:12:12 +08:00
雅诺狐
7dfaf54c9c llm统计记录模型反应时间 2025-08-16 14:26:18 +08:00
minecraft1024a
54565a405c 添加并发请求支持，更新LLMRequest类以允许根据配置的并发数量进行异步请求 2025-08-16 13:39:49 +08:00
minecraft1024a
602653c8c0 优化API调用超时提示信息，增加空回复重试逻辑(应该能用) 2025-08-13 17:56:32 +08:00
minecraft1024a
c0720a72cb 优化图片格式处理，统一将'jpg'格式转换为'jpeg'，新增标准化和MIME类型转换功能，以确保API兼容性和提高代码可读性(最主要的还是为了gemini) 2025-08-13 13:20:15 +08:00
minecraft1024a
417f5647b5 feat:新增内容混淆功能：在API配置中添加混淆选项及强度设置；更新LLM请求处理逻辑以支持内容混淆，包含随机乱码注入和过滤规则指令(最主要的是防**google的审查) 2025-08-12 14:31:59 +08:00