gardel/Mofox-Core
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,991 Commits 1 Branch 0 Tags
7a2c08c18e1339a3daeb5082587698f566b24e47
Commit Graph

103 Commits

Author SHA1 Message Date
minecraft1024a
6f62073630 chore: perform widespread code cleanup and formatting 
Perform a comprehensive code cleanup across multiple modules to improve code quality, consistency, and maintainability.

Key changes include:
- Removing numerous unused imports.
- Standardizing import order.
- Eliminating trailing whitespace and inconsistent newlines.
- Updating legacy type hints to modern syntax (e.g., `List` -> `list`).
- Making minor improvements for code robustness and style.
 2025-11-15 17:12:46 +08:00
minecraft1024a
5167b990d5 refactor(prompt): 将注意力优化与内容混淆统一为扰动流程 
将原有的 `_AttentionOptimizer` 类重构并入 `_PromptProcessor` 类，以集中管理所有与提示词相关的预处理逻辑。

本次重构的主要变更包括：
- 引入 "提示词扰动" (Prompt Perturbation) 的统一概念，取代了之前分散的 "注意力优化" 和 "内容混淆" 术语。
- 创建新的核心方法 `_apply_prompt_perturbation`，它将语义变体、空白噪声和随机字符串注入整合为一个有序的处理流水线。
- 简化了 `prepare_prompt` 中的调用逻辑，使其更清晰、更易于维护。

此次重构显著提高了代码的可读性和模块化程度，使未来的扩展和调整更加方便。
 2025-11-15 13:08:46 +08:00
minecraft1024a
f980a6f9f4 refactor(prompt): 将注意力和内容混淆统一为提示词扰动 
本次提交重构了提示词修改逻辑，将之前独立的“注意力优化”和“内容混淆”功能合并为一个统一的概念：“提示词扰动”(Prompt Perturbation)。

主要变更包括：
- 在模型配置中引入新的统一选项：`enable_prompt_perturbation`, `perturbation_strength` 和 `enable_semantic_variants`。
- 将原 `AttentionOptimizer` 中的噪声注入和语义变体逻辑迁移到 `llm_models` 模块中，作为扰动策略的一部分。
- 简化 `attention_optimizer.py`，使其专注于提示词块重排 (`BlockShuffler`)。
- 更新 `_PromptProcessor` 以根据新的统一配置来协调不同的扰动技术。

此项更改为用户简化了配置，并通过集中化相关逻辑，提供了一个更清晰、更易于维护的实现。

BREAKING CHANGE: 内容混淆的相关配置已被替换。`enable_content_obfuscation` 和 `obfuscation_intensity` 配置项已移除。用户需更新配置以使用新的 `enable_prompt_perturbation` 和 `perturbation_strength`。
 2025-11-14 20:14:19 +08:00
minecraft1024a
58bc8e9867 feat(config): 将内容混淆设置移至模型级别 
内容混淆功能的相关配置项（`enable_content_obfuscation` 和 `obfuscation_intensity`）已从 API Provider 级别迁移到单个模型级别。

这一调整提供了更精细的控制能力，允许用户为特定模型独立启用或配置内容混淆，而不是统一应用于同一API下的所有模型。这对于处理来自同一提供商但审查策略不同的模型非常有用。

BREAKING CHANGE: `enable_content_obfuscation` 和 `obfuscation_intensity` 配置项已从 `[[api_providers]]` 部分移除。请将这些配置项迁移到需要此功能的 `[[models]]` 部分下。
 2025-11-14 16:20:37 +08:00
minecraft1024a
0e1e9935b2 style: 统一代码风格并采用现代化类型注解 
对整个代码库进行了一次全面的代码风格清理和现代化改造，主要包括：

- 移除了所有文件中多余的行尾空格。
- 将类型提示更新为 PEP 585 和 PEP 604 引入的现代语法（例如，使用 `list` 代替 `List`，使用 `|` 代替 `Optional`）。
- 清理了多个模块中未被使用的导入语句。
- 移除了不含插值变量的冗余 f-string。
- 调整了部分 `__init__.py` 文件中的 `__all__` 导出顺序，以保持一致性。

这些改动旨在提升代码的可读性和可维护性，使其与现代 Python 最佳实践保持一致，但未修改任何核心逻辑。
 2025-11-12 12:49:40 +08:00
Windpicker-owo
ee44b02f93 feat(client): 优化连接池配置以支持高并发embedding请求 
refactor(request): 移除全局锁，改用信号量控制并发度
 2025-11-09 20:16:47 +08:00
明天好像没什么
c8d7c09625 ruff 2025-11-07 21:01:45 +08:00
拾风
1ab042813d Merge branch 'dev' into dev 2025-11-07 13:14:27 +08:00
tt-P607
3a86be4ffe fix(llm): correct boolean parameter type to 'boolean' 
The enum value for `ToolParamType.BOOLEAN` is updated from 'bool' to 'boolean'. This change aligns the type definition with the standard JSON Schema specification, which is used by most LLM tool-calling APIs. This ensures correct validation and functionality for tools with boolean parameters.

BREAKING CHANGE: The value of `ToolParamType.BOOLEAN` has been changed from 'bool' to 'boolean'. Any part of the system that generates or consumes tool definitions must be updated to use the new value.
 2025-11-06 17:44:37 +08:00
SolenmeChiara
06ed1cbae6 chore: 恢复PR改动并适配官方最新版本 
在官方更新到4936a6d后，选择性恢复PR中的功能改动：

Maizone插件修复（6个文件）:
- 优化成功/失败反馈机制（直接反馈，不使用AI生成）
- 实现QQ空间Cookie失效自动重试机制
- 修复评论回复被分割导致标点符号丢失的问题
- 修复QQ空间转发内容提取错误
- 改进maizone图片识别模型配置，支持自动fallback
- 优化maizone说说生成规则

适配器响应处理（bot.py）:
- 添加adapter_response消息处理逻辑
- 适配新的DatabaseMessages架构
- 在message_process早期阶段优先处理adapter_response

Web搜索引擎扩展:
- 添加Serper搜索引擎支持

LLM成本计算修复:
- 修复LLM使用统计中成本计算错误的bug
- 调整LLM相关日志级别为DEBUG

其他优化:
- 优化NapCat adapter响应处理
- 优化person_info关系推理逻辑

注：本次恢复已跳过与官方冲突的部分，保留官方的新架构改进

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-11-04 22:08:58 -05:00
明天好像没什么
cb97b2d8d3 rufffffff 2025-11-01 21:10:01 +08:00
minecraft1024a
724fdd6827 Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-11-01 19:31:39 +08:00
minecraft1024a
5f384da489 refactor(chat): 简化日程状态提示逻辑 
删除了在日程活动时间范围之外的冗余状态判断。现在，无论当前时间是否在活动时间段内，都会统一计算并展示活动的开始、结束、已进行和剩余时间，简化了代码逻辑并确保了信息展示的一致性。反正LLM自己会判断的，不需要咱操心那么多啦。
 2025-11-01 19:31:34 +08:00
Windpicker-owo
ce1c3288fd fix: 修复数据库导入错误 
- 修复12处从错误位置导入get_db_session/get_engine的问题
- 函数应从core导入，模型应从core.models导入
- 修复bot.py使用check_and_migrate_database代替不存在的initialize_database

影响文件：
- bot.py: 使用正确的初始化函数
- schedule_manager.py: 修复get_db_session导入
- relationship_service.py: 修复get_db_session导入
- schedule_api.py: 修复get_db_session导入
- utils.py (llm_models): 修复get_db_session导入
- utils_image.py: 修复get_db_session导入
- utils_video.py: 修复get_db_session导入
- user_ban.py: 修复get_db_session导入
- statistics.py: 修复get_db_session导入
- storage.py: 修复get_db_session导入
- anti_injector.py: 修复2处get_db_session导入
- permission_manager.py: 修复get_engine导入
 2025-11-01 14:44:13 +08:00
Windpicker-owo
a1dc03cacc refactor: 完成数据库重构 - 批量更新导入路径 
- 更新35个文件的导入路径 (共65处修改)
- sqlalchemy_models  core.models (模型类)
- sqlalchemy_database_api  compatibility (兼容函数)
- database.database  core (初始化/关闭函数)
- 添加自动化导入更新工具 (scripts/update_database_imports.py)
- 所有兼容性层测试通过 (26/26)
- 数据库核心功能测试通过 (18/21)
 2025-11-01 14:22:54 +08:00
minecraft1024a
b8e790a764 ruff 2025-11-01 10:59:38 +08:00
Windpicker-owo
49f376dc1c refactor(client): 优化OpenaiClient的全局缓存，支持事件循环检测 2025-11-01 00:23:25 +08:00
明天好像没什么
0e129d385e refactor: 统一类型注解风格并优化代码结构 
- 将裸 except 改为显式 Exception 捕获
- 用列表推导式替换冗余 for 循环
- 为类属性添加 ClassVar 注解
- 统一 Union/Optional 写法为 |
- 移除未使用的导入
- 修复 SQLAlchemy 空值比较语法
- 优化字符串拼接与字典更新逻辑
- 补充缺失的 noqa 注释与异常链

BREAKING CHANGE: 所有插件基类的类级字段现要求显式 ClassVar 注解，自定义插件需同步更新
 2025-10-31 22:42:39 +08:00
tt-P607
bb1c3103c3 refactor(llm_models): 使浮点数工具参数的类型定义符合主流标准 
为了与主流大语言模型（LLM）的工具调用规范保持一致，对工具参数的类型定义进行了标准化。多数LLM API遵循或类似于JSON Schema标准，其中使用'number'来表示所有数值类型（包括整数和浮点数）。

此次变更将 `ToolParamType.FLOAT` 枚举的底层值从 'float' 更新为 'number'，确保了我们生成的工具定义能够被外部API正确解析。

BREAKING CHANGE: `ToolParamType.FLOAT` 枚举的字符串值已由 'float' 更改为 'number'。任何依赖此旧值的代码都需要进行相应调整。
 2025-10-31 01:10:15 +08:00
tt-P607
17c0e58a7b fix(llm): 兼容处理部分模型缺失的token用量字段 
部分模型（如 embedding 模型）的 API 响应中可能不包含 `completion_tokens` 等完整的用量字段。

此前的直接属性访问会导致 `AttributeError`，从而中断使用记录和统计更新流程。

通过改用 `getattr(usage, "...", 0)` 的方式为缺失的字段提供默认值 0，增强了代码的健壮性，确保系统能够稳定处理来自不同类型模型的响应。
 2025-10-29 19:19:30 +08:00
tt-P607
e36474e2a2 fix(llm_models): 修复字节流图片处理并调整默认压缩大小 
Pillow 的 `Image.open()` 函数现在通过 `io.BytesIO` 正确处理字节流数据，解决了直接传递字节时可能引发的错误。

同时，默认的图片压缩目标大小已从 1MB 提高到 2MB，以便在视觉模型中保留更多图片细节，提升体验。
 2025-10-27 12:20:31 +08:00
明天好像没什么
91021275c7 revert(mcp): 移除MCP SSE客户端支持 2025-10-25 16:11:22 +08:00
tt-P607
10f56a8bc1 chore(log): 调整LLM相关日志级别为DEBUG 
将LLM原始提示词和响应的日志级别从`INFO`调整为`DEBUG`。

此举旨在减少非调试模式下的日志输出，避免过长的模型交互内容刷屏，从而保持日志的整洁性，仅在需要时提供详细的调试信息。
 2025-10-23 20:07:51 +08:00
tt-P607
1f26238368 refactor(chat): overhaul response processing for robustness and integrity 
This commit redesigns the LLM response handling pipeline to gracefully manage complex, long, and structured outputs, shifting from a restrictive filtering model to a more resilient and content-aware approach.

The previous implementation suffered from brittleness, often discarding valid responses or corrupting formatted content. This refactor introduces two core changes to ensure response integrity:

1.  **Adaptive Message Merging:** Replaces the rigid message count and length limits, which caused the silent dropping of valid long-form answers. The new logic dynamically merges the shortest adjacent sentences if a response is overly fragmented, ensuring the full thought is preserved while adhering to display limits.

2.  **Content-Aware Pre-processing:** Implements a protection mechanism for special text formats. It now identifies and isolates Markdown code blocks, LaTeX-style math equations, and other code-like segments using placeholders before splitting or typo generation. This prevents formatting corruption and ensures technical content is rendered correctly.

Additionally, the LLM prompt for splitting has been refined to emphasize logical coherence over simple fragmentation.

Finally, this commit also hardens the `LLMRequest` class against race conditions by adding an `asyncio.Lock` to serialize generation requests, improving the system's stability under concurrent workloads.
 2025-10-17 02:34:39 +08:00
minecraft1024a
989956ed57 feat(gemini): 为 aiohttp 客户端请求增加重试逻辑 
在 `AiohttpGeminiClient` 的 `_request` 方法中引入了重试机制，以增强网络请求的健壮性。

- 对 `aiohttp.ClientError` 类型的网络连接错误，实现最多3次的重试逻辑。
- 对于 HTTP 状态码错误（如 4xx, 5xx），则立即失败，不进行重试。
- 更新了 `User-Agent` 以模拟浏览器，减少被屏蔽的风险。
- 相应地更新了文档字符串，以反映新的重试行为和异常处理。
 2025-10-11 19:37:38 +08:00
minecraft1024a
9c4bce8d8f docs(gemini): 为 aiohttp_gemini_client 添加详细的文档字符串 
为 `AiohttpGeminiClient` 类及其辅助函数、方法和解析器类全面添加了中文文档字符串（docstrings）。

这提高了代码的可读性和可维护性，详细解释了每个组件的功能、参数和返回值，使其他开发者更容易理解和使用该模块。
 2025-10-11 19:27:35 +08:00
minecraft1024a
f9c02520d0 feat(llm): 在负载均衡中引入延迟作为考量因素 
为了更智能地选择模型，负载均衡算法现在会考虑模型的平均响应延迟。延迟较高的模型将受到惩罚，从而优先选择响应更快的模型。

- 使用 `namedtuple` (`ModelUsageStats`) 替代了原有的元组来存储模型使用统计信息，提高了代码的可读性和可维护性。
- 在模型选择的评分公式中增加了 `avg_latency` 权重，使算法能够动态适应模型的性能变化。
- 更新了 `LLMRequest` 类，以在每次成功请求后计算并更新模型的平均延迟。
 2025-10-07 20:29:09 +08:00
sunbiz1024
8f4f7d19af ruff 2025-10-06 09:38:16 +08:00
Windpicker-owo
28afc09d31 Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-10-06 01:07:08 +08:00
Windpicker-owo
82ba5e2ed8 feat(model): 优化客户端缓存和事件循环检测机制 
- 在 ClientRegistry 中添加事件循环变化检测，自动处理缓存失效
- 为 OpenaiClient 实现全局 AsyncOpenAI 客户端缓存，提升连接池复用效率
- 将 utils_model 中的同步方法改为异步，确保与事件循环兼容
- 移除 embedding 请求的特殊处理，现在所有请求都能享受缓存优势
- 添加缓存统计功能，便于监控和调试
 2025-10-06 01:05:50 +08:00
minecraft1024a
9d705463ce ruff fix但指定了--unsafe-fixes 2025-10-05 21:48:32 +08:00
minecraft1024a
7a7f737f71 ruff: 清理代码并规范导入顺序 
对整个代码库进行了大规模的清理和重构，主要包括：
- 统一并修复了多个文件中的 `import` 语句顺序，使其符合 PEP 8 规范。
- 移除了大量未使用的导入和变量，减少了代码冗余。
- 修复了多处代码风格问题，例如多余的空行、不一致的引号使用等。
- 简化了异常处理逻辑，移除了不必要的 `noqa` 注释。
- 在多个文件中使用了更现代的类型注解语法（例如 `list[str]` 替代 `List[str]`）。
 2025-10-05 20:38:56 +08:00
subiz
3b7034f63e 我没测试，炸了就让一闪修，实在不行就revert（） 
feat(deps): 集成 MCP SSE 支持

引入 mcp>=0.9.0 与 sse-starlette>=2.2.1，完成 MCP SSE 协议客户端接入，
并在模块初始化中按需加载对应客户端。标记 TODO 清单中相关功能为已实现。
 2025-10-05 17:42:26 +08:00
minecraft1024a
fa3b0464df Merge branch 'dev' of https://github.com/MoFox-Studio/MoFox_Bot into dev 2025-10-02 21:58:10 +08:00
minecraft1024a
15fdb67ef7 fix(LLM_Client):修复了API 密钥的动态轮询机制 2025-10-02 21:24:30 +08:00
John Richard
7923eafef3 re-style: 格式化代码 2025-10-02 20:26:01 +08:00
John Richard
ecb02cae31 style: 格式化代码 2025-10-02 19:38:39 +08:00
Windpicker-owo
bce623a58b refactor(storage): 迁移记忆系统架构至现代化Vector DB方案 
重构记忆存储层，采用ChromaDB作为核心向量数据库引擎，提升系统可扩展性和查询性能。通过引入VectorMemoryStorage替代原有的UnifiedMemoryStorage实现，实现了更高效的向量索引和检索机制。

主要变更包括：
- 架构层面：完全重构记忆存储抽象层，移除577行旧存储实现代码
- 配置系统：新增41项Vector DB专用配置参数，支持细粒度性能调优
- 查询优化：增强ChromaDB查询条件处理器，添加智能回退机制
- 系统集成：更新记忆系统初始化流程，适配新的存储接口
- 类型安全：修复异步调用类型不匹配问题

BREAKING CHANGE: 记忆存储API接口发生重大变更，UnifiedMemoryStorage相关类已废弃
 2025-10-02 00:28:55 +08:00
Windpicker-owo
08ef960947 refactor(database): 将同步数据库操作迁移为异步操作 
将整个项目的数据库操作从同步模式迁移为异步模式，主要涉及以下修改：

- 将 `with get_db_session()` 改为 `async with get_db_session()`
- 将同步的 SQLAlchemy 查询方法改为异步执行
- 更新相关的方法签名，添加 async/await 关键字
- 修复由于异步化导致的并发问题和性能问题

这些修改提高了数据库操作的并发性能，避免了阻塞主线程，提升了系统的整体响应能力。涉及修改的模块包括表情包管理、反提示注入统计、用户封禁管理、记忆系统、消息存储等多个核心组件。

BREAKING CHANGE: 所有涉及数据库操作的方法现在都需要使用异步调用，同步调用将不再工作
 2025-09-28 15:42:30 +08:00
Windpicker-owo
ff24bd8148 Merge afc branch into dev, prioritizing afc changes and migrating database async modifications from dev 2025-09-27 23:37:40 +08:00
tt-P607
9608a040a6 refactor(llm_models): 将用量记录函数改为异步以支持数据库写入 
将 `LLMUsageRecorder` 中的 `record_usage_to_database` 和 `LLMRequest` 中的 `_record_usage` 方法从同步转换为异步。

此项重构是为了支持异步数据库操作，避免在记录模型用量时阻塞事件循环，从而提升应用的整体性能和响应能力。
 2025-09-26 21:59:38 +08:00
minecraft1024a
50835498f0 refactor(llm_models): 将 LLMRequest 重构为模块化的策略驱动架构 
此次重构旨在分解原有的单体 `LLMRequest` 类，以提高代码的可维护性、可扩展性和健壮性。通过引入多个遵循单一职责原则的内部辅助类，请求生命周期的各个阶段被清晰地分离开来。

主要变更包括：

- **引入 `_ModelSelector`**: 专门负责模型的动态选择、负载均衡和失败惩罚策略。该策略现在能对网络错误和服务器错误等严重问题施加更高的惩罚。

- **引入 `_PromptProcessor`**: 封装所有与提示词相关的处理逻辑，包括内容混淆、反截断指令注入以及响应内容的后处理（如提取思考过程）。

- **引入 `_RequestExecutor`**: 负责执行底层的API请求，包含自动重试、异常分类和消息体压缩等功能。

- **引入 `_RequestStrategy`**: 实现高阶请求策略，如模型间的故障转移（Failover），确保单个模型的失败不会导致整个请求失败。

`LLMRequest` 类现在作为外观（Facade），协调这些内部组件，为上层调用提供了更简洁、稳定的接口。
 2025-09-26 21:17:34 +08:00
minecraft1024a
9eb940ca96 docs(llm): 为 utils_model 模块补充详细文档和注释 
为 `utils_model.py` 中的关键类和方法添加了全面的文档字符串和内联注释，以提升代码的可读性和可维护性。

主要变更包括：
- 为 `_ModelSelector`, `_PromptProcessor`, `_RequestExecutor`, 和 `LLMRequest` 类中的核心方法扩充了详细的文档，解释其功能、参数和返回值。
- 在复杂的逻辑块（如重试机制、错误处理、内容混淆）中增加了内联注释，以阐明其实现细节。
- 移除了文件中旧的、多余的作者信息头。
 2025-09-26 21:04:37 +08:00
minecraft1024a
439bbc8163 docs(llm): 为 LLM 工具模块添加全面的文档和注释 
为 `utils_model.py` 模块及其核心类（`_ModelSelector`、`_PromptProcessor`、`_RequestExecutor`）添加了详细的文档字符串。

同时，增加了大量的行内注释，以阐明复杂的逻辑，例如：
- 模型选择的负载均衡算法
- 针对不同错误的失败惩罚计算
- 对嵌入任务的特殊客户端处理

此举旨在提高 LLM 交互核心逻辑的可读性和可维护性。
 2025-09-26 20:55:11 +08:00
minecraft1024a
15d82e602e fix(llm): 防止 get_response 调用中 message_list 参数重复 
当 `kwargs` 中已包含 `message_list` 时，直接将其与 `message_list=current_messages` 一同传递给 `get_response` 方法会导致 `TypeError`。

此更改通过在传递参数前从 `kwargs` 的副本中移除 `message_list` 键，确保该参数不会被重复传递，从而解决了这个问题。
 2025-09-26 20:41:04 +08:00
minecraft1024a
a4945d1ca2 refactor(llm): 将LLM请求逻辑解耦到专用组件中 
将庞大的 `LLMRequest` 类重构，将其核心职责分解到四个独立的、遵循单一职责原则的辅助类中，以提高代码的模块化、可读性和可维护性。

- `_ModelSelector`: 专门负责模型选择、负载均衡和基于失败历史的动态惩罚策略。
- `_PromptProcessor`: 封装所有与提示词和响应内容的预处理及后处理逻辑，包括内容混淆、反截断信令处理和思维链提取。
- `_RequestExecutor`: 负责执行底层的API请求，并处理网络层面的重试逻辑。
- `_RequestStrategy`: 实现高级请求策略，如在多个模型间的故障转移（failover）和空回复/截断的内部重试。

`LLMRequest` 类现在作为外观（Facade），协调这些新组件来完成请求，使得整体架构更加清晰和易于扩展。
 2025-09-26 20:38:04 +08:00
minecraft1024a
3207b778c3 refactor(llm): 解决合并冲突并移除请求逻辑重构 
最近为解耦LLM请求逻辑而进行的重构引入了严重的合并冲突。

此提交通过移除引入的 `RequestExecutor` 和 `RequestStrategy` 等新组件，并恢复到之前的代码结构，从而解决了这些冲突。这有助于稳定开发分支并为后续重新审视重构方案做准备。
 2025-09-26 20:26:19 +08:00
minecraft1024a
f12cade772 refactor: 移除未使用的导入和冗余代码 2025-09-26 20:24:56 +08:00
minecraft1024a
9c1a7ff123 ruff 2025-09-26 20:16:46 +08:00
minecraft1024a
375a51e01f fix(llm): 修复 <think> 标签解析后可能残留空白的问题 
之前的 <think> 标签解析逻辑在移除标签内容后，没有处理紧随其后的空白字符，这可能导致清理后的内容开头有多余的空格或换行符。

本次更新使用更精确的正则表达式 `<think>(.*?)</think>\s*`，可以在一次操作中同时移除 <think> 标签块和其后的所有空白字符，确保返回的内容格式正确，提高了处理的鲁棒性。
 2025-09-26 19:50:06 +08:00