gardel/Mofox-Core
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,543 Commits 1 Branch 0 Tags
4aa19cb1efffb267bb5df2a3f3abee7e23d3071d
Commit Graph

155 Commits

Author SHA1 Message Date
Windpicker-owo
763bf07de6 refactor(napcat-adapter): remove test handler and restructure plugin initialization 
移除APITestHandler测试类，将插件初始化逻辑重构为独立的事件注册方法，更新日志配置以支持napcat适配器模块。这些更改清理了测试代码并改进了插件架构的清晰度。
 2025-08-31 23:15:31 +08:00
Windpicker-owo
30e66d5938 Merge branch 'master' of https://github.com/MoFox-Studio/MoFox_Bot 2025-08-31 20:56:35 +08:00
Windpicker-owo
8149731925 修复代码格式和文件名大小写问题 2025-08-31 20:50:17 +08:00
minecraft1024a
d19f211461 refactor(context): 将能量值和睡眠压力状态持久化到数据库 
将HFC上下文中的能量值（energy_value）和睡眠压力（sleep_pressure）的状态管理从本地文件存储（local_storage）迁移到主数据库。

这一重构的主要改动包括：
- 在`ChatStreams`数据库模型中添加`energy_value`和`sleep_pressure`字段。
- 更新`ChatStream`类，使其能够加载和保存这两个新字段。
- 移除`HfcContext`中原有的基于`local_storage`的加载和保存逻辑，改为直接通过`ChatStream`实例进行状态读写。
- 在`EnergyManager`中，每当能量或睡眠压力发生变化时，调用`save_context_state()`方法，确保状态能够实时持久化。

此举统一了应用的状态管理方式，提高了数据的可靠性和一致性，并为后续在多实例或分布式环境下部署应用奠定了基础。
 2025-08-31 13:32:05 +08:00
minecraft1024a
e2a2d102e0 refactor(schedule): 优化月度计划与日程的生成逻辑 
将月度计划和每日日程的生成流程从异步非阻塞任务改为同步阻塞模式。这确保了在需要计划数据时，生成过程会先完成，从而避免了因数据未及时生成而导致的潜在问题。

主要变更：
- `ScheduleManager`: 在加载日程失败或数据不存在时，直接调用并等待日程生成，而不是创建一个后台任务。
- `ScheduleManager`: 当日程生成过程中发现月度计划不足时，会直接调用并等待月度计划生成完成，然后再继续。
- `MonthlyPlanManager`: 简化了生成逻辑，移除了原有的非阻塞触发方法 `trigger_generate_monthly_plans`，统一为同步执行的 `generate_monthly_plans`。
- `monthly_plan_db`: 在查询月度计划时增加了按创建时间降序排序，以支持更可靠地删除多余计划。
- `main.py`: 移除了对已不存在的 `ImportError` 的处理。
 2025-08-31 13:06:06 +08:00
minecraft1024a
ec82f2b4e7 refactor(db): 优化ChromaDB查询参数处理 
将查询参数动态构建，仅在`where`条件存在时才将其添加到查询中。此举增强了代码的健壮性和灵活性，避免了传入空的`where`字典可能引发的潜在问题。
 2025-08-30 11:26:21 +08:00
minecraft1024a
eb1feeeb0b refactor(cache): 重构工具缓存机制并优化LLM请求重试逻辑 
将工具缓存的实现从`ToolExecutor`的装饰器模式重构为直接集成。缓存逻辑被移出`cache_manager.py`并整合进`ToolExecutor.execute_tool_call`方法中，简化了代码结构并使其更易于维护。

主要变更：
- 从`cache_manager.py`中移除了`wrap_tool_executor`函数。
- 在`tool_use.py`中，`execute_tool_call`现在包含完整的缓存检查和设置逻辑。
- 调整了`llm_models/utils_model.py`中的LLM请求逻辑，为模型生成的空回复或截断响应增加了内部重试机制，增强了稳定性。
- 清理了项目中未使用的导入和过时的文档文件，以保持代码库的整洁。
 2025-08-28 20:10:32 +08:00
minecraft1024a
7ba3b7f34d refactor(core): remove tool history manager and integrate cache into tool executor 
Removes the `ToolHistoryManager` and its associated functionalities, including history recording, querying, and prompt generation. This simplifies the architecture by decoupling tool execution history from the core logic.

The tool caching mechanism is now directly integrated into the `ToolExecutor` by wrapping the `execute_tool_call` method. This ensures that caching is applied consistently for all tool executions that have it enabled, improving performance and reducing redundant calls.

- Deletes `src/common/tool_history.py`.
- Removes tool history related functions from `prompt_builder.py` and `tool_api.py`.
- Adds a `wrap_tool_executor` function in `cache_manager.py` to apply caching logic directly to the `ToolExecutor`.
 2025-08-28 18:42:17 +08:00
tt-P607
29e18c2db7 feat(monthly_plan): 增加月度计划数量上限并自动清理 
style: 优化月度计划相关日志输出

- 在数据库模块中新增物理删除月度计划的函数 `delete_plans_by_ids`
- 在月度计划管理器中引入 `max_plans_per_month` 配置，用于限制每月计划数量
- 当检测到计划数量超出上限时，自动按创建时间删除最旧的计划以维持数量限制
- 优化了标记计划完成和删除计划时的日志记录，使其输出更详细的计划内容
- 调整了检查现有计划时的日志信息，使其更清晰
 2025-08-27 23:13:55 +08:00
minecraft1024a
8a8d2ed574 refactor(memory): 重构向量记忆清理逻辑以提高稳定性 
原有的清理逻辑直接使用 delete 和 where 条件（timestamp: {"$lt": ...}）来删除过期记录。然而，ChromaDB 对元数据中复杂的查询操作符（如 $lt）的支持并不可靠。

为确保过期记录能被稳定地清除，本次提交将清理策略修改为更稳健的“获取-过滤-删除”模式：

1.  为向量数据库抽象层新增 `get` 方法，并为 ChromaDB 提供具体实现。
2.  在 `VectorInstantMemoryV2` 中，先获取指定聊天的所有记录。
3.  在应用代码中根据时间戳筛选出过期的记录ID。
4.  最后根据ID列表精确删除过期记录，确保了清理操作的准确性。
 2025-08-27 21:40:03 +08:00
minecraft1024a
eb469240d4 feat(expression): 重构表达学习配置，引入基于规则的结构化定义 
本次更新旨在提高表达学习配置的可读性和灵活性。旧的基于列表的 `expression_learning` 和 `expression_groups` 配置方式难以理解且容易出错。

通过引入新的 `ExpressionRule` Pydantic模型，我们将所有相关设置（如聊天流ID、是否学习、学习强度、共享组等）整合到一个统一的、自描述的结构中。现在，所有规则都在一个新的 `[[expression.rules]]` 表中进行配置，使得逻辑更加清晰和易于维护。

相关模块，如 `ExpressionSelector`，已更新以适配新的配置结构。同时，数据库中的 `Expression` 模型也已更新为现代的 SQLAlchemy 2.0 风格。

BREAKING CHANGE: 表达学习的配置文件格式已完全改变。旧的 `expression_learning` 和 `expression_groups` 配置不再受支持，用户需要根据新的 `bot_config_template.toml` 文件迁移到 `[[expression.rules]]` 格式。
 2025-08-27 21:24:12 +08:00
minecraft1024a
4ced72010b feat(core): 集成统一向量数据库服务并重构相关模块 
本次提交引入了一个统一的、可扩展的向量数据库服务层，旨在解决代码重复、实现分散以及数据库实例泛滥的问题。

主要变更:

新增向量数据库抽象层:

在 src/common/vector_db/ 目录下创建了 VectorDBBase 抽象基类，定义了标准化的数据库操作接口。
创建了 ChromaDBImpl 作为具体的实现，并采用单例模式确保全局只有一个数据库客户端实例。
重构语义缓存 (CacheManager):

移除了对 chromadb 库的直接依赖。
改为调用统一的 vector_db_service 来进行向量的添加和查询操作。
重构瞬时记忆 (VectorInstantMemoryV2):

彻底解决了为每个 chat_id 创建独立数据库实例的问题。
现在所有记忆数据都存储在统一的 instant_memory 集合中，并通过 metadata 中的 chat_id 进行数据隔离和查询。
新增使用文档:

在 docs/ 目录下添加了 vector_db_usage_guide.md，详细说明了如何使用新的 vector_db_service 代码接口。
带来的好处:

高内聚，低耦合: 业务代码与具体的向量数据库实现解耦。
易于维护和扩展: 未来可以轻松替换或添加新的向量数据库支持。
性能与资源优化: 整个应用共享一个数据库连接，显著减少了文件句柄和内存占用
 2025-08-27 19:18:28 +08:00
minecraft1024a
af17290595 feat(tool_system): implement declarative caching for tools 
This commit refactors the tool caching system to be more robust, configurable, and easier to use. The caching logic is centralized within the `wrap_tool_executor`, removing the need for boilerplate code within individual tool implementations.

Key changes:
- Adds `enable_cache`, `cache_ttl`, and `semantic_cache_query_key` attributes to `BaseTool` for declarative cache configuration.
- Moves caching logic from a simple history-based lookup and individual tools into a unified handling process in `wrap_tool_executor`.
- The new system leverages the central `tool_cache` manager for both exact and semantic caching based on tool configuration.
- Refactors `WebSurfingTool` and `URLParserTool` to utilize the new declarative caching mechanism, simplifying their code.
 2025-08-27 18:45:59 +08:00
minecraft1024a
1fd1c76a84 ruff这一块 2025-08-27 18:03:07 +08:00
minecraft1024a
5076410a00 Reapply "【迁移】工具系统再完善：工具缓存、ttl支持、自动记录、长期保存、自动清理缓存、将记录与执行分离、api记录查询、时间聊天工具筛选查询..." 
This reverts commit 3d93bc4079.
 2025-08-27 17:58:18 +08:00
Windpicker-owo
3d93bc4079 Revert "【迁移】工具系统再完善：工具缓存、ttl支持、自动记录、长期保存、自动清理缓存、将记录与执行分离、api记录查询、时间聊天工具筛选查询..." 
This reverts commit 80ab0c687c.
 2025-08-27 12:46:00 +08:00
Windpicker-owo
80ab0c687c 【迁移】工具系统再完善：工具缓存、ttl支持、自动记录、长期保存、自动清理缓存、将记录与执行分离、api记录查询、时间聊天工具筛选查询... 2025-08-27 11:04:20 +08:00
minecraft1024a
531232b8ea refactor(config): 移除主动思考提示词模板以简化配置 
主动思考的提示词 (`proactive_thinking_prompt_template`) 已从配置文件中移除。此举旨在简化用户的配置过程，现在该提示词将由内部动态管理，以确保更佳的适应性和效果。

此外，为支持未来的功能扩展，本次更新在日志系统中为多个新模块（如计划生成器、权限管理、网页搜索插件、反注入系统等）添加了颜色和别名配置，提高了日志输出的可读性。

BREAKING CHANGE: 配置项 `proactive_thinking_prompt_template` 已被废弃并移除。请从您的配置文件中删除此项，主动思考功能将自动使用新的内部提示词逻辑。
 2025-08-26 21:38:23 +08:00
minecraft1024a
cbd115efdb feat(monthly_plan): 增强月度计划系统，引入状态管理和智能抽取 
对月度计划系统进行了全面的重构和功能增强，以提供更智能、更可持续的计划管理体验。

主要变更包括：
- **引入状态生命周期**: 废弃了原有的 `is_deleted` 软删除标记，引入了更明确的 `status` 字段 (`active`, `completed`, `archived`)，用于管理计划的整个生命周期。
- **增加使用统计与自动完成**: 新增 `usage_count` 和 `last_used_date` 字段来跟踪计划的使用情况。当计划使用次数达到可配置的阈值后，会自动标记为 `completed`。
- **实现智能计划抽取**: 为每日日程生成实现了新的智能抽取算法。该算法会优先选择使用次数较少且近期未被使用的计划，以增加计划的多样性并避免重复。
- **更新配置选项**: 移除了旧的概率删除相关配置，增加了 `completion_threshold`、`avoid_repetition_days` 等新选项以支持新逻辑。
- **数据库模型更新**: 更新了 `MonthlyPlan` 的数据库模型和索引，以支持新功能并优化查询性能。保留 `is_deleted` 字段以兼容旧数据。
 2025-08-26 19:19:53 +08:00
雅诺狐
4a44ba9866 全面更换orjson 2025-08-26 14:20:26 +08:00
雅诺狐
f308adcf5b refactor: 清理代码质量和移除未使用文件 
- 移除未使用的导入语句和变量
- 修复代码风格问题（空格、格式化等）
- 删除备份文件和测试文件
- 改进异常处理链式调用
- 添加权限系统数据库模型和配置
- 更新版本号至6.4.4
- 优化SQL查询使用正确的布尔表达式
 2025-08-24 22:11:20 +08:00
雅诺狐
1f07104181 fix: 修复视频分析并发处理和数据库存储问题 
🔧 修复视频分析模块的关键并发和存储问题

**主要修复:**
1. **并发竞争条件修复**
   - 解决相同视频hash同时处理导致重复分析的问题
   - 重构并发控制机制，使用per-video独立锁和事件
   - 消除30秒超时后多个请求同时执行的竞争条件

2. **数据库存储优化**
   - 移除Videos表path字段的复杂唯一性检查逻辑
   - 简化为基于hash的纯唯一标识存储
   - 修复path字段重复导致的IntegrityError

3. **代码简化和清理**
   - 删除重编码视频检测功能（复杂且用处有限）
   - 移除不必要的特征匹配和计数更新逻辑
   - 简化存储路径生成，统一使用hash前缀

Fixes: 视频并发处理竞争条件、数据库存储冲突、聊天循环变量错误
 2025-08-22 23:55:54 +08:00
minecraft1024a
5b27ff197d feat(monthly_plan): 为月度计划添加数量上限 
新增 `max_plans_per_month` 配置项，用于限制每个月可存在的最大月度计划数量。

现在，在向数据库添加新计划时，系统会检查当前月份的计划总数。如果添加新计划会导致总数超过上限，则只会添加允许数量内的计划，以防止计划池无限增长。
 2025-08-22 17:49:26 +08:00
minecraft1024a
87ee286614 refactor(cleanup): 移除未使用的导入项与冗余代码 
清理了整个代码库中所有无用的模块导入、重复定义以及冗余变量引用，具体包括：
- bot.py 去掉了 random、typing 的未使用 import
- antipromptinjector 模块统一移除未引用的 DetectionResult、Dict、List 等
- chat_loop 中删除了未调用的 Timer、mai_thinking_manager、events_manager 等引用
- qzone_service 删除多余 f-string 大括号，避免日志警告格式问题
- 其他模块同步剔除各自范围内的冗余 import（asyncio、datetime 等共 20+ 处）

保持功能不变，仅作代码整洁度优化，无破坏性变更。(并添加了一个现在暂时还没加进去的必应搜索源文件)
 2025-08-21 21:09:52 +08:00
minecraft1024a
b1b08c1814 feat:添加了月度计划 # 我要混提交 2025-08-21 12:32:48 +08:00
minecraft1024a
9149407370 fix(cache): 兼容元组形式的 embedding_result 
get_embedding 方法的返回值可能是一个包含向量和模型名称的元组
 2025-08-19 20:19:51 +08:00
雅诺狐
5e91f9ef5f Remove unused imports across multiple modules 
Cleaned up various files by removing unused or redundant import statements to improve code readability and reduce potential confusion. No functional changes were made.
 2025-08-19 11:55:24 +08:00
minecraft1024a
fb02896359 feat(cache): 用文件修改时间替换源码哈希生成缓存键 
BREAKING CHANGE: CacheManager 的 _generate_key/get/set 方法签名变更，现在需要传入 tool_file_path 而非 tool_class 实例，所有调用方需跟进适配。
 2025-08-18 20:07:59 +08:00
雅诺狐
bcbcabb0d8 Refactor cache L2 storage to use SQLAlchemy DB 
Replaces the L2 cache layer's SQLite implementation with an async SQLAlchemy-based database model (CacheEntries). Updates cache_manager.py to use db_query and db_save for cache operations, adds semantic cache handling with ChromaDB, and introduces async cache clearing and expiration cleaning methods. Adds the CacheEntries model and integrates it into the database API.
 2025-08-18 18:30:17 +08:00
雅诺狐
f3958ef484 Merge branch 'master' of https://github.com/MaiBot-Plus/MaiMbot-Pro-Max 2025-08-18 17:29:32 +08:00
雅诺狐
689aface9d Add LLM anti-prompt injection system 
Introduces a comprehensive anti-prompt injection system for LLMs, including rule-based and LLM-based detection, user ban/whitelist management, message shielding, and statistics tracking. Adds new modules under src/chat/antipromptinjector, integrates anti-injection checks into the message receive flow, updates configuration and database models, and provides test scripts. Also updates templates and logger aliases to support the new system.
 2025-08-18 17:27:59 +08:00
minecraft1024a
c47d666d07 chore(deps): 移除未使用的 ModelTaskConfig 导入 
从 cache_manager.py 文件中删除了对 `src.config.api_ada_configs` 中 `ModelTaskConfig` 的导入，因为它在该文件中并未被使用。

添加了记忆系统的大饼

Co-authored-by: 雅诺狐 <foxcyber907@users.noreply.github.com>
 2025-08-18 11:54:00 +08:00
minecraft1024a
51c0d2a1e8 refactor(cache): 重构缓存系统为分层语义缓存 
将原有的基于文件的 `ToolCache` 替换为全新的 `CacheManager`，引入了更复杂和高效的分层语义缓存机制。

新系统特性：
- **分层缓存**:
  - L1 缓存: 内存字典 (KV) + FAISS (向量)，用于极速访问。
  - L2 缓存: SQLite (KV) + ChromaDB (向量)，用于持久化存储。
- **语义缓存**: 利用嵌入模型 (Embedding) 对查询进行向量化，实现基于语义相似度的缓存命中，显著提高了缓存命中率。
- **自动失效**: 缓存键包含工具源代码的哈希值，当工具代码更新时，相关缓存会自动失效，避免了脏数据问题。
- **异步支持**: 缓存的 `get` 和 `set` 方法现在是异步的，以适应项目中异步化的工具调用流程。

`web_search_tool` 已更新以使用新的 `CacheManager`，在调用缓存时传递 `tool_class` 和 `semantic_query` 以充分利用新功能。

Co-Authored-By: tt-P607 <68868379+tt-P607@users.noreply.github.com>
 2025-08-17 22:18:26 +08:00
雅诺狐
74ae472005 Add ToolCache class for tool result caching 
Introduces a ToolCache class to manage caching of tool invocation results with support for both exact and approximate (similarity-based) query matching. Includes methods for cache retrieval, storage, expiration, cleanup, and statistics. This helps improve efficiency by reusing previous results and reducing redundant tool executions.

Co-Authored-By: tt-P607 <68868379+tt-P607@users.noreply.github.com>
 2025-08-17 21:06:25 +08:00
雅诺狐
cb65d91c7a Refactor antiprompt flowchart and fix indentation 
Updated the antipromptinjector flowchart for improved clarity and logic. Fixed indentation in expression_selector.py to correct code structure. Removed obsolete db_migration_plan.md documentation.
 2025-08-17 20:51:52 +08:00
minecraft1024a
cd3ccba8ad refactor(core): 调整数据库初始化时机 
将数据库的初始化、表结构创建和自动迁移逻辑从配置文件加载时移动到主程序 `raw_main` 函数中。

这一改动旨在解决循环导入问题，并确保数据库在所有配置和核心模块加载完毕后才进行初始化，提高了程序的启动鲁棒性和模块独立性。
 2025-08-17 15:59:56 +08:00
雅诺狐
9665d83399 Merge branch 'master' of https://github.com/MaiBot-Plus/MaiMbot-Pro-Max 2025-08-17 15:07:56 +08:00
minecraft1024a
f12cc68d04 refactor(db): 使用迁移函数替代 create_all 初始化数据库 
将数据库初始化过程从直接调用 `Base.metadata.create_all` 修改为调用新的 `check_and_migrate_database` 函数。

这一更改旨在实现更灵活的数据库模式管理，允许在不丢失现有数据的情况下，自动检查并添加新的列或表，从而增强了数据库迁移的健壮性。
 2025-08-17 14:31:58 +08:00
雅诺狐
2b61110dd8 Merge branch 'master' of https://github.com/MaiBot-Plus/MaiMbot-Pro-Max 2025-08-17 14:17:46 +08:00
雅诺狐
78417e254a 移除遥测 2025-08-17 14:17:41 +08:00
Furina-1013-create
c09536bf76 增加videoid修复同一个视频重复识别的问题 
ps：通过数据库检查的去重：
视频hash计算：使用SHA256算法计算视频文件的唯一标识
数据库去重检查：在分析前先检查数据库中是否已存在相同hash的视频
结果缓存：将分析结果存储到Videos表中，避免重复分析
 2025-08-17 14:00:00 +08:00
minecraft1024a
19f7fa15ac chore(logger): 更新日志模块颜色与别名配置 
为多个新模块和重构后的模块添加了对应的日志颜色和别名，以增强日志的可读性和区分度。具体包括：
- SQLAlchemy 相关模块
- OpenAI 和 Gemini 客户端
- 多个插件和管理器
- 重构后的 MaiZone 服务和操作
- 新增的网络工具插件
 2025-08-17 12:50:49 +08:00
雅诺狐
d46d689c43 数据库重构 2025-08-16 23:43:45 +08:00
雅诺狐
7dfaf54c9c llm统计记录模型反应时间 2025-08-16 14:26:18 +08:00
雅诺狐
0400804056 移除了MCP 2025-08-14 23:13:11 +08:00
雅诺狐
d5777c2980 添加了MCP SEE支持 
能不能用我不知道，先加进来。主要我没有服务，无法测试
 2025-08-14 17:22:07 +08:00
雅诺狐
c38be26bbb 添加Unix socket连接方法 2025-08-14 16:37:54 +08:00
minecraft1024a
3129655949 添加日程管理相关模型Schedule和MaiZoneScheduleStatus，并在调度管理器中实现日程处理状态的检查与更新逻辑，优化了基于日程的发送功能。 2025-08-14 15:19:35 +08:00
minecraft1024a
5f7f68f640 重构日程管理模块，将原有的schedule_manager模块迁移至manager目录，并更新相关引用。同时优化了定时任务管理逻辑，确保基于日程的发送功能正常运作，改进了日志记录和活动处理机制(OK兄弟们全体目光向我看齐,看我看我,我是个sb) 2025-08-14 12:40:58 +08:00
minecraft1024a
dcb916e0a3 优化日程管理逻辑，增加日程数据格式验证，处理JSON解析错误，确保日程事件字段完整性，改进日志记录。 2025-08-14 11:27:59 +08:00