gardel/Mofox-Core
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
4,347 Commits 1 Branch 0 Tags
e468dd1989af8a26651e8191f8e5f9c5c1c20e56
Commit Graph

298 Commits

Author SHA1 Message Date
tt-P607
ed720c1218 feat(monthly_plan): 增加月度计划数量上限并自动清理 
style: 优化月度计划相关日志输出

- 在数据库模块中新增物理删除月度计划的函数 `delete_plans_by_ids`
- 在月度计划管理器中引入 `max_plans_per_month` 配置，用于限制每月计划数量
- 当检测到计划数量超出上限时，自动按创建时间删除最旧的计划以维持数量限制
- 优化了标记计划完成和删除计划时的日志记录，使其输出更详细的计划内容
- 调整了检查现有计划时的日志信息，使其更清晰
 2025-11-19 22:48:58 +08:00
minecraft1024a
134116401c refactor(memory): 重构向量记忆清理逻辑以提高稳定性 
原有的清理逻辑直接使用 delete 和 where 条件（timestamp: {"$lt": ...}）来删除过期记录。然而，ChromaDB 对元数据中复杂的查询操作符（如 $lt）的支持并不可靠。

为确保过期记录能被稳定地清除，本次提交将清理策略修改为更稳健的“获取-过滤-删除”模式：

1.  为向量数据库抽象层新增 `get` 方法，并为 ChromaDB 提供具体实现。
2.  在 `VectorInstantMemoryV2` 中，先获取指定聊天的所有记录。
3.  在应用代码中根据时间戳筛选出过期的记录ID。
4.  最后根据ID列表精确删除过期记录，确保了清理操作的准确性。
 2025-11-19 22:48:54 +08:00
minecraft1024a
ef630cd6c3 feat(expression): 重构表达学习配置，引入基于规则的结构化定义 
本次更新旨在提高表达学习配置的可读性和灵活性。旧的基于列表的 `expression_learning` 和 `expression_groups` 配置方式难以理解且容易出错。

通过引入新的 `ExpressionRule` Pydantic模型，我们将所有相关设置（如聊天流ID、是否学习、学习强度、共享组等）整合到一个统一的、自描述的结构中。现在，所有规则都在一个新的 `[[expression.rules]]` 表中进行配置，使得逻辑更加清晰和易于维护。

相关模块，如 `ExpressionSelector`，已更新以适配新的配置结构。同时，数据库中的 `Expression` 模型也已更新为现代的 SQLAlchemy 2.0 风格。

BREAKING CHANGE: 表达学习的配置文件格式已完全改变。旧的 `expression_learning` 和 `expression_groups` 配置不再受支持，用户需要根据新的 `bot_config_template.toml` 文件迁移到 `[[expression.rules]]` 格式。
 2025-11-19 22:48:53 +08:00
minecraft1024a
864272ab8f feat(core): 集成统一向量数据库服务并重构相关模块 
本次提交引入了一个统一的、可扩展的向量数据库服务层，旨在解决代码重复、实现分散以及数据库实例泛滥的问题。

主要变更:

新增向量数据库抽象层:

在 src/common/vector_db/ 目录下创建了 VectorDBBase 抽象基类，定义了标准化的数据库操作接口。
创建了 ChromaDBImpl 作为具体的实现，并采用单例模式确保全局只有一个数据库客户端实例。
重构语义缓存 (CacheManager):

移除了对 chromadb 库的直接依赖。
改为调用统一的 vector_db_service 来进行向量的添加和查询操作。
重构瞬时记忆 (VectorInstantMemoryV2):

彻底解决了为每个 chat_id 创建独立数据库实例的问题。
现在所有记忆数据都存储在统一的 instant_memory 集合中，并通过 metadata 中的 chat_id 进行数据隔离和查询。
新增使用文档:

在 docs/ 目录下添加了 vector_db_usage_guide.md，详细说明了如何使用新的 vector_db_service 代码接口。
带来的好处:

高内聚，低耦合: 业务代码与具体的向量数据库实现解耦。
易于维护和扩展: 未来可以轻松替换或添加新的向量数据库支持。
性能与资源优化: 整个应用共享一个数据库连接，显著减少了文件句柄和内存占用
 2025-11-19 22:48:39 +08:00
minecraft1024a
6b53560a7e feat(tool_system): implement declarative caching for tools 
This commit refactors the tool caching system to be more robust, configurable, and easier to use. The caching logic is centralized within the `wrap_tool_executor`, removing the need for boilerplate code within individual tool implementations.

Key changes:
- Adds `enable_cache`, `cache_ttl`, and `semantic_cache_query_key` attributes to `BaseTool` for declarative cache configuration.
- Moves caching logic from a simple history-based lookup and individual tools into a unified handling process in `wrap_tool_executor`.
- The new system leverages the central `tool_cache` manager for both exact and semantic caching based on tool configuration.
- Refactors `WebSurfingTool` and `URLParserTool` to utilize the new declarative caching mechanism, simplifying their code.
 2025-11-19 22:48:37 +08:00
minecraft1024a
2c3ebedc96 ruff这一块 2025-11-19 22:48:35 +08:00
minecraft1024a
e7fa3d79ff Reapply "【迁移】工具系统再完善：工具缓存、ttl支持、自动记录、长期保存、自动清理缓存、将记录与执行分离、api记录查询、时间聊天工具筛选查询..." 
This reverts commit 3d93bc4079.
 2025-11-19 22:48:31 +08:00
Windpicker-owo
e068663ef9 Revert "【迁移】工具系统再完善：工具缓存、ttl支持、自动记录、长期保存、自动清理缓存、将记录与执行分离、api记录查询、时间聊天工具筛选查询..." 
This reverts commit 80ab0c687c.
 2025-11-19 22:48:24 +08:00
Windpicker-owo
adfacd883c 【迁移】工具系统再完善：工具缓存、ttl支持、自动记录、长期保存、自动清理缓存、将记录与执行分离、api记录查询、时间聊天工具筛选查询... 2025-11-19 22:48:23 +08:00
minecraft1024a
d21b403405 refactor(config): 移除主动思考提示词模板以简化配置 
主动思考的提示词 (`proactive_thinking_prompt_template`) 已从配置文件中移除。此举旨在简化用户的配置过程，现在该提示词将由内部动态管理，以确保更佳的适应性和效果。

此外，为支持未来的功能扩展，本次更新在日志系统中为多个新模块（如计划生成器、权限管理、网页搜索插件、反注入系统等）添加了颜色和别名配置，提高了日志输出的可读性。

BREAKING CHANGE: 配置项 `proactive_thinking_prompt_template` 已被废弃并移除。请从您的配置文件中删除此项，主动思考功能将自动使用新的内部提示词逻辑。
 2025-11-19 22:48:15 +08:00
minecraft1024a
74c83fdc01 feat(monthly_plan): 增强月度计划系统，引入状态管理和智能抽取 
对月度计划系统进行了全面的重构和功能增强，以提供更智能、更可持续的计划管理体验。

主要变更包括：
- **引入状态生命周期**: 废弃了原有的 `is_deleted` 软删除标记，引入了更明确的 `status` 字段 (`active`, `completed`, `archived`)，用于管理计划的整个生命周期。
- **增加使用统计与自动完成**: 新增 `usage_count` 和 `last_used_date` 字段来跟踪计划的使用情况。当计划使用次数达到可配置的阈值后，会自动标记为 `completed`。
- **实现智能计划抽取**: 为每日日程生成实现了新的智能抽取算法。该算法会优先选择使用次数较少且近期未被使用的计划，以增加计划的多样性并避免重复。
- **更新配置选项**: 移除了旧的概率删除相关配置，增加了 `completion_threshold`、`avoid_repetition_days` 等新选项以支持新逻辑。
- **数据库模型更新**: 更新了 `MonthlyPlan` 的数据库模型和索引，以支持新功能并优化查询性能。保留 `is_deleted` 字段以兼容旧数据。
 2025-11-19 22:47:58 +08:00
雅诺狐
ab3a36bfa7 全面更换orjson 2025-11-19 22:47:10 +08:00
雅诺狐
c137cbfb69 更新 sqlalchemy_models.py 2025-11-19 22:46:23 +08:00
雅诺狐
2094f4916a 损坏测试 
通过更改638行，使数据库处于损坏状态
 2025-11-19 22:46:23 +08:00
雅诺狐
34252ea4a0 refactor: 清理代码质量和移除未使用文件 
- 移除未使用的导入语句和变量
- 修复代码风格问题（空格、格式化等）
- 删除备份文件和测试文件
- 改进异常处理链式调用
- 添加权限系统数据库模型和配置
- 更新版本号至6.4.4
- 优化SQL查询使用正确的布尔表达式
 2025-11-19 22:46:18 +08:00
雅诺狐
e39c34f366 fix: 修复视频分析并发处理和数据库存储问题 
🔧 修复视频分析模块的关键并发和存储问题

**主要修复:**
1. **并发竞争条件修复**
   - 解决相同视频hash同时处理导致重复分析的问题
   - 重构并发控制机制，使用per-video独立锁和事件
   - 消除30秒超时后多个请求同时执行的竞争条件

2. **数据库存储优化**
   - 移除Videos表path字段的复杂唯一性检查逻辑
   - 简化为基于hash的纯唯一标识存储
   - 修复path字段重复导致的IntegrityError

3. **代码简化和清理**
   - 删除重编码视频检测功能（复杂且用处有限）
   - 移除不必要的特征匹配和计数更新逻辑
   - 简化存储路径生成，统一使用hash前缀

Fixes: 视频并发处理竞争条件、数据库存储冲突、聊天循环变量错误
 2025-11-19 22:46:11 +08:00
minecraft1024a
3ce6c8de2c feat(monthly_plan): 为月度计划添加数量上限 
新增 `max_plans_per_month` 配置项，用于限制每个月可存在的最大月度计划数量。

现在，在向数据库添加新计划时，系统会检查当前月份的计划总数。如果添加新计划会导致总数超过上限，则只会添加允许数量内的计划，以防止计划池无限增长。
 2025-11-19 22:46:09 +08:00
minecraft1024a
2f1a9fa966 refactor(cleanup): 移除未使用的导入项与冗余代码 
清理了整个代码库中所有无用的模块导入、重复定义以及冗余变量引用，具体包括：
- bot.py 去掉了 random、typing 的未使用 import
- antipromptinjector 模块统一移除未引用的 DetectionResult、Dict、List 等
- chat_loop 中删除了未调用的 Timer、mai_thinking_manager、events_manager 等引用
- qzone_service 删除多余 f-string 大括号，避免日志警告格式问题
- 其他模块同步剔除各自范围内的冗余 import（asyncio、datetime 等共 20+ 处）

保持功能不变，仅作代码整洁度优化，无破坏性变更。(并添加了一个现在暂时还没加进去的必应搜索源文件)
 2025-11-19 22:45:22 +08:00
minecraft1024a
92179478b5 feat:添加了月度计划 # 我要混提交 2025-11-19 22:45:06 +08:00
minecraft1024a
64e3d6d56b fix(cache): 兼容元组形式的 embedding_result 
get_embedding 方法的返回值可能是一个包含向量和模型名称的元组
 2025-11-19 22:44:52 +08:00
雅诺狐
383f704b53 Remove unused imports across multiple modules 
Cleaned up various files by removing unused or redundant import statements to improve code readability and reduce potential confusion. No functional changes were made.
 2025-11-19 22:44:32 +08:00
minecraft1024a
b3d02ff1c3 feat(cache): 用文件修改时间替换源码哈希生成缓存键 
BREAKING CHANGE: CacheManager 的 _generate_key/get/set 方法签名变更，现在需要传入 tool_file_path 而非 tool_class 实例，所有调用方需跟进适配。
 2025-11-19 22:44:01 +08:00
minecraft1024a
04b6b20189 修复缓存管理器中的异常处理逻辑 
- 将捕获的异常类型从 `TypeError` 和 `OSError` 修改为 `Exception`，以涵盖更多潜在错误。
- 增强日志记录，提供更清晰的类名和简化的错误信息，便于调试和问题追踪。
 2025-11-19 22:44:00 +08:00
minecraft1024a
6568ea49da feat(cache): 增强嵌入向量处理的健壮性和验证 
- 新增 `_validate_embedding` 方法，用于在存入缓存前对嵌入向量进行严格的格式检查、维度验证和数值有效性校验。
- 在缓存查询 (`get`) 和写入 (`set`) 流程中，集成此验证逻辑，确保只有合规的向量才能被处理和存储。
- 增加了在L1和L2向量索引操作中的异常捕获，防止因向量处理失败导致缓存功能中断，提升了系统的整体稳定性。
 2025-11-19 22:43:59 +08:00
雅诺狐
48ed62deae Refactor cache L2 storage to use SQLAlchemy DB 
Replaces the L2 cache layer's SQLite implementation with an async SQLAlchemy-based database model (CacheEntries). Updates cache_manager.py to use db_query and db_save for cache operations, adds semantic cache handling with ChromaDB, and introduces async cache clearing and expiration cleaning methods. Adds the CacheEntries model and integrates it into the database API.
 2025-11-19 22:43:59 +08:00
雅诺狐
16da725272 Add LLM anti-prompt injection system 
Introduces a comprehensive anti-prompt injection system for LLMs, including rule-based and LLM-based detection, user ban/whitelist management, message shielding, and statistics tracking. Adds new modules under src/chat/antipromptinjector, integrates anti-injection checks into the message receive flow, updates configuration and database models, and provides test scripts. Also updates templates and logger aliases to support the new system.
 2025-11-19 22:43:57 +08:00
minecraft1024a
438be4fe38 chore(deps): 移除未使用的 ModelTaskConfig 导入 
从 cache_manager.py 文件中删除了对 `src.config.api_ada_configs` 中 `ModelTaskConfig` 的导入，因为它在该文件中并未被使用。

添加了记忆系统的大饼

Co-authored-by: 雅诺狐 <foxcyber907@users.noreply.github.com>
 2025-11-19 22:43:46 +08:00
minecraft1024a
da73c5593e refactor(cache): 重构缓存系统为分层语义缓存 
将原有的基于文件的 `ToolCache` 替换为全新的 `CacheManager`，引入了更复杂和高效的分层语义缓存机制。

新系统特性：
- **分层缓存**:
  - L1 缓存: 内存字典 (KV) + FAISS (向量)，用于极速访问。
  - L2 缓存: SQLite (KV) + ChromaDB (向量)，用于持久化存储。
- **语义缓存**: 利用嵌入模型 (Embedding) 对查询进行向量化，实现基于语义相似度的缓存命中，显著提高了缓存命中率。
- **自动失效**: 缓存键包含工具源代码的哈希值，当工具代码更新时，相关缓存会自动失效，避免了脏数据问题。
- **异步支持**: 缓存的 `get` 和 `set` 方法现在是异步的，以适应项目中异步化的工具调用流程。

`web_search_tool` 已更新以使用新的 `CacheManager`，在调用缓存时传递 `tool_class` 和 `semantic_query` 以充分利用新功能。

Co-Authored-By: tt-P607 <68868379+tt-P607@users.noreply.github.com>
 2025-11-19 22:43:46 +08:00
雅诺狐
f318801942 Add ToolCache class for tool result caching 
Introduces a ToolCache class to manage caching of tool invocation results with support for both exact and approximate (similarity-based) query matching. Includes methods for cache retrieval, storage, expiration, cleanup, and statistics. This helps improve efficiency by reusing previous results and reducing redundant tool executions.

Co-Authored-By: tt-P607 <68868379+tt-P607@users.noreply.github.com>
 2025-11-19 22:43:45 +08:00
雅诺狐
ced43386bf Refactor antiprompt flowchart and fix indentation 
Updated the antipromptinjector flowchart for improved clarity and logic. Fixed indentation in expression_selector.py to correct code structure. Removed obsolete db_migration_plan.md documentation.
 2025-11-19 22:43:44 +08:00
minecraft1024a
27c63380c2 refactor(core): 调整数据库初始化时机 
将数据库的初始化、表结构创建和自动迁移逻辑从配置文件加载时移动到主程序 `raw_main` 函数中。

这一改动旨在解决循环导入问题，并确保数据库在所有配置和核心模块加载完毕后才进行初始化，提高了程序的启动鲁棒性和模块独立性。
 2025-11-19 22:43:17 +08:00
minecraft1024a
0144321254 refactor(db): 使用迁移函数替代 create_all 初始化数据库 
将数据库初始化过程从直接调用 `Base.metadata.create_all` 修改为调用新的 `check_and_migrate_database` 函数。

这一更改旨在实现更灵活的数据库模式管理，允许在不丢失现有数据的情况下，自动检查并添加新的列或表，从而增强了数据库迁移的健壮性。
 2025-11-19 22:43:14 +08:00
Furina-1013-create
8902f6b7cb 增加videoid修复同一个视频重复识别的问题 
ps：通过数据库检查的去重：
视频hash计算：使用SHA256算法计算视频文件的唯一标识
数据库去重检查：在分析前先检查数据库中是否已存在相同hash的视频
结果缓存：将分析结果存储到Videos表中，避免重复分析
 2025-11-19 22:42:45 +08:00
雅诺狐
6b3d916fd0 移除遥测 2025-11-19 22:42:44 +08:00
minecraft1024a
56444f04eb chore(logger): 更新日志模块颜色与别名配置 
为多个新模块和重构后的模块添加了对应的日志颜色和别名，以增强日志的可读性和区分度。具体包括：
- SQLAlchemy 相关模块
- OpenAI 和 Gemini 客户端
- 多个插件和管理器
- 重构后的 MaiZone 服务和操作
- 新增的网络工具插件
 2025-11-19 22:42:37 +08:00
雅诺狐
875e02d42f 数据库重构 2025-11-19 22:40:23 +08:00
雅诺狐
dfecccfc56 llm统计记录模型反应时间 2025-11-19 22:40:11 +08:00
雅诺狐
fc8c38496f 移除了MCP 2025-11-19 22:39:44 +08:00
雅诺狐
1ed7d1248d 添加了MCP SEE支持 
能不能用我不知道，先加进来。主要我没有服务，无法测试
 2025-11-19 22:39:25 +08:00
雅诺狐
bd1b9b279d 添加Unix socket连接方法 2025-11-19 22:39:19 +08:00
minecraft1024a
3af3904070 添加日程管理相关模型Schedule和MaiZoneScheduleStatus，并在调度管理器中实现日程处理状态的检查与更新逻辑，优化了基于日程的发送功能。 2025-11-19 22:39:13 +08:00
minecraft1024a
ebf6fc5c20 重构日程管理模块，将原有的schedule_manager模块迁移至manager目录，并更新相关引用。同时优化了定时任务管理逻辑，确保基于日程的发送功能正常运作，改进了日志记录和活动处理机制(OK兄弟们全体目光向我看齐,看我看我,我是个sb) 2025-11-19 22:39:03 +08:00
minecraft1024a
1c7693cedf 优化日程管理逻辑，增加日程数据格式验证，处理JSON解析错误，确保日程事件字段完整性，改进日志记录。 2025-11-19 22:38:58 +08:00
minecraft1024a
af71c578b0 只是一个测试提交 2025-11-19 22:36:17 +08:00
minecraft1024a
99189921e1 更新logger.py文件，新增多个模块的颜色和别名映射，优化代码结构以支持API、插件系统、工具和依赖管理等扩展功能(这上了色是真的好看吧) 2025-11-19 22:36:03 +08:00
雅诺狐
2e6ae2419b 优化项目结构，格式化代码 2025-11-19 22:35:40 +08:00
minecraft1024a
c62e6642f7 feat: 添加日程管理功能，包括日程模型、配置和初始化逻辑，增强聊天回复中对当前活动的动态反馈。 2025-11-19 22:35:28 +08:00
雅诺狐
23ee3767ef 初始化 2025-11-19 22:34:56 +08:00
SengokuCola
fed0c0fd04 feat：更新记忆系统 2025-08-13 23:17:28 +08:00
SengokuCola
4ffcc61f4b feat：记录使用的表达方式 2025-08-12 21:44:35 +08:00