gardel/Mofox-Core
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,184 Commits 1 Branch 0 Tags
10bb3a45b966451760be3037c57c1781e9be390c
Commit Graph

60 Commits

Author SHA1 Message Date
Windpicker-owo
9e1baa7e61 refactor(chat): 优化流循环管理和数据库性能 
移除StreamLoopManager中的锁机制，简化并发流处理逻辑
- 删除loop_lock，减少锁竞争和超时问题
- 优化流启动、停止和清理流程
- 增强错误处理和日志记录

增强数据库操作性能
- 集成数据库批量调度器和连接池管理器
- 优化ChatStream保存机制，支持批量更新
- 改进数据库会话管理，提高并发性能

清理和优化代码结构
- 移除affinity_chatter中的重复方法
- 改进prompt表达习惯格式化
- 完善系统启动和清理流程
 2025-10-03 13:56:58 +08:00
John Richard
047105e5e8 更改部分类型注解 2025-10-02 21:10:36 +08:00
John Richard
7923eafef3 re-style: 格式化代码 2025-10-02 20:26:01 +08:00
John Richard
ecb02cae31 style: 格式化代码 2025-10-02 19:38:39 +08:00
minecraft1024a
920396a0fc fix(db): 修复数据库会话获取失败时的处理逻辑 
在 `db_query` 和 `db_save` 函数中，增加了对数据库会话（session）获取失败的检查。当无法获取会话时，记录错误日志并返回 None 或空列表，避免了后续操作因会话为空而引发的异常。

同时，修复了 `proactive_thinker_executor` 中因数据库查询返回 None 而导致处理 `action_history` 时出错的问题。
 2025-10-02 17:08:30 +08:00
tt-P607
67aa936013 fix(db): 增强数据库会话管理的容错性 
调整了 `get_db_session` 的行为，当数据库未能成功初始化时，它现在会返回 `None` 并记录错误，而不是抛出异常。这提高了应用在数据库连接不可用时的健壮性，避免了程序因无法获取会话而崩溃。

- `VideoAnalyzer` 已更新，增加了对会话为 `None` 的检查，以安全地跳过数据库读写操作。
- 附带对 `VideoAnalyzer` 和 `LegacyVideoAnalyzer` 进行了重构，将模型选择和API请求执行的逻辑抽象到独立的 `_model_selector` 和 `_executor` 组件中，提升了代码的清晰度和可维护性。
 2025-10-01 06:04:07 +08:00
Windpicker-owo
41c45889c5 feat(memory): 增强记忆构建上下文处理能力并优化兴趣度批量更新机制 
- 在记忆构建过程中允许检索历史记忆作为上下文补充
- 改进LLM响应解析逻辑，增强JSON提取兼容性
- 优化消息兴趣度计算和批量更新机制，减少数据库写入频率
- 添加构建状态管理，支持在BUILDING状态下进行记忆检索
- 修复stream_id拼写错误处理和历史消息获取逻辑
 2025-09-30 14:22:26 +08:00
Windpicker-owo
8b034e21c6 feat(database): 为 SQLite 添加 WAL 模式支持和性能优化配置 
增加 SQLite 数据库性能优化功能，包括：
- 启用 WAL 模式提高并发性能
- 设置合理的超时时间和同步级别
- 添加数据库定期维护功能
- 在会话初始化时自动应用优化配置
- 增加连接超时时间从30秒到60秒

这些优化显著提升了 SQLite 数据库在高并发场景下的性能和稳定性。
 2025-09-28 22:04:44 +08:00
Windpicker-owo
08ef960947 refactor(database): 将同步数据库操作迁移为异步操作 
将整个项目的数据库操作从同步模式迁移为异步模式，主要涉及以下修改：

- 将 `with get_db_session()` 改为 `async with get_db_session()`
- 将同步的 SQLAlchemy 查询方法改为异步执行
- 更新相关的方法签名，添加 async/await 关键字
- 修复由于异步化导致的并发问题和性能问题

这些修改提高了数据库操作的并发性能，避免了阻塞主线程，提升了系统的整体响应能力。涉及修改的模块包括表情包管理、反提示注入统计、用户封禁管理、记忆系统、消息存储等多个核心组件。

BREAKING CHANGE: 所有涉及数据库操作的方法现在都需要使用异步调用，同步调用将不再工作
 2025-09-28 15:42:30 +08:00
Windpicker-owo
ff24bd8148 Merge afc branch into dev, prioritizing afc changes and migrating database async modifications from dev 2025-09-27 23:37:40 +08:00
Windpicker-owo
c49b3f3ac4 refactor(chat): 重构消息管理器以使用集中式上下文管理和能量系统 
- 将流上下文管理从MessageManager迁移到专门的ContextManager
- 使用统一的能量系统计算focus_energy和分发间隔
- 重构ChatStream的消息数据转换逻辑，支持更完整的数据字段
- 更新数据库模型，移除interest_degree字段，统一使用interest_value
- 集成新的兴趣度管理系统替代原有的评分系统
- 添加消息存储的interest_value修复功能
 2025-09-27 14:23:48 +08:00
minecraft1024a
9c1a7ff123 ruff 2025-09-26 20:16:46 +08:00
Windpicker-owo
0478be7d2a refactor(chat): 优化消息管理与打断系统，添加打断计数与历史消息加载功能 2025-09-26 19:17:24 +08:00
Windpicker-owo
a2baec088e feat(chat): 实现动态消息分发系统和消息打断机制 
添加基于focus_energy的动态消息分发周期调整功能，根据聊天流兴趣度智能调整检查间隔
实现消息打断系统，允许高优先级消息打断正在处理的任务
重构ChatStream类，引入动态兴趣度计算系统，包括消息兴趣度统计和用户关系评分
扩展数据库模型和配置系统以支持新功能，增加相关配置项
更新版本号至0.11.0-alpha-1以反映重大功能更新
 2025-09-25 17:14:01 +08:00
minecraft1024a
29c9dac4a4 refactor(db): 移除 MongoDB 相关代码 
从数据库模块中移除了所有与 MongoDB 相关的代码，包括连接逻辑、`get_db` 函数和 `DBWrapper` 代理类。

项目将统一使用 SQLAlchemy 作为唯一的数据库接口，此更改旨在简化代码库并消除不再需要的依赖。

BREAKING CHANGE: 全局 MongoDB 实例 `memory_db` 和 `get_db` 函数已被移除。所有数据库交互现在都应通过 SQLAlchemy 会话进行。
 2025-09-24 14:06:34 +08:00
minecraft1024a
8ff4687670 fix(db): 修复数据库迁移中列和索引的创建逻辑 
- 增强了添加列时对默认值的处理，以兼容不同数据库方言（例如 SQLite 的布尔值）。
- 切换到更标准的 `index.create()` 方法来创建索引，提高了稳定性。
- 调整了启动顺序，确保数据库在主系统之前完成初始化，以防止竞争条件。
 2025-09-24 13:46:44 +08:00
minecraft1024a
1f2956e725 fix(db): 适配 SQLAlchemy 2.0 API 变更 
更新了与数据库交互的代码，以适配 SQLAlchemy 2.0 引入的 API 变更，解决相关的废弃警告和异步调用问题。

主要变更包括：
- 使用 `scalars().first()` 替代已废弃的 `scalar()` 方法。
- 在获取所有标量结果时显式调用 `.all()`。
- 对异步引擎 `get_engine()` 的调用进行 `await`。
- 移除了向 Inspector 方法（如 `get_table_names`）传递多余的 `conn` 参数。
 2025-09-23 14:05:16 +08:00
minecraft1024a
d0b4b8bb8b fix(plugin_system): 修复无配置插件加载时产生不必要警告 
对于未定义 `config_schema` 的插件，现在会将其视作一种正常情况，并为其分配一个空的配置。

此举修复了先前版本中，这类插件在加载时会错误地触发“配置文件不存在”警告的问题。同时将生成默认配置文件的日志等级从 debug 调整为 info，使其在默认情况下可见。
 2025-09-23 13:10:44 +08:00
minecraft1024a
e24634d818 ***数据库怎么有虫子啊 2025-09-23 12:41:38 +08:00
minecraft1024a
016979b6c8 feat(db): 增强数据库自动迁移功能以支持索引创建 
重构并增强了数据库自动迁移逻辑，以提供更健壮和全面的模式管理。

主要更新包括：
- **支持索引创建**: 迁移脚本现在会自动检测并创建模型中定义但数据库中缺失的索引。
- **重构迁移流程**:
  1.  首先一次性创建所有缺失的表，提高初始设置效率。
  2.  然后，逐表检查并添加缺失的列和索引，使逻辑更清晰。
- **改进 SQLAlchemy 用法**:
  - 使用 `AddColumn` 和 `CreateIndex` DDL 结构代替原始 SQL 字符串，提高了代码的可读性和数据库方言的兼容性。
  - 优化了 `inspector` 的使用方式，减少了重复调用。
- **增强日志记录**: 提供了更详细的日志输出，清晰地展示了正在执行的操作（如创建表、添加列、创建索引），并改进了错误报告。
 2025-09-21 13:05:13 +08:00
雅诺狐
832743249d refactor(db): 修正SQLAlchemy异步操作调用方式 
移除session.add()方法的不必要await调用，修正异步数据库操作模式。主要变更包括：

- 将 `await session.add()` 统一改为 `session.add()`
- 修正部分函数调用为异步版本（如消息查询函数）
- 重构SQLAlchemyTransaction为完全异步实现
- 重写napcat_adapter_plugin数据库层以符合异步规范
- 添加aiomysql和aiosqlite依赖支持
 2025-09-20 17:26:28 +08:00
雅诺狐
55717669dd refactor(db): 将数据库操作异步化 
- 将所有 session.add() 改为 await session.add()
- 将所有 session.commit() 改为 await session.commit()
- 将 session.refresh() 改为 await session.refresh()
 2025-09-20 14:35:31 +08:00
雅诺狐
898208f425 perf(methods): 通过移除不必要的 self 参数优化方法签名 
在包括 chat、plugin_system、schedule 和 mais4u 在内的多个模块中，消除冗余的实例引用。此次改动将无需访问实例状态的实用函数转换为静态方法，从而提升了内存效率，并使方法依赖关系更加清晰。
 2025-09-20 10:55:06 +08:00
雅诺狐
6a98ae6208 二次修改 2025-09-19 20:45:26 +08:00
雅诺狐
4dbc651d74 数据库异步支持 
仅仅支持还有107处待迁移
 2025-09-19 20:20:20 +08:00
Windpicker-owo
812e4d76f8 feat(affinity-flow): 实现回复后关系追踪系统集成 
- 在relationship_tracker.py中添加数据库支持的回复后关系追踪功能
- 新增UserRelationships数据库模型存储用户关系数据
- 集成全局关系追踪器到planner和interest_scoring系统
- 优化兴趣度评分系统的关系分获取逻辑，优先使用数据库存储的关系分
- 在plan_executor中执行回复后关系追踪，分析用户反应并更新关系
- 添加LLM响应清理功能确保JSON解析稳定性
- 更新模型配置模板添加relationship_tracker模型配置
 2025-09-19 11:28:37 +08:00
Windpicker-owo
553739f2cd feat(affinity-flow): 调整回复概率参数和评分计算 
- 增加最大不回复次数至15次，降低每次不回复的概率提升至1%
- 在最终评分计算中增加1.15倍系数提升
- 被提及时的基础分数从1.0提升至3.0
- 为兴趣标签保存添加数据库验证机制
- 在消息处理流程中增加数据库存储功能
- 修复JSON解析错误处理，增加异常情况下的默认响应
- 优化数据库会话管理和模型转换的健壮性
 2025-09-17 13:37:57 +08:00
Windpicker-owo
974de4d25d feat(affinity-flow): 重构兴趣度评分系统为智能embedding匹配 
- 移除传统关键词匹配方式，改用embedding计算智能兴趣匹配度
- 添加异步方法支持机器人兴趣管理器的智能匹配计算
- 增加详细的日志记录和错误处理机制
- 添加数据库关键词提取和降级处理逻辑
- 集成智能兴趣系统初始化到人设构建流程
- 防止回复自身消息的死循环保护机制

BREAKING CHANGE: 兴趣匹配评分机制完全重构，从基于关键词的硬编码匹配改为基于embedding的智能匹配，需要重新初始化兴趣系统
 2025-09-16 22:55:38 +08:00
minecraft1024a
5c1a7ab33b feat(db): add focus_energy to ChatStreams model 
Adds a new `focus_energy` column to the `ChatStreams` table. This field will be used to track the user's focus level, defaulting to 1.0.
 2025-09-13 15:21:00 +08:00
minecraft1024a
9bbf801bd9 feat(规划): 引入统一的规划系统并重构组件 
本次提交引入了一个全新的统一规划系统，取代了独立的日程和月度计划模块。这一变更集中了配置并解耦了职责，以提高可维护性和清晰度。

核心逻辑现在被分解为专门的组件：

- PlanManager: 处理日常日程和月度目标的所有数据库交互，取代了已-删除的 monthly_plan_db.py。
- ScheduleLLMGenerator: 封装了与 LLM 交互以生成日程的逻辑，将此职责从 ScheduleManager 中移除。
- MonthlyPlanManager: 现在作为核心 PlanManager 的简化接口。
这次架构性的大修通过将数据持久化和 LLM 生成逻辑从主调度逻辑中抽象出来，简化了整体设计。

重大变更: bot_config.toml 中的配置已被迁移。移除了 [schedule] 和 [monthly_plan_system] 部分。所有相关设置现在必须在新的 [planning_system] 部分下进行配置。
 2025-09-06 11:41:42 +08:00
minecraft1024a
513757a8ee chore: format code and remove redundant blank lines 
This commit applies automated code formatting across the project. The changes primarily involve removing unnecessary blank lines and ensuring consistent code style, improving readability and maintainability without altering functionality.
 2025-09-05 20:58:03 +08:00
Furina-1013-create
ac1253acc5 fix: 修复 graph_nodes 表 weight 字段缺失问题 
- 在 GraphNodes 模型中添加 weight 字段，设置默认值为 1.0
- 修复 Hippocampus.py 中插入 GraphNodes 时缺少 weight 字段的问题
- 解决 sqlite3.IntegrityError: NOT NULL constraint failed: graph_nodes.weight 错误
 2025-09-04 20:57:59 +08:00
Windpicker-owo
366dadeb15 迁移：69a855d（feat：保存关键词到message数据库） 2025-09-01 15:24:43 +08:00
Windpicker-owo
30e66d5938 Merge branch 'master' of https://github.com/MoFox-Studio/MoFox_Bot 2025-08-31 20:56:35 +08:00
Windpicker-owo
8149731925 修复代码格式和文件名大小写问题 2025-08-31 20:50:17 +08:00
minecraft1024a
d19f211461 refactor(context): 将能量值和睡眠压力状态持久化到数据库 
将HFC上下文中的能量值（energy_value）和睡眠压力（sleep_pressure）的状态管理从本地文件存储（local_storage）迁移到主数据库。

这一重构的主要改动包括：
- 在`ChatStreams`数据库模型中添加`energy_value`和`sleep_pressure`字段。
- 更新`ChatStream`类，使其能够加载和保存这两个新字段。
- 移除`HfcContext`中原有的基于`local_storage`的加载和保存逻辑，改为直接通过`ChatStream`实例进行状态读写。
- 在`EnergyManager`中，每当能量或睡眠压力发生变化时，调用`save_context_state()`方法，确保状态能够实时持久化。

此举统一了应用的状态管理方式，提高了数据的可靠性和一致性，并为后续在多实例或分布式环境下部署应用奠定了基础。
 2025-08-31 13:32:05 +08:00
minecraft1024a
e2a2d102e0 refactor(schedule): 优化月度计划与日程的生成逻辑 
将月度计划和每日日程的生成流程从异步非阻塞任务改为同步阻塞模式。这确保了在需要计划数据时，生成过程会先完成，从而避免了因数据未及时生成而导致的潜在问题。

主要变更：
- `ScheduleManager`: 在加载日程失败或数据不存在时，直接调用并等待日程生成，而不是创建一个后台任务。
- `ScheduleManager`: 当日程生成过程中发现月度计划不足时，会直接调用并等待月度计划生成完成，然后再继续。
- `MonthlyPlanManager`: 简化了生成逻辑，移除了原有的非阻塞触发方法 `trigger_generate_monthly_plans`，统一为同步执行的 `generate_monthly_plans`。
- `monthly_plan_db`: 在查询月度计划时增加了按创建时间降序排序，以支持更可靠地删除多余计划。
- `main.py`: 移除了对已不存在的 `ImportError` 的处理。
 2025-08-31 13:06:06 +08:00
tt-P607
29e18c2db7 feat(monthly_plan): 增加月度计划数量上限并自动清理 
style: 优化月度计划相关日志输出

- 在数据库模块中新增物理删除月度计划的函数 `delete_plans_by_ids`
- 在月度计划管理器中引入 `max_plans_per_month` 配置，用于限制每月计划数量
- 当检测到计划数量超出上限时，自动按创建时间删除最旧的计划以维持数量限制
- 优化了标记计划完成和删除计划时的日志记录，使其输出更详细的计划内容
- 调整了检查现有计划时的日志信息，使其更清晰
 2025-08-27 23:13:55 +08:00
minecraft1024a
eb469240d4 feat(expression): 重构表达学习配置，引入基于规则的结构化定义 
本次更新旨在提高表达学习配置的可读性和灵活性。旧的基于列表的 `expression_learning` 和 `expression_groups` 配置方式难以理解且容易出错。

通过引入新的 `ExpressionRule` Pydantic模型，我们将所有相关设置（如聊天流ID、是否学习、学习强度、共享组等）整合到一个统一的、自描述的结构中。现在，所有规则都在一个新的 `[[expression.rules]]` 表中进行配置，使得逻辑更加清晰和易于维护。

相关模块，如 `ExpressionSelector`，已更新以适配新的配置结构。同时，数据库中的 `Expression` 模型也已更新为现代的 SQLAlchemy 2.0 风格。

BREAKING CHANGE: 表达学习的配置文件格式已完全改变。旧的 `expression_learning` 和 `expression_groups` 配置不再受支持，用户需要根据新的 `bot_config_template.toml` 文件迁移到 `[[expression.rules]]` 格式。
 2025-08-27 21:24:12 +08:00
minecraft1024a
cbd115efdb feat(monthly_plan): 增强月度计划系统，引入状态管理和智能抽取 
对月度计划系统进行了全面的重构和功能增强，以提供更智能、更可持续的计划管理体验。

主要变更包括：
- **引入状态生命周期**: 废弃了原有的 `is_deleted` 软删除标记，引入了更明确的 `status` 字段 (`active`, `completed`, `archived`)，用于管理计划的整个生命周期。
- **增加使用统计与自动完成**: 新增 `usage_count` 和 `last_used_date` 字段来跟踪计划的使用情况。当计划使用次数达到可配置的阈值后，会自动标记为 `completed`。
- **实现智能计划抽取**: 为每日日程生成实现了新的智能抽取算法。该算法会优先选择使用次数较少且近期未被使用的计划，以增加计划的多样性并避免重复。
- **更新配置选项**: 移除了旧的概率删除相关配置，增加了 `completion_threshold`、`avoid_repetition_days` 等新选项以支持新逻辑。
- **数据库模型更新**: 更新了 `MonthlyPlan` 的数据库模型和索引，以支持新功能并优化查询性能。保留 `is_deleted` 字段以兼容旧数据。
 2025-08-26 19:19:53 +08:00
雅诺狐
4a44ba9866 全面更换orjson 2025-08-26 14:20:26 +08:00
雅诺狐
f308adcf5b refactor: 清理代码质量和移除未使用文件 
- 移除未使用的导入语句和变量
- 修复代码风格问题（空格、格式化等）
- 删除备份文件和测试文件
- 改进异常处理链式调用
- 添加权限系统数据库模型和配置
- 更新版本号至6.4.4
- 优化SQL查询使用正确的布尔表达式
 2025-08-24 22:11:20 +08:00
雅诺狐
1f07104181 fix: 修复视频分析并发处理和数据库存储问题 
🔧 修复视频分析模块的关键并发和存储问题

**主要修复:**
1. **并发竞争条件修复**
   - 解决相同视频hash同时处理导致重复分析的问题
   - 重构并发控制机制，使用per-video独立锁和事件
   - 消除30秒超时后多个请求同时执行的竞争条件

2. **数据库存储优化**
   - 移除Videos表path字段的复杂唯一性检查逻辑
   - 简化为基于hash的纯唯一标识存储
   - 修复path字段重复导致的IntegrityError

3. **代码简化和清理**
   - 删除重编码视频检测功能（复杂且用处有限）
   - 移除不必要的特征匹配和计数更新逻辑
   - 简化存储路径生成，统一使用hash前缀

Fixes: 视频并发处理竞争条件、数据库存储冲突、聊天循环变量错误
 2025-08-22 23:55:54 +08:00
minecraft1024a
5b27ff197d feat(monthly_plan): 为月度计划添加数量上限 
新增 `max_plans_per_month` 配置项，用于限制每个月可存在的最大月度计划数量。

现在，在向数据库添加新计划时，系统会检查当前月份的计划总数。如果添加新计划会导致总数超过上限，则只会添加允许数量内的计划，以防止计划池无限增长。
 2025-08-22 17:49:26 +08:00
minecraft1024a
87ee286614 refactor(cleanup): 移除未使用的导入项与冗余代码 
清理了整个代码库中所有无用的模块导入、重复定义以及冗余变量引用，具体包括：
- bot.py 去掉了 random、typing 的未使用 import
- antipromptinjector 模块统一移除未引用的 DetectionResult、Dict、List 等
- chat_loop 中删除了未调用的 Timer、mai_thinking_manager、events_manager 等引用
- qzone_service 删除多余 f-string 大括号，避免日志警告格式问题
- 其他模块同步剔除各自范围内的冗余 import（asyncio、datetime 等共 20+ 处）

保持功能不变，仅作代码整洁度优化，无破坏性变更。(并添加了一个现在暂时还没加进去的必应搜索源文件)
 2025-08-21 21:09:52 +08:00
minecraft1024a
b1b08c1814 feat:添加了月度计划 # 我要混提交 2025-08-21 12:32:48 +08:00
雅诺狐
5e91f9ef5f Remove unused imports across multiple modules 
Cleaned up various files by removing unused or redundant import statements to improve code readability and reduce potential confusion. No functional changes were made.
 2025-08-19 11:55:24 +08:00
雅诺狐
bcbcabb0d8 Refactor cache L2 storage to use SQLAlchemy DB 
Replaces the L2 cache layer's SQLite implementation with an async SQLAlchemy-based database model (CacheEntries). Updates cache_manager.py to use db_query and db_save for cache operations, adds semantic cache handling with ChromaDB, and introduces async cache clearing and expiration cleaning methods. Adds the CacheEntries model and integrates it into the database API.
 2025-08-18 18:30:17 +08:00
雅诺狐
689aface9d Add LLM anti-prompt injection system 
Introduces a comprehensive anti-prompt injection system for LLMs, including rule-based and LLM-based detection, user ban/whitelist management, message shielding, and statistics tracking. Adds new modules under src/chat/antipromptinjector, integrates anti-injection checks into the message receive flow, updates configuration and database models, and provides test scripts. Also updates templates and logger aliases to support the new system.
 2025-08-18 17:27:59 +08:00
雅诺狐
cb65d91c7a Refactor antiprompt flowchart and fix indentation 
Updated the antipromptinjector flowchart for improved clarity and logic. Fixed indentation in expression_selector.py to correct code structure. Removed obsolete db_migration_plan.md documentation.
 2025-08-17 20:51:52 +08:00