gardel/Mofox-Core
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
4,812 Commits 1 Branch 0 Tags
37c8253f545ad508564c66894fc1636875d558f4
Commit Graph

105 Commits

Author SHA1 Message Date
Windpicker-owo
37c8253f54 feat(memory): 增强记忆构建系统并优化检索性能 
- 添加记忆提取异常处理机制，提升系统稳定性
- 实现记忆内容格式化功能，增强可读性和结构化输出
- 优化LLM响应解析逻辑，避免系统标识误写入记忆
- 改进向量存储批量嵌入生成，提升处理效率
- 为记忆系统添加机器人身份上下文注入，避免自身信息记录
- 增强记忆检索接口，支持额外上下文参数传递
- 添加控制台记忆预览功能，便于人工检查
- 优化记忆融合算法，正确处理单记忆组情况
- 改进流循环管理器，支持未读消息积压强制分发机制
 2025-11-19 23:11:11 +08:00
Windpicker-owo
0a3c908654 feat(memory): 增强记忆构建上下文处理能力并优化兴趣度批量更新机制 
- 在记忆构建过程中允许检索历史记忆作为上下文补充
- 改进LLM响应解析逻辑，增强JSON提取兼容性
- 优化消息兴趣度计算和批量更新机制，减少数据库写入频率
- 添加构建状态管理，支持在BUILDING状态下进行记忆检索
- 修复stream_id拼写错误处理和历史消息获取逻辑
 2025-11-19 23:11:10 +08:00
tt-P607
310027009e fix(chat): 修复在海马体未初始化时调用主题遗忘的潜在错误 
在调用 `operation_forget_topic` 方法前增加空值检查，以防止当海马体或其相关组件尚未完全初始化时，调用该方法导致程序崩溃。此更改增强了记忆遗忘操作的健壮性。
 2025-11-19 23:11:00 +08:00
Windpicker-owo
e61975f0af fix(memory): 将日志级别从debug更改为info，以提高构建间隔提示的可见性 2025-11-19 23:10:26 +08:00
Windpicker-owo
335e5d5c5f feat(memory): 添加时间规范化处理功能 
在记忆构建器中增加时间规范化处理逻辑，将相对时间表达式转换为绝对日期格式。添加了相对时间映射规则和正则替换机制，确保记忆内容中的时间信息统一使用YYYY-MM-DD格式。同时更新了系统提示语，明确时间处理原则和要求。

- 新增_normalize_time_in_memory方法处理时间规范化
- 添加相对时间到绝对时间的映射规则
- 更新系统提示语包含时间处理原则
- 支持记忆内容和对象信息中的时间规范化
 2025-11-19 23:10:25 +08:00
Windpicker-owo
b95784d004 feat(memory): 添加记忆构建节流机制 
在EnhancedMemorySystem中新增min_build_interval_seconds配置项，实现基于作用域的构建频率控制。通过_get_build_scope_key方法根据stream_id、chat_id或user_id生成节流键，确保同一作用域内的记忆构建操作不会过于频繁。

新增_last_memory_build_times字典记录各作用域的最后构建时间，当间隔不足配置阈值时自动跳过构建操作。同时在构建异常时自动清理对应的节流记录，确保系统稳定性。
 2025-11-19 23:10:25 +08:00
Windpicker-owo
a2217bd377 feat(memory): 实现增强记忆系统并完全替换原有架构 
引入全新的增强记忆系统，彻底取代海马体记忆架构
删除旧版记忆系统相关模块，包括Hippocampus、异步包装器和优化器
重构消息处理流程，集成增强记忆系统的存储和检索功能
更新配置结构以支持增强记忆的各项参数设置
禁用原有定时任务，采用内置维护机制保证系统性能
 2025-11-19 23:10:15 +08:00
Windpicker-owo
ae0c2704d1 refactor(chat): 移除 ChatStream 的历史消息自动加载功能 
移除 ChatStream 初始化时的 `_load_history_messages()` 调用，改为按需异步加载历史消息。这解决了启动时阻塞事件循环的问题，并提高了聊天流初始化的性能。

主要变更：
- 删除 `ChatStream._load_history_messages()` 方法及相关代码
- 将多个模块中的同步数据库查询函数改为异步版本
- 修复相关调用处的异步调用方式
- 优化图片描述查询的错误处理

BREAKING CHANGE: `get_raw_msg_before_timestamp_with_chat` 和相关消息查询函数现在改为异步操作，需要调用处使用 await
 2025-11-19 23:09:40 +08:00
Windpicker-owo
9836d317b8 refactor(database): 将同步数据库操作迁移为异步操作 
将整个项目的数据库操作从同步模式迁移为异步模式，主要涉及以下修改：

- 将 `with get_db_session()` 改为 `async with get_db_session()`
- 将同步的 SQLAlchemy 查询方法改为异步执行
- 更新相关的方法签名，添加 async/await 关键字
- 修复由于异步化导致的并发问题和性能问题

这些修改提高了数据库操作的并发性能，避免了阻塞主线程，提升了系统的整体响应能力。涉及修改的模块包括表情包管理、反提示注入统计、用户封禁管理、记忆系统、消息存储等多个核心组件。

BREAKING CHANGE: 所有涉及数据库操作的方法现在都需要使用异步调用，同步调用将不再工作
 2025-11-19 23:09:31 +08:00
minecraft1024a
53b61028c7 perf(memory): 优化记忆系统数据库操作并修复并发问题 
将消息记忆次数的更新方式从单次写入重构为批量更新，在记忆构建任务结束时统一执行，大幅减少数据库写入次数，显著提升性能。

此外，为 `HippocampusManager` 添加了异步锁，以防止记忆巩固和遗忘操作并发执行时产生竞争条件。同时，增加了节点去重逻辑，在插入数据库前检查重复的概念，确保数据一致性。
 2025-11-19 23:05:40 +08:00
雅诺狐
679195d792 refactor(db): 修正SQLAlchemy异步操作调用方式 
移除session.add()方法的不必要await调用，修正异步数据库操作模式。主要变更包括：

- 将 `await session.add()` 统一改为 `session.add()`
- 修正部分函数调用为异步版本（如消息查询函数）
- 重构SQLAlchemyTransaction为完全异步实现
- 重写napcat_adapter_plugin数据库层以符合异步规范
- 添加aiomysql和aiosqlite依赖支持
 2025-11-19 23:05:17 +08:00
雅诺狐
0cffc0aa95 refactor(db): 将数据库操作异步化 
- 将所有 session.add() 改为 await session.add()
- 将所有 session.commit() 改为 await session.commit()
- 将 session.refresh() 改为 await session.refresh()
 2025-11-19 23:05:14 +08:00
雅诺狐
93542cadef perf(methods): 通过移除不必要的 self 参数优化方法签名 
在包括 chat、plugin_system、schedule 和 mais4u 在内的多个模块中，消除冗余的实例引用。此次改动将无需访问实例状态的实用函数转换为静态方法，从而提升了内存效率，并使方法依赖关系更加清晰。
 2025-11-19 23:05:00 +08:00
tt-P607
aba4f1a947 三次修改 2025-11-19 23:02:01 +08:00
Windpicker-owo
3980509caa refactor(prompt): 重构并统一提示词系统 
- 删除旧的智能提示词系统（smart_prompt.py）和相关参数模块（prompt_parameters.py）
- 将 prompt_builder.py 重命名为 prompt.py 并精简功能
- 更新所有模块的导入路径从 `src.chat.utils.prompt_builder` 到 `src.chat.utils.prompt`
- 统一提示词构建接口，使用新的 PromptContext 替代 SmartPromptParameters
- 移除重复和冗余代码，简化系统架构

BREAKING CHANGE: 旧的 SmartPrompt 系统已被完全移除，所有相关模块需要改用新的统一 Prompt 系统
 2025-11-19 22:58:17 +08:00
Furina-1013-create
156662014b fix: 修复 graph_nodes 表 weight 字段缺失问题 
- 在 GraphNodes 模型中添加 weight 字段，设置默认值为 1.0
- 修复 Hippocampus.py 中插入 GraphNodes 时缺少 weight 字段的问题
- 解决 sqlite3.IntegrityError: NOT NULL constraint failed: graph_nodes.weight 错误
 2025-11-19 22:57:40 +08:00
Windpicker-owo
d86cfa90ad 迁移：3804124，9e9e796 
（feat：将no_reply内置、fix：优化reply，填补缺失值）
 2025-11-19 22:56:51 +08:00
Windpicker-owo
fe472dff60 修复代码格式和文件名大小写问题 2025-11-19 22:55:55 +08:00
minecraft1024a
134116401c refactor(memory): 重构向量记忆清理逻辑以提高稳定性 
原有的清理逻辑直接使用 delete 和 where 条件（timestamp: {"$lt": ...}）来删除过期记录。然而，ChromaDB 对元数据中复杂的查询操作符（如 $lt）的支持并不可靠。

为确保过期记录能被稳定地清除，本次提交将清理策略修改为更稳健的“获取-过滤-删除”模式：

1.  为向量数据库抽象层新增 `get` 方法，并为 ChromaDB 提供具体实现。
2.  在 `VectorInstantMemoryV2` 中，先获取指定聊天的所有记录。
3.  在应用代码中根据时间戳筛选出过期的记录ID。
4.  最后根据ID列表精确删除过期记录，确保了清理操作的准确性。
 2025-11-19 22:48:54 +08:00
minecraft1024a
864272ab8f feat(core): 集成统一向量数据库服务并重构相关模块 
本次提交引入了一个统一的、可扩展的向量数据库服务层，旨在解决代码重复、实现分散以及数据库实例泛滥的问题。

主要变更:

新增向量数据库抽象层:

在 src/common/vector_db/ 目录下创建了 VectorDBBase 抽象基类，定义了标准化的数据库操作接口。
创建了 ChromaDBImpl 作为具体的实现，并采用单例模式确保全局只有一个数据库客户端实例。
重构语义缓存 (CacheManager):

移除了对 chromadb 库的直接依赖。
改为调用统一的 vector_db_service 来进行向量的添加和查询操作。
重构瞬时记忆 (VectorInstantMemoryV2):

彻底解决了为每个 chat_id 创建独立数据库实例的问题。
现在所有记忆数据都存储在统一的 instant_memory 集合中，并通过 metadata 中的 chat_id 进行数据隔离和查询。
新增使用文档:

在 docs/ 目录下添加了 vector_db_usage_guide.md，详细说明了如何使用新的 vector_db_service 代码接口。
带来的好处:

高内聚，低耦合: 业务代码与具体的向量数据库实现解耦。
易于维护和扩展: 未来可以轻松替换或添加新的向量数据库支持。
性能与资源优化: 整个应用共享一个数据库连接，显著减少了文件句柄和内存占用
 2025-11-19 22:48:39 +08:00
minecraft1024a
5b32bd730c fix(memory_system): 修复即时记忆的 orjson 编码与解码问题 
`orjson.dumps` 返回 `bytes` 类型，在存入数据库前需要解码为 `str`。

同时，将关键词的反序列化库从标准 `json` 统一为 `orjson`，以保持序列化和反序列化操作的一致性。
 2025-11-19 22:48:33 +08:00
雅诺狐
1f5412d3a9 Update instant_memory.py 2025-11-19 22:48:25 +08:00
Furina-1013-create
7cc9d37a4e chore(deps): 导入 json 模块 2025-11-19 22:48:19 +08:00
minecraft1024a
dd9aecea14 feat(maizone): 新增QQ空间互通组功能，根据聊天上下文生成说说 
引入了全新的“QQ空间互通组”功能。用户可以配置多个群聊为一个互通组。
在通过指令发布说说时，系统会自动获取这些群聊的近期聊天记录作为上下文，从而生成与当前讨论话题更相关的说说内容。

- 在 `config.toml` 中新增了 `[maizone_intercom]` 配置项用于定义互通组。
- 重构并增强了动态（说说）的拉取逻辑，提高了对不同数据格式的兼容性和解析的稳定性。
- 对项目中的多个文件进行了代码清理，移除了未使用的导入，使代码更加整洁。
 2025-11-19 22:48:02 +08:00
tt-P607
6532c30d5d fix(chat): 修复关键词非列表形式时导致的解析错误 
在处理记忆关键词时，旧代码使用 `ast.literal_eval` 来解析存储为字符串的关键词列表。当关键词字段为空或格式不正确时，这会引发 `ValueError` 或 `SyntaxError`。

本次修改将解析方式更换为 `json.loads`，并增加了 `try-except` 块来处理可能的 `json.JSONDecodeError`。同时，在添加记忆时，使用 `json.dumps` 来确保关键词列表被正确地序列化为 JSON 字符串，从而保证了数据存储和读取的健壮性和一致性。
 2025-11-19 22:47:38 +08:00
雅诺狐
ab3a36bfa7 全面更换orjson 2025-11-19 22:47:10 +08:00
雅诺狐
34252ea4a0 refactor: 清理代码质量和移除未使用文件 
- 移除未使用的导入语句和变量
- 修复代码风格问题（空格、格式化等）
- 删除备份文件和测试文件
- 改进异常处理链式调用
- 添加权限系统数据库模型和配置
- 更新版本号至6.4.4
- 优化SQL查询使用正确的布尔表达式
 2025-11-19 22:46:18 +08:00
minecraft1024a
283c69e89b refactor: 移除未使用的导入和优化代码风格 
本次提交主要包含以下代码重构和风格优化：
- 从多个文件中移除了未被使用的导入，例如 `Dict`, `Any`, `List`, `os`, `threading` 等，以保持代码的整洁性。
- 统一了测试脚本中的输出格式，移除了不必要的 f-string，使代码更加简洁。
- 清理了部分冗余的类型提示，提升了代码的可读性。
 2025-11-19 22:46:05 +08:00
minecraft1024a
0a9d0f5405 feat(memory): 增加瞬时记忆系统的独立开关 
在配置文件中为基于LLM的瞬时记忆和基于向量的瞬时记忆增加了独立的启用开关。这允许用户根据需要更灵活地控制每种记忆类型。

同时，将记忆系统初始化日志的级别从DEBUG提升到INFO，使其在默认配置下可见，便于问题排查。
 2025-11-19 22:46:04 +08:00
minecraft1024a
98bdd64e11 feat(memory): 实现瞬时记忆系统的延迟加载和按需初始化 
引入了对LLM和向量瞬时记忆系统的延迟初始化机制。现在，只有在实际需要存储或检索记忆时，才会触发相应记忆系统的初始化过程。

此项改动优化了应用的启动性能，避免了不必要的资源预加载。同时，新增了独立的配置开关，允许用户根据需求分别启用或禁用LLM和向量记忆模块，提供了更灵活的配置选项。
 2025-11-19 22:46:03 +08:00
Furina-1013-create
b53bed4e06 移除多余的测试文件 2025-11-19 22:46:02 +08:00
Furina-1013-create
7dca70b057 异步记忆系统优化 & Action组件修复 
主要改进:
1. 异步记忆系统优化 - 解决记忆操作阻塞主程序问题
   - 新增异步记忆队列管理器 (async_memory_optimizer.py)
   - 新增异步瞬时记忆包装器 (async_instant_memory_wrapper.py)
   - 优化主程序记忆构建任务为后台非阻塞执行
   - 优化消息处理器记忆调用，增加超时保护和回退机制

2. Action组件修复 - 解决'未找到Action组件: no_reply'问题
   - 修复no_reply动作激活类型配置错误
   - 新增reply回退动作 (reply.py)
   - 增强planner.py动作选择回退机制
   - 增强cycle_processor.py动作创建回退机制
 2025-11-19 22:45:51 +08:00
雅诺狐
1b9c86abef Refactor web search plugin and clean up code 
Refactored the web search plugin by removing the old Bing search implementation and reorganizing the plugin structure. Introduced modular search engine classes under 'web_search_tool/engines' and utility tools under 'web_search_tool/tools' and 'web_search_tool/utils'. Updated references and initialization logic to support multiple search engines and improved maintainability. Also performed minor code cleanups and replaced 'except ...: pass' with 'except ...: ...' for brevity.
 2025-11-19 22:45:42 +08:00
minecraft1024a
3777ec9d73 feat(chat): 实现可配置的主动思考范围并优化逻辑 
- 将主动思考的prompt移至代码内部，并区分私聊和群聊场景。
- 增加`The_scope_that_proactive_thinking_can_trigger`配置项，允许用户将主动思考限制在“全部”、“私聊”或“群聊”范围。
- 删除了旧的`proactive_thinking_prompt_template`配置。
- 优化了主动思考的触发条件，现在会根据新的范围配置进行检查。
- 清理了代码中多余的空行和未使用的导入。
 2025-11-19 22:44:59 +08:00
minecraft1024a
dcecd9cf7d refactor(memory): 移除混合记忆模型，全面转向向量化瞬时记忆 
删除了 `HybridInstantMemory` 模块及其复杂的策略判断、同步和检索逻辑。此举旨在简化记忆系统的架构，统一采用 `VectorInstantMemoryV2` 作为唯一的瞬时记忆解决方案。(虽然我也不知道效果好不好反正先转了再说,因为基于大模型的瞬时记忆有那么一点点慢)
 2025-11-19 22:44:52 +08:00
minecraft1024a
f2e82cf82f refactor(memory): 重构瞬时记忆为全量向量化存储模型 
新系统采用“全量存储，定时清理”的设计理念，将所有聊天消息向量化并存入ChromaDB。通过后台线程定时清理过期消息，取代了之前基于“重要性模式”判断是否记忆的复杂逻辑。

主要变更：
- **全量存储**: 不再进行前置判断，所有消息均被向量化存储，简化了记忆创建流程。
- **定时清理**: 引入基于`threading`的后台任务，根据设定的`retention_hours`自动清理过期记忆，确保系统轻量高效。
- **简化检索**: 检索逻辑更新为直接查询相似消息，并增加了相似度阈值过滤和时间差格式化，提高了上下文的准确性和可读性。

在 `DefaultReplyer` 中，已切换至新的 `HybridInstantMemory`（其底层实现为V2），并优化了记忆上下文的构建逻辑，使其能更稳定地处理不同类型的记忆返回结果。
 2025-11-19 22:44:50 +08:00
minecraft1024a
4fc7c51ee0 feat(memory): 引入基于向量的瞬时记忆系统 
用基于 ChromaDB 和向量相似度的新瞬时记忆系统取代了原有的实现。此更改旨在提高记忆创建和检索的准确性和相关性。

主要变更：
- **向量化重要性判断**: 放弃了原有的 LLM 判断方法，通过将聊天记录与预定义的“重要性模式”进行向量相似度比较，来决定是否创建记忆。
- **高效去重**: 在存储新记忆之前，通过向量相似度检查，有效避免了内容重复。
- **精准检索**: 利用向量搜索，根据用户当前输入检索最相关的记忆，提高了上下文的连贯性。
- **双重存储**: 为了保持系统兼容性，记忆同时存储在 ChromaDB 向量数据库和现有的 SQLAlchemy 数据库中。
- **代码集成**: 在 `DefaultReplyer` 中将 `InstantMemory` 的实现切换为新的 `VectorInstantMemory`。
 2025-11-19 22:44:49 +08:00
雅诺狐
bb4592846c Refactor config system to use Pydantic validation 
Refactored configuration classes to inherit from a new ValidatedConfigBase using Pydantic for robust validation and error reporting. Updated api_ada_configs.py, config.py, config_base.py, and official_configs.py to replace dataclasses with Pydantic models, add field validation, and improve error messages. This change enhances configuration reliability and developer feedback for misconfigurations. Also includes minor code cleanups and removal of unused variables in other modules.
 2025-11-19 22:44:45 +08:00
雅诺狐
875e02d42f 数据库重构 2025-11-19 22:40:23 +08:00
Furina-1013-create
f19fbcb814 炸飞Breaking形式并顺手修了一个数据库的小bug 2025-11-19 22:39:41 +08:00
雅诺狐
2e6ae2419b 优化项目结构，格式化代码 2025-11-19 22:35:40 +08:00
minecraft1024a
5093fd6ddf 修正Hippocampus类中的文档注释，更新关键词相关性计算逻辑，确保相似度计算基于关键词列表而非文本。同时，修复ParahippocampalGyrus类中获取边缘数据的逻辑，确保在未找到最后修改时间时使用当前时间。 2025-11-19 22:35:23 +08:00
Navinatte
325e646fcf 修复记忆整合功能错误喵~ 
- 修复 AttributeError: 'ParahippocampalGyrus' object has no attribute 'operation_consolidate_memory'的错误喵
~
- 将 consolidate_memory 方法中的调用改为使用存在的 operation_build_memory 方法了喵~

这里是修改的文件喵~：
- src/chat/memory_system/Hippocampus.py: 更正方法调用
 2025-11-19 22:35:07 +08:00
雅诺狐
23ee3767ef 初始化 2025-11-19 22:34:56 +08:00
SengokuCola
ef7a3aee23 Update memory_activator.py 2025-08-13 23:18:00 +08:00
SengokuCola
fed0c0fd04 feat：更新记忆系统 2025-08-13 23:17:28 +08:00
SengokuCola
268b428e8f feat: llm统计现已记录模型反应时间 2025-08-11 21:51:59 +08:00
SengokuCola
3804124df8 fix：优化reply，填补缺失值，youhualog 2025-08-11 00:19:31 +08:00
SengokuCola
69a855df8d feat：保存关键词到message数据库 2025-08-10 21:12:49 +08:00
SengokuCola
2ea4c75e9c fix：记忆构建出错 2025-08-09 00:42:39 +08:00