gardel/Mofox-Core
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
7,542 Commits 1 Branch 0 Tags
fa59ad7ce9b5d1cf91dedf1b236a5207ea8a6ce2
Commit Graph

206 Commits

Author SHA1 Message Date
Windpicker-owo
e44f238e53 feat:实现短期内存管理器和统一内存管理器 
- 添加了ShortTermMemoryManager来管理短期记忆，包括提取、决策和记忆操作。
- 集成大型语言模型（LLM），用于结构化记忆提取和决策过程。
- 基于重要性阈值，实现了从短期到长期的内存转移逻辑。
- 创建了UnifiedMemoryManager，通过统一接口整合感知记忆、短期记忆和长期记忆的管理。
- 通过法官模型评估来增强记忆提取过程的充分性。
- 增加了自动和手动内存传输功能。
- 包含内存管理操作和决策的全面日志记录。
 2025-11-19 23:58:48 +08:00
minecraft1024a
f44ece0b29 style: 统一代码风格并采用现代化类型注解 
对整个代码库进行了一次全面的代码风格清理和现代化改造，主要包括：

- 移除了所有文件中多余的行尾空格。
- 将类型提示更新为 PEP 585 和 PEP 604 引入的现代语法（例如，使用 `list` 代替 `List`，使用 `|` 代替 `Optional`）。
- 清理了多个模块中未被使用的导入语句。
- 移除了不含插值变量的冗余 f-string。
- 调整了部分 `__init__.py` 文件中的 `__all__` 导出顺序，以保持一致性。

这些改动旨在提升代码的可读性和可维护性，使其与现代 Python 最佳实践保持一致，但未修改任何核心逻辑。
 2025-11-19 23:37:27 +08:00
Windpicker-owo
8f668f18f7 feat:增强记忆节点的嵌入生成和日志记录- 在 MemoryBuilder 中为 SUBJECT 和 VALUE 节点类型添加了嵌入生成，确保仅为内容足够的节点创建嵌入。- 改进了 MemoryTools 的日志记录，在初始向量搜索期间提供详细见解，包括低召回情况的警告。- 调整了不同记忆类型的评分权重，以强调相似性和重要性，提高记忆检索的质量。- 将向量搜索限制从 2 倍提高到 5 倍，以改善初始召回率。- 引入了一个新脚本，用于为现有节点生成缺失的嵌入，支持批量处理并改进索引。 2025-11-19 23:37:19 +08:00
Windpicker-owo
28035e18f1 feat(concurrency): 增加并发控制，优化信息提取和数据导入性能配置 2025-11-19 23:36:52 +08:00
Windpicker-owo
4344c88aed feat(embedding): 提升并发能力，优化嵌入生成和索引重建流程 2025-11-19 23:36:52 +08:00
Windpicker-owo
62414e865c feat(extraction): 优化信息提取流程，支持异步并发和缓存管理 2025-11-19 23:36:52 +08:00
明天好像没什么
be8574ac72 权限已修复 2025-11-19 23:36:34 +08:00
明天好像没什么
26d22e5dd8 ruff 2025-11-19 23:36:06 +08:00
copilot-swe-agent[bot]
f8e58ef229 fix: 修复代码质量问题 - 更正异常处理和导入语句 
Co-authored-by: Windpicker-owo <221029311+Windpicker-owo@users.noreply.github.com>
 2025-11-19 23:35:35 +08:00
Windpicker-owo
16be633dc2 feat(deduplicate_memories): 添加记忆去重工具，支持预览模式和相似度阈值设置 2025-11-19 23:35:30 +08:00
Windpicker-owo
ecef8edd28 feat(cache): 提升内存管理与监控能力 
- 在CacheManager中添加健康监控系统，并提供详细的内存统计信息
- 使用新的memory_utils模块实现精确的内存估算
- 添加基于大小的缓存条目限制，以防止过大项目
- 通过去重内存计算优化缓存统计
- 在MultiLevelCache中添加过期条目的自动清理功能
- 增强批处理调度器缓存功能，支持LRU驱逐策略和内存追踪
- 更新配置以支持最大项目大小限制
- 添加全面的内存分析文档和工具

重大变更：CacheManager 的默认 TTL 参数现改为 None 而非 3600。数据库兼容层默认禁用缓存，以防止旧版代码过度使用缓存。
 2025-11-19 23:31:55 +08:00
明天好像没什么
3db00aa8f3 ruff归零 2025-11-19 23:31:42 +08:00
明天好像没什么
ff6dc542e1 rufffffff 2025-11-19 23:31:37 +08:00
Windpicker-owo
d089972fac refactor: 完成数据库重构 - 批量更新导入路径 
- 更新35个文件的导入路径 (共65处修改)
- sqlalchemy_models  core.models (模型类)
- sqlalchemy_database_api  compatibility (兼容函数)
- database.database  core (初始化/关闭函数)
- 添加自动化导入更新工具 (scripts/update_database_imports.py)
- 所有兼容性层测试通过 (26/26)
- 数据库核心功能测试通过 (18/21)
 2025-11-19 23:30:51 +08:00
Windpicker-owo
42515debf7 refactor(database): 阶段二 - 完成核心层重构 
- models.py: 迁移25个模型类，使用统一的Mapped类型注解
  * 包含: ChatStreams, Messages, PersonInfo, LLMUsage等
  * 新增: PermissionNodes, UserPermissions, UserRelationships
  * 654行纯模型定义代码，无初始化逻辑

- migration.py: 重构数据库迁移逻辑
  * check_and_migrate_database: 自动检查和迁移表结构
  * create_all_tables: 快速创建所有表
  * drop_all_tables: 测试用删除所有表
  * 使用新架构的engine和models

- __init__.py: 完善导出清单
  * 导出所有25个模型类
  * 导出迁移函数
  * 导出Base和工具函数

- 辅助脚本:
  * extract_models.py: 自动提取模型定义
  * cleanup_models.py: 清理非模型代码

核心层现已完整，下一步进入优化层实现
 2025-11-19 23:30:41 +08:00
明天好像没什么
5638076328 refactor: 统一类型注解风格并优化代码结构 
- 将裸 except 改为显式 Exception 捕获
- 用列表推导式替换冗余 for 循环
- 为类属性添加 ClassVar 注解
- 统一 Union/Optional 写法为 |
- 移除未使用的导入
- 修复 SQLAlchemy 空值比较语法
- 优化字符串拼接与字典更新逻辑
- 补充缺失的 noqa 注释与异常链

BREAKING CHANGE: 所有插件基类的类级字段现要求显式 ClassVar 注解，自定义插件需同步更新
 2025-11-19 23:30:26 +08:00
minecraft1024a
2ee6aa3951 refactor(core): 优化类型提示与代码风格 
本次提交对项目代码进行了广泛的重构，主要集中在以下几个方面：

1.  **类型提示现代化**:
    -   将 `typing` 模块中的 `Optional[T]`、`List[T]`、`Dict[K, V]` 等旧式类型提示更新为现代的 `T | None`、`list[T]`、`dict[K, V]` 语法。
    -   这提高了代码的可读性，并与较新 Python 版本的风格保持一致。

2.  **代码风格统一**:
    -   移除了多余的空行和不必要的空格，使代码更加紧凑和规范。
    -   统一了部分日志输出的格式，增强了日志的可读性。

3.  **导入语句优化**:
    -   调整了部分模块的 `import` 语句顺序，使其符合 PEP 8 规范。

这些更改不涉及任何功能性变动，旨在提升代码库的整体质量、可维护性和开发体验。
 2025-11-19 23:30:12 +08:00
Windpicker-owo
9372f6d31c feat(expression): 增强表达学习与选择系统的健壮性和智能匹配 
- 改进表达学习器的提示词格式规范，增强LLM输出解析的容错性
- 优化表达选择器的模型预测模式，添加情境提取和模糊匹配机制
- 增强StyleLearner的错误处理和日志记录，提高训练和预测的稳定性
- 改进流循环管理器的日志输出，避免重复信息刷屏
- 扩展SendAPI的消息查找功能，支持DatabaseMessages对象兼容
- 添加智能回退机制，当模型预测失败时自动切换到经典模式
- 优化数据库查询逻辑，支持跨聊天流的表达方式共享

BREAKING CHANGE: 表达选择器的模型预测模式现在需要情境提取器配合使用，旧版本配置可能需要更新依赖关系
 2025-11-19 23:27:10 +08:00
明天好像没什么
f5e82685a0 feat(plugin): 集成 MCP 协议支持并优化代码风格 
- 新增 fastmcp 依赖，支持通过 Streamable HTTP 连接外部工具服务器
- 在 component_registry 与 tool_api 中实现 MCP 工具加载、注册及调用链路
- 补充 README 中的 MCP 特性说明
- 统一修复多处 import 顺序、空行、引号及类型注解，提升代码整洁度
- 在 pyproject.toml 中忽略 PERF203 规则，允许循环内异常处理
- 优化语音缓存与本地 ASR 调用逻辑，减少冗余代码
 2025-11-19 23:27:03 +08:00
minecraft1024a
f1dfe64f88 chore: 代码格式化与类型注解优化 
对项目中的多个文件进行了代码风格调整和类型注解更新。

- 使用 ruff 工具对代码进行自动格式化，主要包括：
    - 统一 import 语句的顺序和风格。
    - 移除未使用的 import。
    - 调整代码间距和空行。
- 将部分 `Optional[str]` 和 `List[T]` 等旧式类型注解更新为现代的 `str | None` 和 `list[T]` 语法。
- 修复了一些小的代码风格问题，例如将 `f'...'` 更改为 `f"..."`。
 2025-11-19 23:24:42 +08:00
tt-P607
02dfed673f fix(knowledge): 修复知识库嵌入生成中的并发处理问题 
原有的多线程 (`ThreadPoolExecutor`) 嵌入生成方式已被重构为完全异步的并发模型。

旧的实现为每个线程创建新的 `asyncio` 事件循环来运行协程，这种模式效率低下且不稳定，容易引发难以调试的并发问题。

新的实现统一在单个事件循环中处理所有异步任务，使用 `asyncio.Semaphore` 控制并发等级，并通过 `asyncio.gather` 高效地执行批量嵌入请求。此更改显著提高了代码的稳定性、性能和可维护性。

BREAKING CHANGE: `EmbeddingStore` 和 `EmbeddingManager` 中的多个核心方法（如 `store_new_data_set`, `check_embedding_model_consistency`, `batch_insert_strs` 等）已从同步方法更改为异步方法。所有对这些方法的调用现在都必须使用 `await`。
 2025-11-19 23:24:15 +08:00
tt-P607
baefca2115 孩子们，知识库的高并发太恐怖了 2025-11-19 23:23:22 +08:00
tt-P607
59fb160ea4 refactor(learning): 在线程池工作函数中实例化LLMRequest 
将 `LLMRequest` 对象的实例化从 `extract_information` 函数移动到线程池执行的 `extract_info_sync` 函数内部。

此更改确保每个工作线程都有自己独立的 `LLMRequest` 实例，避免了在多线程环境下共享同一实例可能引发的潜在并发问题。
 2025-11-19 23:23:18 +08:00
tt-P607
4e6a40509b chore(scripts): 为学习工具脚本引入并发依赖 2025-11-19 23:23:10 +08:00
minecraft1024a
8549778f9c chore(scripts): 移除过时的一次性脚本 
移除了两个用于项目重构的一次性脚本：
- `convert_sqlalchemy_models.py`：用于将 SQLAlchemy 模型从旧版 `Column` 语法转换为 `Mapped` 语法。
- `update_prompt_imports.py`：用于批量更新 `Prompt` 类的导入路径。

这些脚本已完成其历史使命，不再需要维护。

同时，对插件加载日志和 manifest 转换脚本进行了小幅改进：
- 插件加载日志现在会显示组件的简短描述，方便快速了解其功能。
- manifest 转换脚本增加了对更多元数据字段（如仓库地址、关键字、分类等）的支持。
 2025-11-19 23:23:04 +08:00
minecraft1024a
2e1ca1ac78 ruff ci 2025-11-19 23:23:02 +08:00
tt-P607
10b0148204 Revert "总之就是知识库" 
This reverts commit 0383a999fb.
 2025-11-19 23:22:57 +08:00
minecraft1024a
222aa09aaf chore(scripts): 移除无用的脚本文件 
删除了两个已不再需要的脚本：
- `run_multi_stage_smoke.py`: 用于早期烟雾测试，现已过时。
- `text_length_analysis.py`: 用于分析数据库中的消息文本长度，功能已不再需要。

feat(scripts):为来自MaiBot的插件提供了转换插件的 _manifest.json 文件的脚本
 2025-11-19 23:22:43 +08:00
minecraft1024a
6ce331cf0c chore: 代码清理和格式化 
对项目代码进行了一系列小幅度的清理和改进，包括：
- 移除未使用的导入语句
- 统一代码格式，如调整空行和导入顺序
- 优化日志输出的可读性
- 更新类型注解以符合现代 Python 语法
- 修复代码风格检查器（linter）报告的问题
 2025-11-19 23:21:54 +08:00
tt-P607
e863ca71fd 总之就是知识库 2025-11-19 23:21:11 +08:00
minecraft1024a
fb90d67bf6 refactor(core): 统一代码风格并移除未使用的导入 
本次提交主要进行代码风格的统一和现代化改造，具体包括：
- 使用 `|` 联合类型替代 `typing.Optional`，以符合 PEP 604 的现代语法。
- 移除多个文件中未被使用的导入语句，清理代码。
- 调整了部分日志输出的级别，使其更符合调试场景。
- 统一了部分文件的导入顺序和格式。
 2025-11-19 23:20:40 +08:00
雅诺狐
635a39fa5a refactor: 清理项目结构并修复类型注解问题 
修复 SQLAlchemy 模型的类型注解，使用 Mapped 类型避免类型检查器错误
- 修正异步数据库操作中缺少 await 的问题
- 优化反注入统计系统的数值字段处理逻辑
- 添加缺失的导入语句修复模块依赖问题
 2025-11-19 23:20:11 +08:00
minecraft1024a
2a89efe47a ruff fix但指定了--unsafe-fixes 2025-11-19 23:19:42 +08:00
Windpicker-owo
80fc37fd02 refactor(memory): 重构记忆系统架构，引入可配置的采样策略 
将记忆系统从单一构建模式重构为多策略可配置架构，支持灵活的采样行为控制：

核心架构改进：
- 重构记忆构建流程，分离采样策略与核心逻辑
- 引入MemorySamplingMode枚举，标准化采样模式定义
- 设计插件化采样器接口，支持海马体后台定时采样
- 优化记忆处理管道，添加bypass_interval机制支持后台采样

配置系统增强：
- 新增memory_sampling_mode配置项，支持hippocampus/immediate/all三种模式
- 添加海马体双峰采样参数配置，支持自定义采样间隔和分布
- 引入自适应采样阈值控制，动态调整记忆构建频率
- 完善精准记忆配置，支持基于价值评分的触发机制

兼容性与性能优化：
- 修复Python 3.9兼容性问题，替换strict=False参数
- 优化记忆检索逻辑，统一使用filters参数替代scope_id
- 改进错误处理机制，增强系统稳定性

BREAKING CHANGE: 新增memory_sampling_mode配置项，默认值从adaptive改为immediate
 2025-11-19 23:14:39 +08:00
John Richard
a79253c714 re-style: 格式化代码 2025-11-19 23:13:20 +08:00
John Richard
00ba07e0e1 style: 格式化代码 2025-11-19 23:12:18 +08:00
Windpicker-owo
06c0609d4a feat(memory): 实现三阶段记忆检索系统并简化提取策略 
- 移除规则和混合提取策略，统一使用LLM提取
- 实现三阶段检索：元数据粗筛→向量精筛→综合重排
- 新增JSON元数据索引支持，提升检索效率
- 优化Vector DB配置管理和批处理机制
- 统一记忆作用域为全局，实现完全共享
- 增强查询规划和综合评分算法
 2025-11-19 23:11:39 +08:00
Windpicker-owo
df3c616d09 ruff，私聊视为提及了bot 2025-11-19 23:07:30 +08:00
minecraft1024a
33330c4776 加了一个 尝试解析JSON字符串，如果失败则尝试修复并重新解析。 2025-11-19 23:05:51 +08:00
minecraft1024a
8d59ba9e16 feat(tool): 为学习工具添加缓存清理功能 
为 lpmm_learning_tool.py 脚本添加了清理缓存的选项。
用户现在可以通过菜单选项 '6' 来删除 `temp/lpmm_cache` 目录下的所有临时文件。

此功能有助于释放磁盘空间，并可以在缓存数据陈旧或损坏时进行重置，提高了工具的可维护性。
 2025-11-19 23:05:51 +08:00
minecraft1024a
0060c8de19 fix(tool): 增强信息提取失败时的错误日志 
在信息提取过程中，当大语言模型（LLM）返回的 JSON 格式不正确时，先前的日志只会记录一个通用的解析错误，而不会显示导致失败的原始响应内容，这使得调试变得困难。

此次更新通过在捕获到 JSON 解析异常时，额外记录 LLM 的原始输出内容来解决此问题。这有助于快速诊断并定位是模型输出不稳定还是提示词需要调整，从而提高了脚本的健壮性和可维护性。

此外，还对代码进行了一些格式化调整以提高可读性。
 2025-11-19 23:05:51 +08:00
minecraft1024a
f842c43ab0 ruff 2025-11-19 23:05:47 +08:00
tt-P607
e38feacda9 好的，柒柒！♪~ 让我来看看这次的修改。 
嗯~ 看样子你进行了一次大扫除呢！把 `scripts` 文件夹里关于信息提取和导入的旧脚本（`import_openie.py`, `info_extraction.py`, `raw_data_preprocessor.py`）都清理掉了。这说明我们正在用更棒、更整合的方式来管理知识库，真是个了不起的进步！

为了记录下这次漂亮的重构，我为你准备了这样一条 Commit Message，你觉得怎么样？♪~

refactor(knowledge): 移除废弃的知识库信息提取与导入脚本

移除了旧的、基于 `scripts` 目录的知识库构建流程。该流程依赖于以下三个脚本，现已被完全删除：
- `raw_data_preprocessor.py`: 用于预处理原始文本数据。
- `info_extraction.py`: 用于从文本中提取实体和三元组。
- `import_openie.py`: 用于将提取的信息导入向量数据库和知识图谱。

移除此流程旨在简化项目结构，并为未来更集成、更自动化的知识库管理方式做准备。

BREAKING CHANGE: 手动执行信息提取和知识导入的脚本已被移除。知识库的构建和管理流程将迁移至新的实现方式。
 2025-11-19 23:01:07 +08:00
minecraft1024a
02d8e7e5fc rrrrrrrrrrrrrrrrruuuuuuuuuuuufffffffffffffffffffffffffffffffff x2 2025-11-19 22:58:39 +08:00
Windpicker-owo
3980509caa refactor(prompt): 重构并统一提示词系统 
- 删除旧的智能提示词系统（smart_prompt.py）和相关参数模块（prompt_parameters.py）
- 将 prompt_builder.py 重命名为 prompt.py 并精简功能
- 更新所有模块的导入路径从 `src.chat.utils.prompt_builder` 到 `src.chat.utils.prompt`
- 统一提示词构建接口，使用新的 PromptContext 替代 SmartPromptParameters
- 移除重复和冗余代码，简化系统架构

BREAKING CHANGE: 旧的 SmartPrompt 系统已被完全移除，所有相关模块需要改用新的统一 Prompt 系统
 2025-11-19 22:58:17 +08:00
Windpicker-owo
d86cfa90ad 迁移：3804124，9e9e796 
（feat：将no_reply内置、fix：优化reply，填补缺失值）
 2025-11-19 22:56:51 +08:00
Windpicker-owo
fe472dff60 修复代码格式和文件名大小写问题 2025-11-19 22:55:55 +08:00
雅诺狐
ab3a36bfa7 全面更换orjson 2025-11-19 22:47:10 +08:00
minecraft1024a
7d13d0b6c2 fix(embedding): 彻底解决事件循环冲突导致的嵌入生成异常 
通过以下改动修复嵌入生成过程中的事件循环相关问题：
- 在 EmbeddingStore._get_embedding 中，改为同步创建-使用-销毁的新事件循环模式，彻底避免嵌套事件循环问题
- 调整批量嵌入 _get_embeddings_batch_threaded，确保每个线程使用独立、短生命周期的事件循环
- 新增 force_new 参数，LLM 请求嵌入任务时强制创建新的客户端实例，减少跨循环对象复用
- 在 OpenAI 客户端的 embedding 调用处补充详细日志，方便排查网络连接异常
- get_embedding() 每次都重建 LLMRequest，降低实例在多个事件循环中穿梭的概率

此次改动虽然以同步风格“硬掰”异步接口，但对现有接口零破坏，确保了向量数据库及相关知识检索功能的稳定性。(还有就是把的脚本文件夹移回来了)
 2025-11-19 22:44:54 +08:00
雅诺狐
23ee3767ef 初始化 2025-11-19 22:34:56 +08:00