Windpicker-owo
|
fb112ada2f
|
feat: 批量生成文本embedding,优化兴趣匹配计算逻辑,支持消息兴趣值的批量更新
|
2025-11-19 23:58:50 +08:00 |
|
Windpicker-owo
|
f685ea9fa8
|
feat: 添加历史消息长度限制,优化上下文管理和消息处理逻辑
|
2025-11-19 23:58:49 +08:00 |
|
minecraft1024a
|
334df4d87f
|
refactor(plugin_system): 移除路由级认证,引入端点级安全依赖
之前的插件路由认证机制通过在 `RouterInfo` 中设置 `auth_required` 标志,对整个路由组件统一应用API密钥验证。这种方式缺乏灵活性,无法对单个端点进行细粒度的安全控制。
本次重构移除了 `auth_required` 机制,转而引入一个可重用的 FastAPI 依赖项 `VerifiedDep`。插件开发者现在可以按需将其应用到需要保护的特定端点上,从而实现更灵活、更精确的访问控制。
`hello_world_plugin` 已更新,以演示新的认证方式。
BREAKING CHANGE: 移除了 `RouterInfo` 中的 `auth_required` 属性。所有依赖此属性进行认证的插件路由都需要更新,改为在需要保护的端点上使用 `VerifiedDep` 依赖项。
|
2025-11-19 23:58:48 +08:00 |
|
minecraft1024a
|
717d4ba555
|
feat(plugin_system): 引入插件HTTP端点系统
引入了全新的 `BaseRouterComponent` 组件类型,允许插件开发者通过继承并实现 `register_endpoints` 方法来创建 FastAPI 路由。
- 插件系统现在可以自动发现并注册这些路由组件,并将它们挂载到主 FastAPI 应用的 `/plugins/<plugin_name>` 前缀下。
- 新增了全局配置 `[plugin_http_system]`,提供了总开关、API 速率限制和 API 密钥认证 (`X-API-Key`) 等功能,以确保端点的安全性和稳定性。
- 更新了 `hello_world_plugin` 插件,增加了一个简单的 `/greet` 端点作为实现示例。
|
2025-11-19 23:58:48 +08:00 |
|
Windpicker-owo
|
40709d95de
|
rebase 清理
|
2025-11-19 23:45:47 +08:00 |
|
Windpicker-owo
|
ddd22740c6
|
增强 ModuleColoredConsoleRenderer,支持 Rich 标记语言解析,改进消息内容着色逻辑
|
2025-11-19 23:37:58 +08:00 |
|
拾风
|
e4033fd662
|
Potential fix for code scanning alert no. 26: Use of a broken or weak cryptographic hashing algorithm on sensitive data
Co-authored-by: Copilot Autofix powered by AI <62310815+github-advanced-security[bot]@users.noreply.github.com>
|
2025-11-19 23:37:56 +08:00 |
|
拾风
|
d63cb41b62
|
Potential fix for code scanning alert no. 15: Use of a broken or weak cryptographic hashing algorithm on sensitive data
Co-authored-by: Copilot Autofix powered by AI <62310815+github-advanced-security[bot]@users.noreply.github.com>
|
2025-11-19 23:37:56 +08:00 |
|
minecraft1024a
|
56e25c0b51
|
refactor(config): 移除废弃的数据库配置模块
旧的数据库配置模块 `src/common/database/config` 已被完全移除。该模块已被标记为废弃,其功能已统一整合到 `global_config` 中。
本次重构旨在:
- 简化代码库,消除冗余和过时的文件。
- 统一配置管理,提高可维护性。
此外,对 `AttentionOptimizer` 中的类变量添加了 `ClassVar` 类型注解,以增强代码的清晰度和类型安全性。
|
2025-11-19 23:37:44 +08:00 |
|
Windpicker-owo
|
3a87db0448
|
feat(planner): 使用标准化的JSON格式重构动作规划系统
- 将聊天流和消息管理器中的默认聊天模式从“normal”更改为“focus”
- 从ActionPlannerInfo数据模型中移除已弃用的should_quote_reply字段
- 通过移除回复可用性检查和基于兴趣的过滤,简化计划过滤逻辑
- 采用新的标准化JSON操作格式,并强制使用操作列表结构
- 更新规划器提示,以强制执行一致的动作输出格式
- 移除遗留操作参数过滤,简化消息目标解析
- 清理计划过滤器中未使用的导入和已弃用的代码路径
|
2025-11-19 23:37:39 +08:00 |
|
Windpicker-owo
|
1afcf51d61
|
refactor: 移除对机器人自身用户ID的特殊处理,统一使用QQ号进行比较
|
2025-11-19 23:37:31 +08:00 |
|
minecraft1024a
|
f44ece0b29
|
style: 统一代码风格并采用现代化类型注解
对整个代码库进行了一次全面的代码风格清理和现代化改造,主要包括:
- 移除了所有文件中多余的行尾空格。
- 将类型提示更新为 PEP 585 和 PEP 604 引入的现代语法(例如,使用 `list` 代替 `List`,使用 `|` 代替 `Optional`)。
- 清理了多个模块中未被使用的导入语句。
- 移除了不含插值变量的冗余 f-string。
- 调整了部分 `__init__.py` 文件中的 `__all__` 导出顺序,以保持一致性。
这些改动旨在提升代码的可读性和可维护性,使其与现代 Python 最佳实践保持一致,但未修改任何核心逻辑。
|
2025-11-19 23:37:27 +08:00 |
|
Windpicker-owo
|
3e8ef845e3
|
feat(context_manager): 移除消息添加和标记已读的日志记录,简化代码
|
2025-11-19 23:37:11 +08:00 |
|
Windpicker-owo
|
54aabc22c6
|
feat(context_manager): 添加消息处理日志,优化消息标记为已读的逻辑
|
2025-11-19 23:37:10 +08:00 |
|
Windpicker-owo
|
c4c7c4ccc8
|
fix(cache-manager): 修复类型注解,使用Optional以提高代码可读性和一致性
|
2025-11-19 23:36:31 +08:00 |
|
Windpicker-owo
|
ce558514c3
|
fix(cache-manager): 修复并行获取缓存统计信息和内存使用,避免死锁和重复计数
fix(scheduler): 改进调度任务的多阶段取消机制,彻底避免死锁风险
|
2025-11-19 23:36:30 +08:00 |
|
Windpicker-owo
|
43d4aa3f0b
|
feat(scheduler): 新增死锁检测器,改进任务取消机制,优化异步通知
|
2025-11-19 23:36:28 +08:00 |
|
Windpicker-owo
|
9ffc26bec3
|
fix(config): 增加缓存生存时间和最大内存占用限制
|
2025-11-19 23:36:27 +08:00 |
|
Windpicker-owo
|
636b1e9fea
|
feat(message-manager): 用流循环管理器替换调度器/分派器
- 移除 scheduler_dispatcher 模块,并用 distribution_manager 替换
- 实现StreamLoopManager,以改进消息分发和中断处理
- 将消息缓存系统直接添加到StreamContext中,并配置缓存设置
- 使用具有缓存感知的消息处理来增强SingleStreamContextManager
- 更新`message_manager`,使用`stream_loop_manager`替代`scheduler_dispatcher`
- 在StreamContext数据模型中添加缓存统计和刷新方法
- 通过适当的任务取消和重新处理来改进中断处理
- 为ChatManager添加get_all_stream方法,以实现更优的流管理
- 更新亲和聊天规划器,以更可靠地处理专注/正常模式切换
|
2025-11-19 23:36:25 +08:00 |
|
明天好像没什么
|
26d22e5dd8
|
ruff
|
2025-11-19 23:36:06 +08:00 |
|
minecraft1024a
|
5702dd8a9f
|
refactor(server): 将记忆可视化工具和统计功能整合进主服务
将原先独立的记忆可视化工具(Memory Visualizer)和LLM使用统计逻辑深度整合到项目主服务中。
主要变更包括:
- **移除独立的可视化工具**: 删除了 `tools/memory_visualizer` 目录下的所有独立服务器、脚本和文档,清理了项目结构。
- **API路由整合**: 在主 FastAPI 应用中注册了记忆可视化工具的路由,使其成为核心功能的一部分,可通过 `/visualizer` 访问。
- **统计逻辑重构**: 将LLM使用统计的计算逻辑从API路由层 `statistic_router.py` 中剥离,迁移到 `src/chat/utils/statistic.py` 中,实现了逻辑的解耦和复用。API路由现在直接调用重构后的统计任务。
- **依赖清理与添加**: 添加了 `jinja2` 作为模板渲染的依赖,并清除了与独立可视化工具相关的旧依赖。
此次重构简化了项目的维护和部署,将原本分散的功能统一管理,提升了代码的内聚性和可维护性。
|
2025-11-19 23:35:41 +08:00 |
|
Windpicker-owo
|
e6f3dfc1e7
|
feat(tool_history): 实现流工具历史管理器,以增强工具调用跟踪和缓存- 添加了 StreamToolHistoryManager,用于管理聊天流级别的工具调用历史。- 引入了 ToolCallRecord,用于详细记录工具调用,包括执行时间和缓存命中情况。- 集成了内存缓存和全局缓存系统,以高效检索结果。- 更新了 ToolExecutor,以使用新的历史管理器记录和获取工具调用。- 增强了 ExaSearchEngine,以限制返回结果数量并提升答案质量。- 重构了 CacheManager 中的缓存管理,以包括工具调用统计和性能指标。
|
2025-11-19 23:35:27 +08:00 |
|
Windpicker-owo
|
5e6e56454d
|
feat(affinity-flow): 通过标签扩展与提及分类增强兴趣匹配
- 实施扩展标签描述以实现更精确的语义匹配
- 增加强/弱提及分类,并附带独立的兴趣评分
- 重构机器人兴趣管理器,采用动态嵌入生成与缓存机制
- 通过增强的@提及处理功能优化消息处理
- 更新配置以支持回帖提升机制
- 将亲和力流量聊天重新组织为模块化结构,包含核心、规划器、主动响应和工具子模块
- 移除已弃用的规划器组件并整合功能
- 为napcat适配器插件添加数据库表初始化功能
- 修复元事件处理器中的心跳监控
|
2025-11-19 23:31:58 +08:00 |
|
Windpicker-owo
|
f822bfb6ee
|
feat(emoji): 使用QueryBuilder优化数据库查询并启用缓存
|
2025-11-19 23:31:56 +08:00 |
|
Windpicker-owo
|
ecef8edd28
|
feat(cache): 提升内存管理与监控能力
- 在CacheManager中添加健康监控系统,并提供详细的内存统计信息
- 使用新的memory_utils模块实现精确的内存估算
- 添加基于大小的缓存条目限制,以防止过大项目
- 通过去重内存计算优化缓存统计
- 在MultiLevelCache中添加过期条目的自动清理功能
- 增强批处理调度器缓存功能,支持LRU驱逐策略和内存追踪
- 更新配置以支持最大项目大小限制
- 添加全面的内存分析文档和工具
重大变更:CacheManager 的默认 TTL 参数现改为 None 而非 3600。数据库兼容层默认禁用缓存,以防止旧版代码过度使用缓存。
|
2025-11-19 23:31:55 +08:00 |
|
Windpicker-owo
|
29a5357728
|
feat(cache): 添加自定义TTL支持和内存限制配置
|
2025-11-19 23:31:55 +08:00 |
|
明天好像没什么
|
e34c47257c
|
refactor(logger): 将控制台渲染器迁移至 Rich 库,支持十六进制颜色
用 Rich 的原生十六进制颜色支持替代了手动 ANSI 颜色处理
将所有模块颜色定义从 ANSI 转义码转换为 #RRGGBB 格式
移除了 _normalize_color() 函数及相关 ANSI 转换逻辑
更新 ModuleColoredConsoleRenderer,使用 Rich Text 对象进行渲染
通过引入 structlog.typing 增强类型提示
保持日志元数据注册的向后兼容性
破坏性变更:日志元数据现在存储原始十六进制颜色,而非 ANSI 代码
|
2025-11-19 23:31:46 +08:00 |
|
明天好像没什么
|
3db00aa8f3
|
ruff归零
|
2025-11-19 23:31:42 +08:00 |
|
明天好像没什么
|
ff6dc542e1
|
rufffffff
|
2025-11-19 23:31:37 +08:00 |
|
Windpicker-owo
|
f872a1ff82
|
fix: 修复批处理中的多次commit问题,bulk_create后清除缓存
|
2025-11-19 23:31:25 +08:00 |
|
Windpicker-owo
|
8a17d999f9
|
fix(critical): 在session内部完成字典转换,彻底解决detached对象greenlet错误
|
2025-11-19 23:31:23 +08:00 |
|
Windpicker-owo
|
da50481bd7
|
fix(critical): 修复SQLite事务未提交的严重bug - 在connection_pool.get_session()中添加自动commit
|
2025-11-19 23:31:22 +08:00 |
|
Windpicker-owo
|
854cf2f166
|
perf: 使用列表推导式替换循环 - 优化group_by性能
|
2025-11-19 23:31:19 +08:00 |
|
Windpicker-owo
|
997167053c
|
style: ruff自动格式化修复 - 修复180个空白行和格式问题
|
2025-11-19 23:31:17 +08:00 |
|
Windpicker-owo
|
32a94ab105
|
feat: 实现方案A - 缓存字典而非SQLAlchemy对象
核心改进:
- 添加 _model_to_dict() 和 _dict_to_model() 辅助函数
- CRUD.get/get_by/get_multi 现在缓存字典而非对象
- QueryBuilder.first/all 现在缓存字典而非对象
- 从缓存恢复时重建detached对象,所有字段已加载
优势:
- 彻底避免'not bound to Session'错误
- 缓存数据独立于Session生命周期
- 对象反序列化后所有字段可直接访问
- 提高缓存可靠性和数据可用性
技术细节:
- 缓存层存储纯字典数据(可序列化)
- 查询时在session内预加载所有列
- 返回前转换为字典并缓存
- 缓存命中时从字典重建对象
- 重建的对象虽然detached但所有字段已填充
|
2025-11-19 23:31:13 +08:00 |
|
Windpicker-owo
|
6d1fa11813
|
fix: QueryBuilder预加载列避免detached对象lazy loading
- 在QueryBuilder.first()和all()中预加载所有列
- 防止在session外访问属性导致greenlet_spawn错误
- 与CRUD层修复保持一致的模式
|
2025-11-19 23:31:11 +08:00 |
|
Windpicker-owo
|
c98091938e
|
fix(database): 修复 detached 对象延迟加载导致的 greenlet 错误
问题:
- CRUD 返回的对象在 session 关闭后变为 detached 状态
- 访问属性时 SQLAlchemy 尝试延迟加载,但没有 session
- 导致: greenlet_spawn has not been called
根本原因:
- SQLAlchemy 对象在 session 外被访问
- 延迟加载机制尝试在非异步上下文中执行异步操作
修复方案:
1. CRUDBase.get_by(): 在 session 内预加载所有列
2. CRUDBase.get_multi(): 在 session 内预加载所有实例的所有列
3. PersonInfo.get_value(): 添加异常处理,防御性编程
影响:
- 所有通过 CRUD 获取的对象现在都完全加载
- 避免了 detached 对象的延迟加载问题
- 可能略微增加初始查询时间,但避免了运行时错误
|
2025-11-19 23:31:10 +08:00 |
|
Windpicker-owo
|
37a0725d99
|
chore: 清理旧数据库实现文件
- 删除old/目录下的旧实现文件
- 删除sqlalchemy_models.py.bak备份文件
- 完成数据库重构代码清理工作
|
2025-11-19 23:31:02 +08:00 |
|
Windpicker-owo
|
2c6796406c
|
feat: 为高频查询添加多级缓存支持
- 为get_or_create_person添加10分钟缓存(PersonInfo高频查询)
- 为get_user_relationship添加5分钟缓存(关系查询优化)
- 为get_or_create_chat_stream添加5分钟缓存(聊天流优化)
- 在update_person_affinity和update_relationship_affinity中添加缓存失效
- 新增generate_cache_key辅助函数用于手动缓存管理
- 使用现有的@cached装饰器和MultiLevelCache系统
性能提升:
- PersonInfo查询命中缓存时可减少90%+数据库访问
- 关系查询在高频场景下显著降低数据库压力
- L1/L2缓存架构确保热数据快速访问
|
2025-11-19 23:31:02 +08:00 |
|
Windpicker-owo
|
6685f12e20
|
refactor: 移除旧的数据库配置管理模块,整合配置到全局配置中
|
2025-11-19 23:30:59 +08:00 |
|
Windpicker-owo
|
ee8b9b266c
|
fix: 在兼容层重新导出get_db_session和get_engine
- 兼容层应该提供对核心函数的访问
- 从core重新导出get_db_session和get_engine
- 修复从compatibility导入这些函数的代码
|
2025-11-19 23:30:57 +08:00 |
|
Windpicker-owo
|
6317fe5a38
|
refactor: 清理旧数据库文件并完成导入更新
- 将6个旧数据库文件移动到 old/ 目录归档
* sqlalchemy_models.py
* sqlalchemy_database_api.py
* database.py
* db_migration.py
* db_batch_scheduler.py
* sqlalchemy_init.py
- 更新剩余2个文件的导入路径
* src/schedule/database.py
* src/plugins/built_in/napcat_adapter_plugin/src/database.py
- 数据库重构基本完成,系统使用新的6层架构
|
2025-11-19 23:30:54 +08:00 |
|
Windpicker-owo
|
d089972fac
|
refactor: 完成数据库重构 - 批量更新导入路径
- 更新35个文件的导入路径 (共65处修改)
- sqlalchemy_models core.models (模型类)
- sqlalchemy_database_api compatibility (兼容函数)
- database.database core (初始化/关闭函数)
- 添加自动化导入更新工具 (scripts/update_database_imports.py)
- 所有兼容性层测试通过 (26/26)
- 数据库核心功能测试通过 (18/21)
|
2025-11-19 23:30:51 +08:00 |
|
Windpicker-owo
|
3b42511f90
|
fix: 修复get_or_create返回值和MODEL_MAPPING
- 修复adapter.py db_save函数中get_or_create的元组解包
- 添加缺失的5个模型到MODEL_MAPPING: Videos, BotPersonalityInterests, BanUser, AntiInjectionStats, MonthlyPlan
- 修改test_retry_decorator使用exceptions参数支持通用Exception
- Stage 4-6测试现在100%通过 (26/26)
|
2025-11-19 23:30:45 +08:00 |
|
Windpicker-owo
|
148592686f
|
fix(database): 修复get_or_create返回元组的处理
- 所有get_or_create调用解包(instance, created)元组
- 更新函数返回类型: get_or_create_person, get_or_create_chat_stream返回tuple
- 修复store_action_info, update_relationship_affinity中的get_or_create调用
- 重要:get_or_create遵循Django ORM约定,返回(instance, created)元组
|
2025-11-19 23:30:44 +08:00 |
|
Windpicker-owo
|
5f5fe03933
|
fix(database): 修复record_llm_usage函数的字段映射
- 更新使用正确的LLMUsage模型字段名:
* input_tokens -> prompt_tokens
* output_tokens -> completion_tokens
* stream_id, platform (兼容参数,不存储)
- 添加所有必需字段支持:
* user_id, request_type, endpoint, cost, status
* model_assign_name, model_api_provider
* time_cost (可选)
- 保持向后兼容的参数接口
- 修复后测试通过率提升至69.2% (18/26)
|
2025-11-19 23:30:44 +08:00 |
|
Windpicker-owo
|
7f4ad65457
|
fix(database): 修复decorators循环导入问题
在cached装饰器中延迟导入get_cache,避免以下循环依赖:
decorators -> optimization.get_cache -> batch_scheduler -> session -> engine -> utils.exceptions
这个修复确保了所有装饰器可以正常导入和使用
|
2025-11-19 23:30:43 +08:00 |
|
Windpicker-owo
|
64bdd0df12
|
feat(database): 完成API层、Utils层和兼容层重构 (Stage 4-6)
Stage 4: API层重构
=================
新增文件:
- api/crud.py (430行): CRUDBase泛型类,提供12个CRUD方法
* get, get_by, get_multi, create, update, delete
* count, exists, get_or_create, bulk_create, bulk_update
* 集成缓存: 自动缓存读操作,写操作清除缓存
* 集成批处理: 可选use_batch参数透明使用AdaptiveBatchScheduler
- api/query.py (461行): 高级查询构建器
* QueryBuilder: 链式调用,MongoDB风格操作符
- 操作符: __gt, __lt, __gte, __lte, __ne, __in, __nin, __like, __isnull
- 方法: filter, filter_or, order_by, limit, offset, no_cache
- 执行: all, first, count, exists, paginate
* AggregateQuery: 聚合查询
- sum, avg, max, min, group_by_count
- api/specialized.py (461行): 业务特定API
* ActionRecords: store_action_info, get_recent_actions
* Messages: get_chat_history, get_message_count, save_message
* PersonInfo: get_or_create_person, update_person_affinity
* ChatStreams: get_or_create_chat_stream, get_active_streams
* LLMUsage: record_llm_usage, get_usage_statistics
* UserRelationships: get_user_relationship, update_relationship_affinity
- 更新api/__init__.py: 导出所有API接口
Stage 5: Utils层实现
===================
新增文件:
- utils/decorators.py (320行): 数据库操作装饰器
* @retry: 自动重试失败操作,指数退避
* @timeout: 超时控制
* @cached: 自动缓存函数结果
* @measure_time: 性能测量,慢查询日志
* @transactional: 事务管理,自动提交/回滚
* @db_operation: 组合装饰器
- utils/monitoring.py (330行): 性能监控系统
* DatabaseMonitor: 单例监控器
* OperationMetrics: 操作指标 (次数、时间、错误)
* DatabaseMetrics: 全局指标
- 连接池统计
- 缓存命中率
- 批处理统计
- 预加载统计
* 便捷函数: get_monitor, record_operation, print_stats
- 更新utils/__init__.py: 导出装饰器和监控函数
Stage 6: 兼容层实现
==================
新增目录: compatibility/
- adapter.py (370行): 向后兼容适配器
* 完全兼容旧API签名: db_query, db_save, db_get, store_action_info
* 支持MongoDB风格操作符 (\, \, \)
* 内部使用新架构 (QueryBuilder + CRUDBase)
* 保持返回dict格式不变
* MODEL_MAPPING: 25个模型映射
- __init__.py: 导出兼容API
更新database/__init__.py:
- 导出核心层 (engine, session, models, migration)
- 导出优化层 (cache, preloader, batch_scheduler)
- 导出API层 (CRUD, Query, 业务API)
- 导出Utils层 (装饰器, 监控)
- 导出兼容层 (db_query, db_save等)
核心特性
========
类型安全: Generic[T]提供完整类型推断
缓存透明: 自动缓存,用户无需关心
批处理透明: 可选批处理,自动优化高频写入
链式查询: 流畅的API设计
业务封装: 常用操作封装成便捷函数
向后兼容: 兼容层保证现有代码无缝迁移
性能监控: 完整的指标收集和报告
统计数据
========
- 新增文件: 7个
- 代码行数: ~2050行
- API函数: 14个业务API + 6个装饰器
- 兼容函数: 5个 (db_query, db_save, db_get等)
下一步
======
- 更新28个文件的import语句 (从sqlalchemy_database_api迁移)
- 移动旧文件到old/目录
- 编写Stage 4-6的测试
- 集成测试验证兼容性
|
2025-11-19 23:30:43 +08:00 |
|
Windpicker-owo
|
b9335829c8
|
feat(database): 完成优化层实现 - 自适应批量调度器
- batch_scheduler.py: 全新的自适应批量调度器
* AdaptiveBatchScheduler: 核心调度引擎
* 自适应批次: 10-100动态调整,根据负载优化
* 优先级队列: LOW/NORMAL/HIGH/URGENT四级优先级
* 智能等待: 50-200ms动态调整,平衡吞吐和延迟
* 超时保护: 防止操作长时间阻塞
* 拥塞控制: 实时监控队列状态,自动调节
- 性能优化算法:
* 批次自适应: congestion > 0.7 增大批次
* 等待时间调整: duration > 2*wait 增加等待
* 缓存集成: 5秒TTL,减少重复查询
- 批量执行能力:
* SELECT: 智能合并相似查询
* INSERT: 批量插入,减少事务开销
* UPDATE/DELETE: 单条执行但复用会话
- 统计监控:
* 吞吐量: 总操作数/批处理数
* 性能: 平均批次大小/执行时间
* 质量: 缓存命中率/超时率/错误率
* 拥塞: 实时拥塞评分(0-1)
优化层三大组件全部完成:
1. MultiLevelCache - L1+L2两级缓存
2. DataPreloader - 智能预加载引擎
3. AdaptiveBatchScheduler - 自适应批处理
预期性能提升:
- 查询响应: 减少60% (缓存+预加载)
- 写入吞吐: 提升300% (批量处理)
- 数据库负载: 降低50% (连接复用+批处理)
|
2025-11-19 23:30:43 +08:00 |
|
Windpicker-owo
|
51cb53f6e3
|
feat(database): 实现智能数据预加载器
- preloader.py: 完整的数据预加载系统
* DataPreloader: 核心预加载引擎
* AccessPattern: 访问模式追踪和分析
* 热点识别: 基于时间衰减的热度评分算法
* 关联预取: 自动识别和预加载相关数据
* 自适应策略: 动态调整预加载阈值
* 异步预加载: 不阻塞主线程
- CommonDataPreloader: 常见数据预加载
* preload_user_data: 用户信息、权限、关系
* preload_chat_context: 聊天流和消息上下文
- 特性:
* 时间衰减: score = count * decay^hours
* 关联学习: 自动记录数据访问关联
* 批量预加载: 后台批量加载热点数据
* 统计监控: 预加载命中率等指标
优化层第二部分完成,预期提升30%响应速度
|
2025-11-19 23:30:42 +08:00 |
|