Windpicker-owo
|
ecef8edd28
|
feat(cache): 提升内存管理与监控能力
- 在CacheManager中添加健康监控系统，并提供详细的内存统计信息
- 使用新的memory_utils模块实现精确的内存估算
- 添加基于大小的缓存条目限制，以防止过大项目
- 通过去重内存计算优化缓存统计
- 在MultiLevelCache中添加过期条目的自动清理功能
- 增强批处理调度器缓存功能，支持LRU驱逐策略和内存追踪
- 更新配置以支持最大项目大小限制
- 添加全面的内存分析文档和工具
重大变更：CacheManager 的默认 TTL 参数现改为 None 而非 3600。数据库兼容层默认禁用缓存，以防止旧版代码过度使用缓存。
|
2025-11-19 23:31:55 +08:00 |
|
明天好像没什么
|
3db00aa8f3
|
ruff归零
|
2025-11-19 23:31:42 +08:00 |
|
明天好像没什么
|
ff6dc542e1
|
rufffffff
|
2025-11-19 23:31:37 +08:00 |
|
Windpicker-owo
|
f872a1ff82
|
fix: 修复批处理中的多次commit问题，bulk_create后清除缓存
|
2025-11-19 23:31:25 +08:00 |
|
Windpicker-owo
|
b9335829c8
|
feat(database): 完成优化层实现 - 自适应批量调度器
- batch_scheduler.py: 全新的自适应批量调度器
* AdaptiveBatchScheduler: 核心调度引擎
* 自适应批次: 10-100动态调整，根据负载优化
* 优先级队列: LOW/NORMAL/HIGH/URGENT四级优先级
* 智能等待: 50-200ms动态调整，平衡吞吐和延迟
* 超时保护: 防止操作长时间阻塞
* 拥塞控制: 实时监控队列状态，自动调节
- 性能优化算法:
* 批次自适应: congestion > 0.7 增大批次
* 等待时间调整: duration > 2*wait 增加等待
* 缓存集成: 5秒TTL，减少重复查询
- 批量执行能力:
* SELECT: 智能合并相似查询
* INSERT: 批量插入，减少事务开销
* UPDATE/DELETE: 单条执行但复用会话
- 统计监控:
* 吞吐量: 总操作数/批处理数
* 性能: 平均批次大小/执行时间
* 质量: 缓存命中率/超时率/错误率
* 拥塞: 实时拥塞评分(0-1)
优化层三大组件全部完成:
1. MultiLevelCache - L1+L2两级缓存
2. DataPreloader - 智能预加载引擎
3. AdaptiveBatchScheduler - 自适应批处理
预期性能提升:
- 查询响应: 减少60% (缓存+预加载)
- 写入吞吐: 提升300% (批量处理)
- 数据库负载: 降低50% (连接复用+批处理)
|
2025-11-19 23:30:43 +08:00 |
|