minecraft1024a
a6e6569e3e
feat(llm): 在负载均衡中引入延迟作为考量因素
为了更智能地选择模型，负载均衡算法现在会考虑模型的平均响应延迟。延迟较高的模型将受到惩罚，从而优先选择响应更快的模型。
- 使用 `namedtuple` (`ModelUsageStats`) 替代了原有的元组来存储模型使用统计信息，提高了代码的可读性和可维护性。
- 在模型选择的评分公式中增加了 `avg_latency` 权重，使算法能够动态适应模型的性能变化。
- 更新了 `LLMRequest` 类，以在每次成功请求后计算并更新模型的平均延迟。
2025-11-19 23:20:41 +08:00
..
2025-11-19 23:19:53 +08:00
2025-11-19 23:19:42 +08:00
2025-07-25 13:21:48 +08:00
2025-11-19 23:13:20 +08:00
2025-07-25 13:21:48 +08:00
2025-11-19 23:20:41 +08:00
2025-11-19 23:19:42 +08:00