- 在 ClientRegistry 中添加事件循环变化检测,自动处理缓存失效 - 为 OpenaiClient 实现全局 AsyncOpenAI 客户端缓存,提升连接池复用效率 - 将 utils_model 中的同步方法改为异步,确保与事件循环兼容 - 移除 embedding 请求的特殊处理,现在所有请求都能享受缓存优势 - 添加缓存统计功能,便于监控和调试
- 在 ClientRegistry 中添加事件循环变化检测,自动处理缓存失效 - 为 OpenaiClient 实现全局 AsyncOpenAI 客户端缓存,提升连接池复用效率 - 将 utils_model 中的同步方法改为异步,确保与事件循环兼容 - 移除 embedding 请求的特殊处理,现在所有请求都能享受缓存优势 - 添加缓存统计功能,便于监控和调试