feat(model): 优化客户端缓存和事件循环检测机制

- 在 ClientRegistry 中添加事件循环变化检测,自动处理缓存失效
- 为 OpenaiClient 实现全局 AsyncOpenAI 客户端缓存,提升连接池复用效率
- 将 utils_model 中的同步方法改为异步,确保与事件循环兼容
- 移除 embedding 请求的特殊处理,现在所有请求都能享受缓存优势
- 添加缓存统计功能,便于监控和调试
This commit is contained in:
Windpicker-owo
2025-10-06 01:05:50 +08:00
parent a72012bf78
commit f59a31865c
4 changed files with 156 additions and 44 deletions

4
bot.py
View File

@@ -111,9 +111,9 @@ async def graceful_shutdown(main_system_instance):
try:
from src.chat.message_receive.chat_stream import get_chat_manager
chat_manager = get_chat_manager()
if hasattr(chat_manager, "_stop_auto_save"):
if hasattr(chat_manager, "stop_auto_save"):
logger.info("正在停止聊天管理器...")
chat_manager._stop_auto_save()
chat_manager.stop_auto_save()
except Exception as e:
logger.warning(f"停止聊天管理器时出错: {e}")