feat(model): 优化客户端缓存和事件循环检测机制
- 在 ClientRegistry 中添加事件循环变化检测,自动处理缓存失效 - 为 OpenaiClient 实现全局 AsyncOpenAI 客户端缓存,提升连接池复用效率 - 将 utils_model 中的同步方法改为异步,确保与事件循环兼容 - 移除 embedding 请求的特殊处理,现在所有请求都能享受缓存优势 - 添加缓存统计功能,便于监控和调试
This commit is contained in:
4
bot.py
4
bot.py
@@ -111,9 +111,9 @@ async def graceful_shutdown(main_system_instance):
|
||||
try:
|
||||
from src.chat.message_receive.chat_stream import get_chat_manager
|
||||
chat_manager = get_chat_manager()
|
||||
if hasattr(chat_manager, "_stop_auto_save"):
|
||||
if hasattr(chat_manager, "stop_auto_save"):
|
||||
logger.info("正在停止聊天管理器...")
|
||||
chat_manager._stop_auto_save()
|
||||
chat_manager.stop_auto_save()
|
||||
except Exception as e:
|
||||
logger.warning(f"停止聊天管理器时出错: {e}")
|
||||
|
||||
|
||||
Reference in New Issue
Block a user