添加并发请求支持,更新LLMRequest类以允许根据配置的并发数量进行异步请求

This commit is contained in:
minecraft1024a
2025-08-16 13:39:49 +08:00
parent e19106b5b0
commit 54565a405c
3 changed files with 59 additions and 21 deletions

View File

@@ -118,6 +118,7 @@ price_out = 0
model_list = ["siliconflow-deepseek-v3"] # 使用的模型列表,每个子项对应上面的模型名称(name)
temperature = 0.2 # 模型温度新V3建议0.1-0.3
max_tokens = 800 # 最大输出token数
#concurrency_count = 2 # 并发请求数量默认为1不并发设置为2或更高启用并发
[model_task_config.utils_small] # 在麦麦的一些组件中使用的小模型,消耗量较大,建议使用速度较快的小模型
model_list = ["qwen3-8b"]