-
Notifications
You must be signed in to change notification settings - Fork 310
Open
Description
System Info / 系統信息
vllm 0.9.2
PyTorch版本: 2.8.0+cu128
CUDA是否可用: False
CUDA版本: 12.8
ROCm版本: None
Who can help? / 谁可以帮助到您?
当提问文件稍微在2000行就打印乱码,删除部分内容就不乱码,模型启动命令为
python -m vllm.entrypoints.openai.api_server --model /workspace/ai_data/pengfei/GLM-4.5-Air --served-model-name qwen --host 0.0.0.0 --port 8000 --dtype half --tensor-parallel-size 8 --gpu-memory-utilization 0.7 --chat-template /workspace/ai_data/pengfei/GLM-4.5-Air/chat_template.jinja
Information / 问题信息
- The official example scripts / 官方的示例脚本
- My own modified scripts / 我自己修改的脚本和任务
Reproduction / 复现过程
部署模型,roocode连接,提问
Expected behavior / 期待表现
不会乱码
Metadata
Metadata
Assignees
Labels
No labels