带不带 HF 后缀的两版模型有什么区别呢？ #717
-
|
看到有回复说主要在于是否适配 vllm，但是文档里面显示都支持 vllm。 我用 vllm 跑了 chatglm4-9b-hf 经常出现乱答的幻觉情况，请问是和这个区别有关吗？二者具体而言有什么区别呢？ |
Beta Was this translation helpful? Give feedback.
Answered by
zRzRzRzRzRzRzR
Mar 2, 2025
Replies: 2 comments
-
|
带HF的版本是我们用了HF transformers库规范做的glm-4，不带的是之前没有适配，自己写的modeling_glm.py。两个模型应该完全相同。 |
Beta Was this translation helpful? Give feedback.
0 replies
Answer selected by
zRzRzRzRzRzRzR
-
|
这个问题vLLM已经修复了吧？ |
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
带HF的版本是我们用了HF transformers库规范做的glm-4，不带的是之前没有适配，自己写的modeling_glm.py。两个模型应该完全相同。