请问如果我想手动修改训练数据的组织形式，应该怎么做 #696
-
|
如果transformer架构的模型是按照jinja的格式组织的话，GLM4应该看什么？我看tokenization_chatglm.py里有一个build_single_message函数，但是多轮对话的话应该怎么搞？ |
Beta Was this translation helpful? Give feedback.
Answered by
zRzRzRzRzRzRzR
Jan 28, 2025
Replies: 3 comments
-
|
我是用LLaMa-Factory来训练glm-4-9b-chat 模型的 |
Beta Was this translation helpful? Give feedback.
0 replies
-
|
多轮对话直接使用 apply_chat_tempalate来做。 |
Beta Was this translation helpful? Give feedback.
0 replies
Answer selected by
zRzRzRzRzRzRzR
-
|
感谢回复，祝新春快乐！
我的需求需要对chat template本身做出一些调整，当然你们可能不太建议这么做.⊙▽⊙
…---原始邮件---
发件人: "Yuxuan ***@***.***>
发送时间: 2025年1月28日(周二) 晚上8:23
收件人: ***@***.***>;
抄送: ***@***.******@***.***>;
主题: Re: [THUDM/GLM-4] 请问如果我想手动修改训练数据的组织形式，应该怎么做 (Discussion #696)
多轮对话直接使用 apply_chat_tempalate来做。
无论使用什么框架进行微调，你需要注意的核心点是input_ids是否拼接正确
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you authored the thread.Message ID: ***@***.***>
|
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
多轮对话直接使用 apply_chat_tempalate来做。
无论使用什么框架进行微调，你需要注意的核心点是input_ids是否拼接正确