@@ -296,9 +296,10 @@ def byref(obj: CtypesCData, offset: Optional[int] = None) -> CtypesRef[CtypesCDa
296
296
# LLAMA_VOCAB_PRE_TYPE_GPT2 = 7,
297
297
# LLAMA_VOCAB_PRE_TYPE_REFACT = 8,
298
298
# LLAMA_VOCAB_PRE_TYPE_COMMAND_R = 9,
299
- # LLAMA_VOCAB_PRE_TYPE_QWEN2 = 10,
300
- # LLAMA_VOCAB_PRE_TYPE_OLMO = 11,
301
- # LLAMA_VOCAB_PRE_TYPE_DBRX = 12,
299
+ # LLAMA_VOCAB_PRE_TYPE_STABLELM2 = 10,
300
+ # LLAMA_VOCAB_PRE_TYPE_QWEN2 = 11,
301
+ # LLAMA_VOCAB_PRE_TYPE_OLMO = 12,
302
+ # LLAMA_VOCAB_PRE_TYPE_DBRX = 13,
302
303
# };
303
304
LLAMA_VOCAB_PRE_TYPE_DEFAULT = 0
304
305
LLAMA_VOCAB_PRE_TYPE_LLAMA3 = 1
@@ -310,9 +311,10 @@ def byref(obj: CtypesCData, offset: Optional[int] = None) -> CtypesRef[CtypesCDa
310
311
LLAMA_VOCAB_PRE_TYPE_GPT2 = 7
311
312
LLAMA_VOCAB_PRE_TYPE_REFACT = 8
312
313
LLAMA_VOCAB_PRE_TYPE_COMMAND_R = 9
313
- LLAMA_VOCAB_PRE_TYPE_QWEN2 = 10
314
- LLAMA_VOCAB_PRE_TYPE_OLMO = 11
315
- LLAMA_VOCAB_PRE_TYPE_DBRX = 12
314
+ LLAMA_VOCAB_PRE_TYPE_STABLELM2 = 10
315
+ LLAMA_VOCAB_PRE_TYPE_QWEN2 = 11
316
+ LLAMA_VOCAB_PRE_TYPE_OLMO = 12
317
+ LLAMA_VOCAB_PRE_TYPE_DBRX = 13
316
318
317
319
318
320
# // note: these values should be synchronized with ggml_rope
0 commit comments