您好:
我在sft.sh开启 --freeze_LLM True 运行 SFT 时,程序在 sft.py报错:NameError: name 'original_vocab_size' is not defined。经检查代码,该变量似乎仅在 freeze_LLM 分支中被调用,但未在函数内定义。
我在 tokenizer 初始化后添加定义:
tokenizer = AutoTokenizer.from_pretrained(base_model, ...)
original_vocab_size = len(tokenizer) # 新增这行代码,运行成功
我不确定这是否是由于我的环境配置(如 transformers 版本)导致的,或者是我漏掉了某些定义。烦请作者有空时答疑,非常感谢!