【问题解决】KeyError: ‘model.embed_tokens.weight‘ when loading quantized model with AutoModelForCausalLM

【问题解决】KeyError: ‘model.embed_tokens.weight’ when loading quantized model with AutoModelForCausalLM

问题描述

在使用 AutoModelForCausalLM 加载量化模型时，遇到以下错误：

KeyError: 'model.embed_tokens.weight'

问题原因

这个错误通常由以下原因引起：

1. 模型结构不匹配：量化模型的结构与 AutoModelForCausalLM 期望的结构不匹配
2. 量化方法不正确：使用了不兼容的量化方法或库
3. 模型文件不完整：模型文件缺少必要的权重文件
4. transformers 版本不兼容：使用的 transformers 版本不支持该量化模型
5. 配置文件错误：模型的配置文件与实际权重不匹配
6. 量化库版本问题：使用的量化库（如 GPTQ、AWQ 等）版本不兼容

解决方案

方案 1：使用正确的模型加载方式

对于量化模型，需要使用正确的加载方式：

fromtransformersimportAutoTokenizer,AutoModelForCausalLM# 加载 GPTQ 量化模型tokenizer=AutoTokenizer.from_pretrained("TheBloke/Llama-2-7B-GPTQ")model=AutoModelForCausalLM.from_pretrained("TheBloke/Llama-2-7B-GPTQ",device_map="auto",trust_remote_code=True,revision="main")

方案 2：检查模型文件完整性

# 检查模型文件是否完整ls-la /path/to/model/directory/# 确保包含必要的文件# - config.json# - pytorch_model.bin 或 pytorch_model-*.bin 文件# - tokenizer files

方案 3：更新 transformers 和量化库

# 更新 transformerspipinstall--upgrade transformers# 安装或更新量化库pipinstall--upgrade auto-gptq pipinstall--upgrade awq

方案 4：使用专用的量化模型加载方法

对于不同的量化方法，使用专用的加载方法：

GPTQ 模型

fromtransformersimportAutoTokenizerfromauto_gptqimportAutoGPTQForCausalLM tokenizer=AutoTokenizer.from_pretrained("TheBloke/Llama-2-7B-GPTQ")model=AutoGPTQForCausalLM.from_quantized("TheBloke/Llama-2-7B-GPTQ",device_map="auto",use_safetensors=True)

AWQ 模型

fromtransformersimportAutoTokenizerfromawqimportAutoAWQForCausalLM tokenizer=AutoTokenizer.from_pretrained("TheBloke/Llama-2-7B-AWQ")model=AutoAWQForCausalLM.from_quantized("TheBloke/Llama-2-7B-AWQ",device_map="auto")

方案 5：检查并修复配置文件

importjson# 检查配置文件withopen("config.json","r")asf:config=json.load(f)print("Model architecture:",config.get("architecture"))print("Vocab size:",config.get("vocab_size"))# 确保配置文件包含必要的信息if"model_type"notinconfig:config["model_type"]="llama"# 根据实际模型类型设置withopen("config.json","w")asf:json.dump(config,f,indent=2)

方案 6：使用不同的设备映射策略

# 尝试使用不同的设备映射model=AutoModelForCausalLM.from_pretrained("TheBloke/Llama-2-7B-GPTQ",device_map="cuda:0",# 明确指定 GPUtrust_remote_code=True)# 或使用 CPU 加载（仅用于测试）model=AutoModelForCausalLM.from_pretrained("TheBloke/Llama-2-7B-GPTQ",device_map="cpu",trust_remote_code=True)

示例代码

完整的量化模型加载示例

fromtransformersimportAutoTokenizer,AutoModelForCausalLMimporttorchdefload_quantized_model(model_name,quant_method="gptq"):"""加载量化模型"""try:print(f"Loading{quant_method}quantized model:{model_name}")# 加载分词器tokenizer=AutoTokenizer.from_pretrained(model_name)# 根据量化方法选择加载方式ifquant_method=="gptq":# 尝试使用 AutoModelForCausalLMtry:model=AutoModelForCausalLM.from_pretrained(model_name,device_map="auto",trust_remote_code=True,torch_dtype=torch.float16)exceptExceptionase:print(f"AutoModelForCausalLM failed:{e}")# 尝试使用 AutoGPTQForCausalLMfromauto_gptqimportAutoGPTQForCausalLM model=AutoGPTQForCausalLM.from_quantized(model_name,device_map="auto",use_safetensors=True,torch_dtype=torch.float16)elifquant_method=="awq":# 使用 AutoAWQForCausalLMfromawqimportAutoAWQForCausalLM model=AutoAWQForCausalLM.from_quantized(model_name,device_map="auto",torch_dtype=torch.float16)else:# 默认使用 AutoModelForCausalLMmodel=AutoModelForCausalLM.from_pretrained(model_name,device_map="auto",trust_remote_code=True,torch_dtype=torch.float16)print(f"Model loaded successfully:{type(model)}")returntokenizer,modelexceptExceptionase:print(f"Error loading model:{e}")returnNone,Nonedeftest_model(tokenizer,model,prompt="Hello, "):"""测试模型"""ifnottokenizerornotmodel:print("Tokenizer or model not loaded")returntry:inputs=tokenizer(prompt,return_tensors="pt").to(model.device)outputs=model.generate(**inputs,max_new_tokens=50)generated_text=tokenizer.decode(outputs[0],skip_special_tokens=True)print(f"Generated text:{generated_text}")returngenerated_textexceptExceptionase:print(f"Error generating text:{e}")return# 使用示例if__name__=="__main__":# 测试 GPTQ 模型model_name="TheBloke/Llama-2-7B-GPTQ"tokenizer,model=load_quantized_model(model_name,quant_method="gptq")iftokenizerandmodel:test_model(tokenizer,model)else:print("Failed to load model. Trying alternative methods...")# 尝试使用 CPU 加载try:model=AutoModelForCausalLM.from_pretrained(model_name,device_map="cpu",trust_remote_code=True)print("Model loaded on CPU successfully")exceptExceptionase:print(f"CPU load failed:{e}")

方案 7：检查模型结构

# 检查模型结构print(model)# 检查模型的子模块print([nameforname,_inmodel.named_modules()])# 检查是否存在 embed_tokensifhasattr(model,'model')andhasattr(model.model,'embed_tokens'):print("embed_tokens found in model.model")elifhasattr(model,'embed_tokens'):print("embed_tokens found in model")else:print("embed_tokens not found")

常见问题

Q: 为什么会出现 ‘model.embed_tokens.weight’ 键错误？

A: 这通常是因为模型结构与加载器期望的结构不匹配，或者模型文件缺少必要的权重。

Q: 什么是 trust_remote_code=True 参数？

A: 当模型需要执行远程代码（如自定义的量化逻辑）时，需要设置这个参数来允许执行。

Q: 如何选择正确的量化方法？

A: 根据模型的量化方式选择对应的加载方法。例如，GPTQ 量化模型使用 AutoGPTQForCausalLM，AWQ 量化模型使用 AutoAWQForCausalLM。

Q: 为什么有些量化模型需要特定版本的库？

A: 不同的量化方法（如 GPTQ、AWQ）有不同的实现，需要使用对应的库和版本。

Q: 如何检查模型文件是否完整？

A: 检查模型目录是否包含必要的文件，如 config.json、权重文件和分词器文件。

总结

遇到KeyError: 'model.embed_tokens.weight'错误时，主要需要：

1. 使用正确的模型加载方式，包括设置trust_remote_code=True
2. 根据量化方法选择对应的加载类
3. 确保模型文件完整
4. 更新 transformers 和量化库到兼容版本
5. 检查模型结构是否正确
6. 尝试不同的设备映射策略

通过以上解决方案，大部分情况下都能成功解决这个键错误，顺利加载量化模型。