LoRA 与 QLoRA Resources

Knowledge

• Paper: LoRA: Low-Rank Adaptation of Large Language Models LoRA 原始论文。用于理解低秩更新、参数节省和合并推理。
• Paper: QLoRA: Efficient Finetuning of Quantized LLMs QLoRA 原始论文。用于理解 NF4、双重量化、分页优化器以及穿过量化基座的反向传播。
• Hugging Face PEFT: Quantization PEFT 官方 QLoRA 实现指南。用于核对 BitsAndBytesConfig、prepare_model_for_kbit_training 和 target_modules。
• Hugging Face PEFT: LoRA API LoraConfig 参数的官方定义。用于查询 r、lora_alpha、lora_dropout 和目标层配置。
• Hugging Face Transformers: Multimodal chat templates 多模态 Processor 和对话格式的官方指南。用于确保训练和推理采用相同的图像占位符与聊天模板。
• Hugging Face TRL: SFTTrainer VLM 监督微调、assistant-only loss 和图像 token 截断风险的官方说明。

Wisdom (Communities)

• Hugging Face Forums 用于查询某个具体 VLM 架构的 PEFT 兼容性、显存与量化后端问题。