Mission: 掌握多模态 LoRA 与 QLoRA

Why

能够读懂并改造仓库现有的 Qwen2-VL 微调脚本，根据任务和显存条件选择 LoRA 或 QLoRA，而不是只会复制训练参数。

Success looks like

• 能用矩阵维度解释 W、A、B 和 r
• 能说明 QLoRA 中哪些参数是 4-bit，哪些参数真正在更新
• 能为多模态模型选择 LoRA 的目标层，并检查可训练参数
• 能将现有 Qwen2-VL LoRA 加载代码改为 QLoRA

Constraints

• 以 PyTorch、Transformers、PEFT 和 bitsandbytes 为主
• 先掌握标准 LoRA/QLoRA，暂不深入 DoRA、AdaLoRA 等变体
• 当前只进行代码结构验证，不声称已完成 GPU 训练

Out of scope

• 从零预训练多模态基座模型
• RLHF、DPO 等偏好对齐算法
• 多机多卡分布式训练