技术笔记

LLM数学推理 ↗

本项目实现了让大规模语言模型（LLM）学习数学推理的代码，主要技术为使用Supervised Finetuning（SFT）来让模型学习DeepSeek-R1生成的回复，从中学习复杂的数学推理技能（如反思、验算等）。 本实验基于DeepMath-103K数据集以及Qwen/Qwen2.5-Math-1.5B模型，带领读者初步尝试在数学任务上的数据蒸馏全流程。