跳到主要内容
SUN / 笔记

BLOG / 766 ARTICLES

技术笔记

计算机基础、AI、后端与客户端开发笔记

#documents · 11 篇文章清除筛选
2 分钟
AI

LLM文本隐写术

本项目实现了基于大型语言模型(LLM)的文本隐写术,使用GPT-2模型在生成的文本中隐藏信息。项目包含两种编码方法:霍夫曼编码(Huffman Coding)和固定长度编码(Fixed Length Coding, FLC)。

2 分钟
AI

LLM数学推理

本项目实现了让大规模语言模型(LLM)学习数学推理的代码,主要技术为使用Supervised Finetuning(SFT)来让模型学习DeepSeek-R1生成的回复,从中学习复杂的数学推理技能(如反思、验算等)。 本实验基于DeepMath-103K数据集以及Qwen/Qwen2.5-Math-1.5B模型,带领读者初步尝试在数学任务上的数据蒸馏全流程。