跳到主要内容
SUN / 笔记

BLOG / 766 ARTICLES

技术笔记

计算机基础、AI、后端与客户端开发笔记

766 篇文章
22 分钟
AI

DeepseekV3 论文解读

DeepSeek-V3，是一个强大的混合专家（MoE）语言模型，总参数量达 6710 亿（671B），每个 token 激活 370 亿（37B）参数。为实现高效推理和经济高效的训练，DeepSeek-V3 采用了多头潜在注意力（MLA）和 DeepSeekMoE 架构，这些架构已在 DeepSeek-V2 中得到充分验证。

#llm_note#2-transformer_model
3 分钟
AI

RAG 面试速记

RAG 在推理时注入可更新、可引用的外部事实；微调主要改变模型行为、表达格式或领域任务能力。需要最新/私域/可追溯事实优先 RAG；需要稳定格式、风格或任务能力考虑微调；两者可以组合。

#Agentic#RAG
9 分钟
AI

深入理解 roofline 模型

为了做性能分析，Roofline 模型论文引入了“操作强度”（operational intensity）这个概念，表示每字节 DRAM/HBM 数据传输（traffic）所对应的操作次数（每字节 flops），这里的字节数是指那些经过缓存层过滤后进入主内存 DRAM/HBM 的字节，即我们关注的是缓存与内存之间的数据传输，而不是处理器与缓存之间的数据传输（

#llm_note#1-hpc_note
15 分钟
AI

CUDA执行模型

前面的内容我们学习了 CUDA 编程模型中主要有两个抽象（逻辑）概念：内存层次结构和线程层次结构，知道了线程的组织结构是由执行配置 <<<grid_size, block_size>>> 决定的，并知道如何编写简单的 kernel 函数。今天的内容则重点在于分析 GPU 并行架构的抽象视图，从而分析线程的并发，从而能编写在吞吐量和内存访问更优的 kernel

#llm_note#1-hpc_note
22 分钟
AI

llama1-3 模型结构详解

LLaMA（Large Language Model Meta AI）是 由 Meta AI 发布的一个开放且高效的大型基础语言模型，共有 7B、13B、33B、65B（650 亿）四种版本。其数据集来源都是公开数据集，无任何定制数据集，保证了其工作与开源兼容和可复现，整个训练数据集在 token 化之后大约包含 1.4T 的 token。

#llm_note#2-transformer_model
1 分钟
AI

VideoCode-main

本仓库用于存储“马克的技术工作坊”的示例代码。全网同名，如果你所看视频的博主名不叫“马克的技术工作坊”，那么你观看的一定是别人搬运的盗版视频，请告知我或直接帮我举报，谢谢！

#VideoCode-main
页