SUN 8 分钟
BLOG / 766 ARTICLES
技术笔记
计算机基础、AI、后端与客户端开发笔记
AI · 154 篇文章清除筛选
9 分钟
AI
深入理解 roofline 模型
为了做性能分析，Roofline 模型论文引入了“操作强度”（operational intensity）这个概念，表示每字节 DRAM/HBM 数据传输（traffic）所对应的操作次数（每字节 flops），这里的字节数是指那些经过缓存层过滤后进入主内存 DRAM/HBM 的字节，即我们关注的是缓存与内存之间的数据传输，而不是处理器与缓存之间的数据传输（
15 分钟
22 分钟
AI
llama1-3 模型结构详解
LLaMA（Large Language Model Meta AI）是 由 Meta AI 发布的一个开放且高效的大型基础语言模型，共有 7B、13B、33B、65B（650 亿）四种版本。其数据集来源都是公开数据集，无任何定制数据集，保证了其工作与开源兼容和可复现，整个训练数据集在 token 化之后大约包含 1.4T 的 token。
23 分钟
AI
Tool Use Formatting
You are Cline, a highly skilled software engineer with extensive knowledge in many programming languages, frameworks, design patterns, and best practices.
1 分钟
AI
VideoCode-main
本仓库用于存储“马克的技术工作坊”的示例代码。全网同名，如果你所看视频的博主名不叫“马克的技术工作坊”，那么你观看的一定是别人搬运的盗版视频，请告知我或直接帮我举报，谢谢！
20 分钟
5 分钟
AI
DeepSeek V3 MoE 通信量分析与 All2All 过程可视化
DeepSeek V3/R1 采用了大规模专家并行（Expert Parallelism, EP）策略来处理256个专家的MoE层。由于模型的高度稀疏性（每层仅激活8个专家），需要采用很大的overall batch size来确保每个专家获得足够的expert batch size。
5 分钟
11 分钟
AI
masked-attention 算法详解
Self-Attention 中文翻译为自注意力机制，论文中叫作 Scale Dot Product Attention，它是 Transformer 架构的核心，其结构如下图所示：