BLOG / 766 ARTICLES
技术笔记
计算机基础、AI、后端与客户端开发笔记
transformer论文解读
CNN 的的卷积核窗口大小有限,每次只能看比较短的部分序列,但是它的多通道机制被认为可以去识别多模式,transformer 论文参考这个机制,在 attention 的机制进一步引出了 Muti-Head Attention,来模拟卷积层的多输出通道效果。
CUDA内核执行配置及线程索引计算
前面的内容我们知道可以为一个核函数配置多个线程(每个线程同一时刻只能处理一个数据),而这些线程的组织是通过内核调用函数的执行配置 <<<grid_size, block_size>> >来决定的,执行配置决定了如何划分并行任务。
记忆管理(Memory Management)
智能体系统需要记住过往交互信息,才能完成复杂任务并提供连贯体验。没有记忆机制,智能体就是无状态的,无法保持对话上下文、学习经验或个性化响应,仅能处理简单的一问一答,无法应对多步骤流程或用户需求变化。
llm综合分析论文翻译
语言模型(LLMs)已经彻底革新了自然语言处理领域,但其不断增长的复杂性使得在不同硬件配置下的部署和优化变得更加困难。“语言模型比较分析”项目提供了一个全面的评估框架,用于测试 LLM 在各种平台上的性能、计算效率和内存使用情况。通过比较分析预训练模型和定制模型在不同 GPU 上的表现,该项目揭示了性能特征、可扩展性以及资源利用情况。项目采用了网络分析图和
目标设定与监控(Goal Setting & Monitoring)
要让智能体真正高效且有目标地工作,仅仅具备信息处理或工具使用能力是不够的;它们还需要明确的方向感,以及判断自己是否取得成功的方法。这正是目标设定与监控模式的核心:为智能体设定具体目标,并赋予其追踪进度、判断目标是否达成的能力。
Roofline 论文解读
多核处理器设计的兴起,同时针对多核设计还没有统一的设计原则,这使得程序员编写高性能程序面临更加复杂的挑战,因此提出一个易于理解并能提供性能优化建议的性能模型显得尤为重要。