一、FlashAttention 1、Tile-Based计算 将q,k,v分块为小块,每次仅处理一小块: 利用gpu的片上SRAM完成QK^T和softmax 避免中间结果写入HBM 标准attention...
板子 5.29–7.19 目录 1. 树状数组2. KMP3. 矩阵快速幂4. 数位DP5. 状压枚举子集6. 快速幂(新版7. priority_queue8. dijkstra9. 单调栈10. debug 内容 1. 树...
单位矩阵 在矩阵的乘法中,有一种矩阵起着特殊的作用,如同数的乘法中的1,这种矩阵被称为单位矩阵。它是个方阵,从左上角到右下角的对角线(称为主对角线...
1. 进程池的本质:为什么需要它? 多进程编程是 Python 中应对计算密集型任务的利器,而 进程池(Pool)则是多进程编程中的一颗明珠。想象一下,你有一堆任...
谱聚类的基本概念与背景 谱聚类作为机器学习领域中一种重要的聚类方法,其独特之处在于将数据点视为图论中的顶点,通过图划分的方式实现聚类目标。这种算法...