关于高效注意力机制的理论基础,下列描述正确的是:
低秩近似的核心思想是利用注意力矩阵的低秩特性,用较少的参数近似完整的注意力计算
线性注意力的计算复杂度仍然是 (O(n^2)),与标准注意力相同
低秩近似方法会大幅降低模型精度,因此在实际中不可使用
FlashAttention 属于低秩近似方法的一种