关于长上下文模型中的位置编码拓展方法,下列说法正确的是:
ALiBi (Attention with Linear Biases) 不使用位置编码向量,而是在注意力分数上直接加上与距离成正比的线性偏置
所有位置编码方法都无法处理超出训练时最大长度的序列
长上下文窗口拓展只需要修改位置编码,不需要使用长文本数据进行额外训练
ALiBi 需要为每个位置学习独立的位置嵌入向量