QuadTree阅读笔记 Q1 论文试图解决什么问题？ 还是视觉Transformer中，试图引入线性的Attention，解决高分辨率图片的处理中，token数目很大、计算开销较大的问题。不同的是，本文试图通从数据结构的角度引入线性Attention。 Q2 这是否是一个新的问题？ 线性Transformer并不是一个新的问题，但是通过数据结构的…
cosFormer阅读笔记 论文（ICLR 2022）：cosFormer: Rethinking Softmax in Attention Q1 论文试图解决什么问题？ 过去的线性Transformer设计中，通常采用核方法近似Softmax，但是近似误差较大。 Q2 这是否是一个新的问题？ 不是的。过去已经有了一些Linear Transfor…