标签： Transformer

2 篇文章

QuadTree阅读笔记
|
725
|
0
|
Vision Transformer,多姿多彩的Transformer

2088 字
|
9 分钟
QuadTree阅读笔记 Q1 论文试图解决什么问题？ 还是视觉Transformer中，试图引入线性的Attention，解决高分辨率图片的处理中，token数目很大、计算开销较大的问题。不同的是，本文试图通从数据结构的角度引入线性Attention。 Q2 这是否是一个新的问题？ 线性Transformer并不是一个新的问题，但是通过数据结构的…
Sparse TransformerTransformer
cosFormer阅读笔记
|
1,028
|
0
|
Linear Transformer,多姿多彩的Transformer

1342 字
|
6 分钟
cosFormer阅读笔记 论文（ICLR 2022）：cosFormer: Rethinking Softmax in Attention Q1 论文试图解决什么问题？ 过去的线性Transformer设计中，通常采用核方法近似Softmax，但是近似误差较大。 Q2 这是否是一个新的问题？ 不是的。过去已经有了一些Linear Transfor…
Linear TransformerTransformer

This website stores cookies on your computer. These cookies are used to provide a more personalized experience and to track your whereabouts around our website in compliance with the European General Data Protection Regulation. If you decide to to opt-out of any future tracking, a cookie will be setup in your browser to remember this choice for one year.

Accept or Deny