论文十问由沈向洋博士提出,鼓励大家带着这十个问题去阅读论文,用有用的信息构建认知模型。 Q1 论文试图解决什么问题? Q2 这是否是一个新的问题? Q3 这篇文章要验证一个什么科学假设? Q4 有哪些相关研究?如何归类?谁是这一课题在领域内值得关注的研究员? Q5 论文中提到的解决方案之关键是什么? Q6 论文中的实验是如何设计的? Q7 用于定量…
论文阅读笔记 论文(KDD 2018):Deep Interest Network for Click-Through Rate Prediction Abstract 点击率预测是在线广告等行业应用中的一项重要任务。最近基于深度学习的模型,大多遵循类似的 Embedding&MLP 范式。在这些方法中,大规模稀疏输入特征首先被映射到低维嵌…
QuadTree阅读笔记 Q1 论文试图解决什么问题? 还是视觉Transformer中,试图引入线性的Attention,解决高分辨率图片的处理中,token数目很大、计算开销较大的问题。不同的是,本文试图通从数据结构的角度引入线性Attention。 Q2 这是否是一个新的问题? 线性Transformer并不是一个新的问题,但是通过数据结构的…
cosFormer阅读笔记 论文(ICLR 2022):cosFormer: Rethinking Softmax in Attention Q1 论文试图解决什么问题? 过去的线性Transformer设计中,通常采用核方法近似Softmax,但是近似误差较大。 Q2 这是否是一个新的问题? 不是的。过去已经有了一些Linear Transfor…
Q1 论文试图解决什么问题? Diffusion往往会有巨大的计算成本。目前对于Diffusion的压缩方法往往伴随着大量的重新训练,给可行性和成本带来了挑战。 Q2 这是否是一个新的问题? 是的。目前对于Diffusion的压缩方法几乎没有不需要重新训练的。 Q3 这篇文章要验证一个什么科学假设? Diffusion在顺序推理去噪过程中,相邻时间…
DDPM阅读笔记 论文(NeurIPS 2020):Denoising Diffusion Probabilistic Models 1 Diffusion Pipeline 1.1 加噪过程 总体过程: $$x_0 \xrightarrow{q} x_1 \xrightarrow{q} x_2 \xrightarrow{q} \cdots \xr…