stable-diffusion中 k-sampling的不同版本 (二 )
ComfyUI中的一些代码实现
stable-diffusion中 k-sampling的不同版本 (一 )
背景知识
attention的优化– 引进时序结构
在token很多(大模型用的超长文本), 或者本身数据是时间序列(比如语音, 视频流)的情况下, attention里面的weight会带来$O(token^2)$ 的内存消耗. state space model可以解决这个问题.
stable-diffusion的结构和微调模型
stable-diffusion结构和controlnet插件
神经网络attention结构理解
在网络中, block是把input信息转换成output信息的过程: 一般, output(position, vector)是input(token, embedding vector)的线性组合, 组合的weight (position, token) 由input和output两方关系确定. 把着重强调这种信息交互的模块叫attention.
convolution
常用的图像 reconstruction loss
输出为图像的任务, 比如enhance, deblur, super-resolution, generation等用到的loss, 主要分为以下几类