algorithm

hash映射

估算alpha id 和什么有关

1 min read

选出最佳的因子组合

遗传算法(Genetic Algorithm): 1. generate a bunch of solutions 2. 算子：选择算子(selection)： Roulette Wheel Selection(轮盘赌): 1. 适应性越强概率越大，随机选择父母 2. Use accumulation of probability and bisect e.g. probability [0.25,0.25,0.5], accumulation [0.25,0.5,1], when using bisect —0—0.25—1—0.5—2—[prabablility bigger->interval of accumulation is bigger-> has more chance to be choosen] Tournament Selection(锦标赛)：1. random choose n 个个体，选出其中最好的 Linear(Exp) Ranking Selection: 排序，按照顺序线性(exp)确定probablility 交叉算子：uniform crossover: 变换father和mother的一些位 中间重组(浮点数)：取father和mother的随机中间数 变异算子：flipbit: 异或（二进制），随机替换（实数） 3. 编码二进制：range=(a,b), eps = 精度 ->int((x-b)/eps)转为二进制（编码位数： log((b-a)/eps) ） ！4. 遗产算法的编码非常重要？：要保证交叉算子起作用，即亲代可以强强联合，不然就和变异算子没有差别了

~1 min read

聚类

距离

~1 min read

摄像头测距

  • 问题定义: 从摄像头组拍摄的画面中得到汽车的3维bounding box
~1 min read

FFT计算

  • fourier Series 定义:
    • $F(f)(u)=\int_{-\infty}^{\infty} f(x)e^{-2\pi i x u} dx$
    • 2维：$G(p,q)=F(g(x,y)) = \int\int^\infty_\infty g(x,y)e^{-i2\pi(px+qy)}dxdy$
      • 2维的可以拆分成1维
  • 离散形式: 信号$x$ 的FFT 信号$X$
    • $X_k=\sum_{m=0}^{N-1}x_m\cdot e^{-i\cdot 2\pi km/N}=\sum_{m=0}^{N-1}x_m\cdot TW(N,k)^m$
      • $N$ 是信号长度
      • $k$ 是sample的位置
      • $TW(N,k) = e^{-i*2k\pi/N}$ 是FFT 的twiddle factor(旋转因子)
        • $TW(N,k)=\cos(-2k\pi/N)+i\cdot \sin(-2k\pi/N)=TW_r(N,k)+i\cdot TW_i(N,k)$
~1 min read

attention的优化– flash attention加速

flash-attention是一种算子合并(kernel fusion)的优化. 把self-attention分块, 直接在SRAM里计算, 省去了HBM来回搬运中间结果S和P的时间(如下图). self-attention由两层矩阵乘法, softmax, 和其他eltwise计算(mask, dropout)构成.

1 min read