algorithm

时序上的参数优化和神经网络

问题: 对给出的固定字段和feature, 怎么连续的调参

  • 特征:
    • pv原始数据
    • 已知有信号的现成特征
  • loss:
    • -sharpe
      • 可以用的样本数很少. 66为周期的话, 5年的样本数只有 5x512/66=17 个
        • 样本少其实就是约束少, 容易过拟合的意思
        • 模型容量
    • 把mu和sigma拆开成线性的
  • activation
    • demean, L1
  • 优化
    • SGD普通
    • Adam: 解决各个特征大小不均衡的问题
~1 min read

动态调整搜索优先级：从 PROSAC 到 Alpha 实战演进

在量化回测中，Alpha 搜索不仅仅是一个算力问题，更是一个资源分配问题。传统的 RANSAC（随机采样一致性）在面对海量 Datafields 时效率极低，而 PROSAC 提供了一种渐进式（Progressive）的思考框架。

~1 min read

hash映射

估算alpha id 和什么有关

1 min read

因子组合优化

问题: 从 $N$ 个候选集中挑选出 $K$ 个，构建一个能够最大化综合得分的组合。得分计算复杂, 所以我们考虑启发式的算法.

~1 min read

聚类

距离

~1 min read

摄像头测距

  • 问题定义: 从摄像头组拍摄的画面中得到汽车的3维bounding box
~1 min read

FFT计算

  • fourier Series 定义:
    • $F(f)(u)=\int_{-\infty}^{\infty} f(x)e^{-2\pi i x u} dx$
    • 2维：$G(p,q)=F(g(x,y)) = \int\int^\infty_\infty g(x,y)e^{-i2\pi(px+qy)}dxdy$
      • 2维的可以拆分成1维
  • 离散形式: 信号$x$ 的FFT 信号$X$
    • $X_k=\sum_{m=0}^{N-1}x_m\cdot e^{-i\cdot 2\pi km/N}=\sum_{m=0}^{N-1}x_m\cdot TW(N,k)^m$
      • $N$ 是信号长度
      • $k$ 是sample的位置
      • $TW(N,k) = e^{-i*2k\pi/N}$ 是FFT 的twiddle factor(旋转因子)
        • $TW(N,k)=\cos(-2k\pi/N)+i\cdot \sin(-2k\pi/N)=TW_r(N,k)+i\cdot TW_i(N,k)$
~1 min read

attention的优化– flash attention加速

flash-attention是一种算子合并(kernel fusion)的优化. 把self-attention分块, 直接在SRAM里计算, 省去了HBM来回搬运中间结果S和P的时间(如下图). self-attention由两层矩阵乘法, softmax, 和其他eltwise计算(mask, dropout)构成.

1 min read