content

用AI agent复现我的博客风格

让 agent 代写博客,卡住我的不是内容,是风格。反复改了几版都不对味,最后把博客库全量统计了一遍,整理出可复用的风格特征,并用 subagent 迭代验证到收敛。这篇分四部分:风格素材库(可直接喂给 AI)、采样过程与迭代、写《AI 做微信表情包》的实战、subagent 迭代实践。

1 min read

听课app开发调研

本报告致力于提供全球视频提取课件、自动识别、场景检测领域的全量级深度分析。涵盖了从顶层商业平台到基层开源算法的每一个技术细节,旨在为 LessonCap 的长远发展提供无可辩驳的决策依据。

2 min read

本地模型尝试

记录一下在 Windows 环境下配置 llama.cpp 的全过程,包括编译、启动参数调优、网络排查以及接入开发工具链的细节。

1 min read

LLM接口协议梳理

梳理一下主流 LLM 接口的请求/响应结构、调用模式,以及各协议的差异,方便选型和对接时快速对照。

2 min read

时序上的参数优化和神经网络

问题: 对给出的固定字段和feature, 怎么连续的调参

  • 特征:
    • pv原始数据
    • 已知有信号的现成特征
  • loss:
    • -sharpe
      • 可以用的样本数很少. 66为周期的话, 5年的样本数只有 5x512/66=17 个
        • 样本少其实就是约束少, 容易过拟合的意思
        • 模型容量
    • 把mu和sigma拆开成线性的
  • activation
    • demean, L1
  • 优化
    • SGD普通
    • Adam: 解决各个特征大小不均衡的问题
~1 min read

处理新闻数据

新闻数据处理:从非结构化文本到因子矩阵

1 min read

用 Agent 对黑盒公式进行逆向工程

面对一组只有输入输出的多维黑盒数据,如果我们确信其背后存在一个由人类专家设计的简洁内部公式,应该如何将其精准还原?

~1 min read

hash映射

估算alpha id 和什么有关

1 min read

mac系统字典

目标是把 MongoDB 里存放的术语和定义,打包成可以在 macOS 自带“字典”应用中查询的本地词典。

~1 min read

Tauri 项目 Build 与 Release 实践总结

本文记录了我在使用 Tauri 构建桌面端应用时遇到的一些坑和解决方案,包括配置文件管理、macOS 编译、GitHub Actions 自动构建等内容。

~1 min read

聚类

距离

~1 min read

blender学习: 内发光效果

  • 设置材质: 透明+自发光
    • 用transparent shader和emmision shader合成
    • 用layer weight node控制参数
      • Frensnel 模式(对比度更高): 和frensel node一样公式, 把用IOR调节, 改成0-1调节weight
      • Facing 模式: 按face面向镜头的角度调节weight
  • 添加辉光: 用Compositing的glare node -> Fog Glow
~1 min read

筛选适合阅读的论文

搜索步骤 目的 输入->输出
一级搜索 按时间, 类别, 标题搜索文章 获取标题, 作者, 文章链接, summary
二级搜索 判断summary是否对主题有用 summary + prompt -> yes/no
三级搜索 判断文章内容  
~1 min read

worldquant BRAIN 股票因子 (五 ) – 数据集理解

数据集 特点 信号
模型数据集(model) 大多是分数形式  
基本面数据   1. PE(市盈率) = eps/close
2. PS(市销率) = close*sharesout/revenue
3. cashflow/price
4. cashflow/sales
5. margin, pretax margin, operating margin
6. enterprise value
7. long term debt/operating income
风险数据   1. 用risk factor做neutralize
2. 用risk-return 代替returns
3.
量价数据 完整, 所有市场都有 1. 交易量激增(volume spike)
2. -returns
社交媒体数据 更新频率高
有时效性: 尽量不要超过1季度
 
期权数据集(Options)   1. IV_call, IV_put配对
分析师数据
很多是vector数据
更新频率低
有很多异常值
1. 预测和当前值的差异
2. 预测值随时间变化
3. 分析师修订模型数据
宏观数据(Macro)    
other数据   1. group分类数据
2. 用matrix 特征数据自己制作group
期权数据   1. O/S volume ratio=期权未平仓量/volume
1 min read

协程的用法

协程就是单线程多任务, 在一个任务等待的时候干点别的其他的任务. 所以包含等待的函数都要用协程的版本: 在需要时交出event loop的控制权.

python 协程的用法

~1 min read

Serverless服务

租虚拟服务器代替真实服务器

~1 min read

调整视频追踪物体

Final Cut Pro

  • 教程
  • 步骤:
    • 添加原视频
    • 在原视频上添加tracker, analysis跟踪物体的bbox
    • 复制原视频一份
    • 在复制视频的transformer应用之前的tracker, scale改成-100%
      • tracker的坐标和画面的坐标位置相反?
    • 把物体移到画面中间
    • 放大scale去掉黑边
~1 min read

摄像头测距

  • 问题定义: 从摄像头组拍摄的画面中得到汽车的3维bounding box
~1 min read

墙皮脱落问题

根据这个视频学习, 墙皮粉化, 剥落

~1 min read

掼蛋规则

两副扑克牌(54x2=108张, 对家是一队)

~1 min read

猫罐头调查

金交的罐头上有很多黑色的地方

~1 min read

柳树怎么表现

在上海的春天到处去赏花, 感觉没有一种花有柳树的视觉冲击力. 嫩黄的叶子让我有生命的实感, 看到叶子泛白干燥的时候, 我知道春天过去了.

~1 min read

blender学习: 冰材质

在IOR=1.31的透明材质基础上, 添加表面的凹凸和内部的裂痕, 气泡

~1 min read

FFT计算

  • fourier Series 定义:
    • $F(f)(u)=\int_{-\infty}^{\infty} f(x)e^{-2\pi i x u} dx$
    • 2维:$G(p,q)=F(g(x,y)) = \int\int^\infty_\infty g(x,y)e^{-i2\pi(px+qy)}dxdy$
      • 2维的可以拆分成1维
  • 离散形式: 信号$x$ 的FFT 信号$X$
    • $X_k=\sum_{m=0}^{N-1}x_m\cdot e^{-i\cdot 2\pi km/N}=\sum_{m=0}^{N-1}x_m\cdot TW(N,k)^m$
      • $N$ 是信号长度
      • $k$ 是sample的位置
      • $TW(N,k) = e^{-i*2k\pi/N}$ 是FFT 的twiddle factor(旋转因子)
        • $TW(N,k)=\cos(-2k\pi/N)+i\cdot \sin(-2k\pi/N)=TW_r(N,k)+i\cdot TW_i(N,k)$
~1 min read

pyside6一些功能的用法

pyside是qt的python封装, API的调用方法基本差不多. 用pyside从零开始写一个gui用于标注或测试(调参数或者看中间结果), 每次花费时间都比想象的要少的多. 功能方便而且代码的可读性非常好.

~1 min read

attention的优化– flash attention加速

flash-attention是一种算子合并(kernel fusion)的优化. 把self-attention分块, 直接在SRAM里计算, 省去了HBM来回搬运中间结果S和P的时间(如下图). self-attention由两层矩阵乘法, softmax, 和其他eltwise计算(mask, dropout)构成.

1 min read

attention的优化– 引进时序结构

在token很多(大模型用的超长文本), 或者本身数据是时间序列(比如语音, 视频流)的情况下, attention里面的weight会带来$O(token^2)$ 的内存消耗. state space model可以解决这个问题.

2 min read

stable-diffusion的用法: 用 lora+controlnet做风格转换

尝试只用ipadapter做猫的风格转换, 非常不成功, ipadapter还是无法控制输入的元素. 必须要用多张图片训练的LoRA才能固定ip.
另外, 猫脸上颜色分布的特征, 没有controlnet可以直接表示.

~1 min read

神经网络attention结构理解

在网络中, block是把input信息转换成output信息的过程: 一般, output(position, vector)是input(token, embedding vector)的线性组合, 组合的weight (position, token) 由input和output两方关系确定. 把着重强调这种信息交互的模块叫attention.

convolution

1 min read

常用的图像 reconstruction loss

输出为图像的任务, 比如enhance, deblur, super-resolution, generation等用到的loss, 主要分为以下几类

output和label相近

~1 min read

传感器颜色调制 (三) – 数据

各种颜色调制的数据对难以采集, 所以现在大部分颜色调制还是用多光谱数据仿真得到.

多光谱数据集

1 min read

用六边形构成半球

刷到关于《葬送的芙莉莲》里面六边形魔法防御结界的讨论,根据多面体欧拉公式,仅仅用正六边形是没法组成球体形状结界。我也非常理解制作组为什么不画个足球:毕竟是魔法阵,六边形画的又比较大,弄个五边形也不好看也不好解释。 Pasted image 20240102192929.png

~1 min read

双十二装机

趁着双十二激情下单,前后不到一天,选的配件都没什么性价比。

~1 min read

小红书学到的几种图片调色

感觉共同点是:为了追求画面简洁有冲击力,不约而同的压缩了亮度和颜色的动态范围。

版画滤镜

~1 min read
Back to Top ↑

shader

blender学习: 冰材质

在IOR=1.31的透明材质基础上, 添加表面的凹凸和内部的裂痕, 气泡

~1 min read
Back to Top ↑

photoshop

Back to Top ↑

sensor

Back to Top ↑

ComfyUI

stable-diffusion的用法: 用 lora+controlnet做风格转换

尝试只用ipadapter做猫的风格转换, 非常不成功, ipadapter还是无法控制输入的元素. 必须要用多张图片训练的LoRA才能固定ip.
另外, 猫脸上颜色分布的特征, 没有controlnet可以直接表示.

~1 min read
Back to Top ↑

attention

attention的优化– flash attention加速

flash-attention是一种算子合并(kernel fusion)的优化. 把self-attention分块, 直接在SRAM里计算, 省去了HBM来回搬运中间结果S和P的时间(如下图). self-attention由两层矩阵乘法, softmax, 和其他eltwise计算(mask, dropout)构成.

1 min read

attention的优化– 引进时序结构

在token很多(大模型用的超长文本), 或者本身数据是时间序列(比如语音, 视频流)的情况下, attention里面的weight会带来$O(token^2)$ 的内存消耗. state space model可以解决这个问题.

2 min read

神经网络attention结构理解

在网络中, block是把input信息转换成output信息的过程: 一般, output(position, vector)是input(token, embedding vector)的线性组合, 组合的weight (position, token) 由input和output两方关系确定. 把着重强调这种信息交互的模块叫attention.

convolution

1 min read
Back to Top ↑

python

协程的用法

协程就是单线程多任务, 在一个任务等待的时候干点别的其他的任务. 所以包含等待的函数都要用协程的版本: 在需要时交出event loop的控制权.

python 协程的用法

~1 min read

pyside6一些功能的用法

pyside是qt的python封装, API的调用方法基本差不多. 用pyside从零开始写一个gui用于标注或测试(调参数或者看中间结果), 每次花费时间都比想象的要少的多. 功能方便而且代码的可读性非常好.

~1 min read
Back to Top ↑

shortcut

Back to Top ↑

homology

Back to Top ↑

llm

本地模型尝试

记录一下在 Windows 环境下配置 llama.cpp 的全过程,包括编译、启动参数调优、网络排查以及接入开发工具链的细节。

1 min read

LLM接口协议梳理

梳理一下主流 LLM 接口的请求/响应结构、调用模式,以及各协议的差异,方便选型和对接时快速对照。

2 min read

处理新闻数据

新闻数据处理:从非结构化文本到因子矩阵

1 min read
Back to Top ↑

render

Back to Top ↑

sdxl

stable-diffusion的用法: 用 lora+controlnet做风格转换

尝试只用ipadapter做猫的风格转换, 非常不成功, ipadapter还是无法控制输入的元素. 必须要用多张图片训练的LoRA才能固定ip.
另外, 猫脸上颜色分布的特征, 没有controlnet可以直接表示.

~1 min read
Back to Top ↑

simulation

Back to Top ↑

stable-diffusion

Back to Top ↑

tauri

Tauri 项目 Build 与 Release 实践总结

本文记录了我在使用 Tauri 构建桌面端应用时遇到的一些坑和解决方案,包括配置文件管理、macOS 编译、GitHub Actions 自动构建等内容。

~1 min read
Back to Top ↑

3-manifold

Back to Top ↑

alpha

Back to Top ↑

controlnet

stable-diffusion的用法: 用 lora+controlnet做风格转换

尝试只用ipadapter做猫的风格转换, 非常不成功, ipadapter还是无法控制输入的元素. 必须要用多张图片训练的LoRA才能固定ip.
另外, 猫脸上颜色分布的特征, 没有controlnet可以直接表示.

~1 min read
Back to Top ↑

filter

Back to Top ↑

fundamental_group

Back to Top ↑

geometry_node

Back to Top ↑

ipadapter

stable-diffusion的用法: 用 lora+controlnet做风格转换

尝试只用ipadapter做猫的风格转换, 非常不成功, ipadapter还是无法控制输入的元素. 必须要用多张图片训练的LoRA才能固定ip.
另外, 猫脸上颜色分布的特征, 没有controlnet可以直接表示.

~1 min read
Back to Top ↑

jekyll

Back to Top ↑

multi-spectrum

Back to Top ↑

optical_flow

Back to Top ↑

physics

Back to Top ↑

pi

本地模型尝试

记录一下在 Windows 环境下配置 llama.cpp 的全过程,包括编译、启动参数调优、网络排查以及接入开发工具链的细节。

1 min read
Back to Top ↑

AI

Back to Top ↑

Alpha

动态调整搜索优先级:从 PROSAC 到 Alpha 实战演进

在量化回测中,Alpha 搜索不仅仅是一个算力问题,更是一个资源分配问题。传统的 RANSAC(随机采样一致性)在面对海量 Datafields 时效率极低,而 PROSAC 提供了一种渐进式(Progressive)的思考框架。

~1 min read

因子组合优化

问题: 从 $N$ 个候选集中挑选出 $K$ 个,构建一个能够最大化综合得分的组合。得分计算复杂, 所以我们考虑启发式的算法.

~1 min read
Back to Top ↑

Optimization

动态调整搜索优先级:从 PROSAC 到 Alpha 实战演进

在量化回测中,Alpha 搜索不仅仅是一个算力问题,更是一个资源分配问题。传统的 RANSAC(随机采样一致性)在面对海量 Datafields 时效率极低,而 PROSAC 提供了一种渐进式(Progressive)的思考框架。

~1 min read

因子组合优化

问题: 从 $N$ 个候选集中挑选出 $K$ 个,构建一个能够最大化综合得分的组合。得分计算复杂, 所以我们考虑启发式的算法.

~1 min read
Back to Top ↑

async

协程的用法

协程就是单线程多任务, 在一个任务等待的时候干点别的其他的任务. 所以包含等待的函数都要用协程的版本: 在需要时交出event loop的控制权.

python 协程的用法

~1 min read
Back to Top ↑

blender

Back to Top ↑

canny

stable-diffusion的用法: 用 lora+controlnet做风格转换

尝试只用ipadapter做猫的风格转换, 非常不成功, ipadapter还是无法控制输入的元素. 必须要用多张图片训练的LoRA才能固定ip.
另外, 猫脸上颜色分布的特征, 没有controlnet可以直接表示.

~1 min read
Back to Top ↑

cohomology

Back to Top ↑

data_structure

处理新闻数据

新闻数据处理:从非结构化文本到因子矩阵

1 min read
Back to Top ↑

dsl

Back to Top ↑

euler_character

Back to Top ↑

homotopy

Back to Top ↑

hyperbolic_geometry

Back to Top ↑

isp

Back to Top ↑

knot

Back to Top ↑

macOS

Back to Top ↑

macos

Tauri 项目 Build 与 Release 实践总结

本文记录了我在使用 Tauri 构建桌面端应用时遇到的一些坑和解决方案,包括配置文件管理、macOS 编译、GitHub Actions 自动构建等内容。

~1 min read
Back to Top ↑

opencv

Back to Top ↑

persistent_homology

Back to Top ↑

raycast

Back to Top ↑

rmux

Back to Top ↑

sampling

Back to Top ↑

script

传感器颜色调制 (三) – 数据

各种颜色调制的数据对难以采集, 所以现在大部分颜色调制还是用多光谱数据仿真得到.

多光谱数据集

1 min read
Back to Top ↑

stock

Back to Top ↑

tangent_vector_field

Back to Top ↑

test

Back to Top ↑

utm

Back to Top ↑

vue

Tauri 项目 Build 与 Release 实践总结

本文记录了我在使用 Tauri 构建桌面端应用时遇到的一些坑和解决方案,包括配置文件管理、macOS 编译、GitHub Actions 自动构建等内容。

~1 min read
Back to Top ↑

worldquant

Back to Top ↑

日用品

Back to Top ↑

粒子系统

Back to Top ↑

3d_model

Back to Top ↑

3d_rotation

Back to Top ↑

BSDF

Back to Top ↑

Cech_complex

Back to Top ↑

DDPM

Back to Top ↑

EMVA1288

Back to Top ↑

GA

因子组合优化

问题: 从 $N$ 个候选集中挑选出 $K$ 个,构建一个能够最大化综合得分的组合。得分计算复杂, 所以我们考虑启发式的算法.

~1 min read
Back to Top ↑

Gauss_Bonnet

Back to Top ↑

Gemini

Back to Top ↑

Greedy

因子组合优化

问题: 从 $N$ 个候选集中挑选出 $K$ 个,构建一个能够最大化综合得分的组合。得分计算复杂, 所以我们考虑启发式的算法.

~1 min read
Back to Top ↑

L1_norm

Back to Top ↑

Lagrange_multiplier

Back to Top ↑

Lefschetz_number

Back to Top ↑

Mamba

attention的优化– 引进时序结构

在token很多(大模型用的超长文本), 或者本身数据是时间序列(比如语音, 视频流)的情况下, attention里面的weight会带来$O(token^2)$ 的内存消耗. state space model可以解决这个问题.

2 min read
Back to Top ↑

Markov_chain

Back to Top ↑

Markowitz_model

Back to Top ↑

Mongodb

Back to Top ↑

PROSAC

动态调整搜索优先级:从 PROSAC 到 Alpha 实战演进

在量化回测中,Alpha 搜索不仅仅是一个算力问题,更是一个资源分配问题。传统的 RANSAC(随机采样一致性)在面对海量 Datafields 时效率极低,而 PROSAC 提供了一种渐进式(Progressive)的思考框架。

~1 min read
Back to Top ↑

Playwright

Back to Top ↑

Portfolio

因子组合优化

问题: 从 $N$ 个候选集中挑选出 $K$ 个,构建一个能够最大化综合得分的组合。得分计算复杂, 所以我们考虑启发式的算法.

~1 min read
Back to Top ↑

RAG

处理新闻数据

新闻数据处理:从非结构化文本到因子矩阵

1 min read
Back to Top ↑

Riemann_metric

Back to Top ↑

SMLD

Back to Top ↑

SSM

attention的优化– 引进时序结构

在token很多(大模型用的超长文本), 或者本身数据是时间序列(比如语音, 视频流)的情况下, attention里面的weight会带来$O(token^2)$ 的内存消耗. state space model可以解决这个问题.

2 min read
Back to Top ↑

Seifert_surface

Back to Top ↑

Tessellation

用六边形构成半球

刷到关于《葬送的芙莉莲》里面六边形魔法防御结界的讨论,根据多面体欧拉公式,仅仅用正六边形是没法组成球体形状结界。我也非常理解制作组为什么不画个足球:毕竟是魔法阵,六边形画的又比较大,弄个五边形也不好看也不好解释。 Pasted image 20240102192929.png

~1 min read
Back to Top ↑

Trichotomy

Back to Top ↑

acid

Back to Top ↑

adaboost

Back to Top ↑

ast

Back to Top ↑

atlas

Back to Top ↑

barcode

Back to Top ↑

basic

Back to Top ↑

betti_number

Back to Top ↑

block

神经网络attention结构理解

在网络中, block是把input信息转换成output信息的过程: 一般, output(position, vector)是input(token, embedding vector)的线性组合, 组合的weight (position, token) 由input和output两方关系确定. 把着重强调这种信息交互的模块叫attention.

convolution

1 min read
Back to Top ↑

build

Tauri 项目 Build 与 Release 实践总结

本文记录了我在使用 Tauri 构建桌面端应用时遇到的一些坑和解决方案,包括配置文件管理、macOS 编译、GitHub Actions 自动构建等内容。

~1 min read
Back to Top ↑

camera

Back to Top ↑

camera_raw

Back to Top ↑

chain

Back to Top ↑

characteristic_class

Back to Top ↑

claude_code

本地模型尝试

记录一下在 Windows 环境下配置 llama.cpp 的全过程,包括编译、启动参数调优、网络排查以及接入开发工具链的细节。

1 min read
Back to Top ↑

color

Back to Top ↑

combo

Back to Top ↑

contrastive_learning

Back to Top ↑

cover

Back to Top ↑

curve

Back to Top ↑

data

处理新闻数据

新闻数据处理:从非结构化文本到因子矩阵

1 min read
Back to Top ↑

dataset

传感器颜色调制 (三) – 数据

各种颜色调制的数据对难以采集, 所以现在大部分颜色调制还是用多光谱数据仿真得到.

多光谱数据集

1 min read
Back to Top ↑

de_Rham_cohomology

Back to Top ↑

debugging

Back to Top ↑

deck_transformation

Back to Top ↑

deeplearning

Back to Top ↑

degree_of_mapping

Back to Top ↑

design

Back to Top ↑

device

双十二装机

趁着双十二激情下单,前后不到一天,选的配件都没什么性价比。

~1 min read
Back to Top ↑

differential_form

Back to Top ↑

diffusion

Back to Top ↑

discrete

Back to Top ↑

disinfectant

Back to Top ↑

dpm-solver

Back to Top ↑

dual_mesh

Back to Top ↑

duality

Back to Top ↑

equal_weight

Back to Top ↑

fiber_bundle

Back to Top ↑

filtration

Back to Top ↑

fix_point

Back to Top ↑

flash attention

attention的优化– flash attention加速

flash-attention是一种算子合并(kernel fusion)的优化. 把self-attention分块, 直接在SRAM里计算, 省去了HBM来回搬运中间结果S和P的时间(如下图). self-attention由两层矩阵乘法, softmax, 和其他eltwise计算(mask, dropout)构成.

1 min read
Back to Top ↑

gaussian_map

Back to Top ↑

genus

Back to Top ↑

github

Tauri 项目 Build 与 Release 实践总结

本文记录了我在使用 Tauri 构建桌面端应用时遇到的一些坑和解决方案,包括配置文件管理、macOS 编译、GitHub Actions 自动构建等内容。

~1 min read
Back to Top ↑

github_actions

Tauri 项目 Build 与 Release 实践总结

本文记录了我在使用 Tauri 构建桌面端应用时遇到的一些坑和解决方案,包括配置文件管理、macOS 编译、GitHub Actions 自动构建等内容。

~1 min read
Back to Top ↑

gligen

Back to Top ↑

gpu

attention的优化– flash attention加速

flash-attention是一种算子合并(kernel fusion)的优化. 把self-attention分块, 直接在SRAM里计算, 省去了HBM来回搬运中间结果S和P的时间(如下图). self-attention由两层矩阵乘法, softmax, 和其他eltwise计算(mask, dropout)构成.

1 min read
Back to Top ↑

graph

Back to Top ↑

grid_sample

Back to Top ↑

gui

pyside6一些功能的用法

pyside是qt的python封装, API的调用方法基本差不多. 用pyside从零开始写一个gui用于标注或测试(调参数或者看中间结果), 每次花费时间都比想象的要少的多. 功能方便而且代码的可读性非常好.

~1 min read
Back to Top ↑

hair

Back to Top ↑

harmonic_energy

Back to Top ↑

harmonic_form

Back to Top ↑

harmonic_function

Back to Top ↑

harmonic_map

Back to Top ↑

hex

用六边形构成半球

刷到关于《葬送的芙莉莲》里面六边形魔法防御结界的讨论,根据多面体欧拉公式,仅仅用正六边形是没法组成球体形状结界。我也非常理解制作组为什么不画个足球:毕竟是魔法阵,六边形画的又比较大,弄个五边形也不好看也不好解释。 Pasted image 20240102192929.png

~1 min read
Back to Top ↑

hodge_star

Back to Top ↑

homeomorphic

Back to Top ↑

hp

Back to Top ↑

hugging_face

本地模型尝试

记录一下在 Windows 环境下配置 llama.cpp 的全过程,包括编译、启动参数调优、网络排查以及接入开发工具链的细节。

1 min read
Back to Top ↑

idea

用六边形构成半球

刷到关于《葬送的芙莉莲》里面六边形魔法防御结界的讨论,根据多面体欧拉公式,仅仅用正六边形是没法组成球体形状结界。我也非常理解制作组为什么不画个足球:毕竟是魔法阵,六边形画的又比较大,弄个五边形也不好看也不好解释。 Pasted image 20240102192929.png

~1 min read
Back to Top ↑

image

常用的图像 reconstruction loss

输出为图像的任务, 比如enhance, deblur, super-resolution, generation等用到的loss, 主要分为以下几类

output和label相近

~1 min read
Back to Top ↑

index

Back to Top ↑

inpaint

Back to Top ↑

isotopic

Back to Top ↑

kalman

Back to Top ↑

lcm

Back to Top ↑

leetcode

Back to Top ↑

life

双十二装机

趁着双十二激情下单,前后不到一天,选的配件都没什么性价比。

~1 min read
Back to Top ↑

lift

Back to Top ↑

linear attention

attention的优化– 引进时序结构

在token很多(大模型用的超长文本), 或者本身数据是时间序列(比如语音, 视频流)的情况下, attention里面的weight会带来$O(token^2)$ 的内存消耗. state space model可以解决这个问题.

2 min read
Back to Top ↑

llama

本地模型尝试

记录一下在 Windows 环境下配置 llama.cpp 的全过程,包括编译、启动参数调优、网络排查以及接入开发工具链的细节。

1 min read
Back to Top ↑

lora

Back to Top ↑

loss

常用的图像 reconstruction loss

输出为图像的任务, 比如enhance, deblur, super-resolution, generation等用到的loss, 主要分为以下几类

output和label相近

~1 min read
Back to Top ↑

manifold

Back to Top ↑

markdown

Back to Top ↑

material

Back to Top ↑

mesh

Back to Top ↑

modifier

Back to Top ↑

music

Back to Top ↑

network

神经网络attention结构理解

在网络中, block是把input信息转换成output信息的过程: 一般, output(position, vector)是input(token, embedding vector)的线性组合, 组合的weight (position, token) 由input和output两方关系确定. 把着重强调这种信息交互的模块叫attention.

convolution

1 min read
Back to Top ↑

news

处理新闻数据

新闻数据处理:从非结构化文本到因子矩阵

1 min read
Back to Top ↑

noise

Back to Top ↑

norm

Back to Top ↑

obsidian

Back to Top ↑

obstruction

Back to Top ↑

pair_graph

Back to Top ↑

parser

Back to Top ↑

pid

Back to Top ↑

pipeline

处理新闻数据

新闻数据处理:从非结构化文本到因子矩阵

1 min read
Back to Top ↑

point_cloud

Back to Top ↑

pratt

Back to Top ↑

proximal_operator

Back to Top ↑

pyside6

pyside6一些功能的用法

pyside是qt的python封装, API的调用方法基本差不多. 用pyside从零开始写一个gui用于标注或测试(调参数或者看中间结果), 每次花费时间都比想象的要少的多. 功能方便而且代码的可读性非常好.

~1 min read
Back to Top ↑

pytorch

传感器颜色调制 (三) – 数据

各种颜色调制的数据对难以采集, 所以现在大部分颜色调制还是用多光谱数据仿真得到.

多光谱数据集

1 min read
Back to Top ↑

quad-mesh

Back to Top ↑

qwen

本地模型尝试

记录一下在 Windows 环境下配置 llama.cpp 的全过程,包括编译、启动参数调优、网络排查以及接入开发工具链的细节。

1 min read
Back to Top ↑

refine

Back to Top ↑

regularization

Back to Top ↑

rust

Tauri 项目 Build 与 Release 实践总结

本文记录了我在使用 Tauri 构建桌面端应用时遇到的一些坑和解决方案,包括配置文件管理、macOS 编译、GitHub Actions 自动构建等内容。

~1 min read
Back to Top ↑

sci-pop

Back to Top ↑

sde

Back to Top ↑

sentiment

处理新闻数据

新闻数据处理:从非结构化文本到因子矩阵

1 min read
Back to Top ↑

shampoo

Back to Top ↑

simplex

Back to Top ↑

simplical_complex

Back to Top ↑

simplicial_cohomology

Back to Top ↑

solidify

Back to Top ↑

speedup

attention的优化– flash attention加速

flash-attention是一种算子合并(kernel fusion)的优化. 把self-attention分块, 直接在SRAM里计算, 省去了HBM来回搬运中间结果S和P的时间(如下图). self-attention由两层矩阵乘法, softmax, 和其他eltwise计算(mask, dropout)构成.

1 min read
Back to Top ↑

standard

Back to Top ↑

state

attention的优化– 引进时序结构

在token很多(大模型用的超长文本), 或者本身数据是时间序列(比如语音, 视频流)的情况下, attention里面的weight会带来$O(token^2)$ 的内存消耗. state space model可以解决这个问题.

2 min read
Back to Top ↑

state space model

attention的优化– 引进时序结构

在token很多(大模型用的超长文本), 或者本身数据是时间序列(比如语音, 视频流)的情况下, attention里面的weight会带来$O(token^2)$ 的内存消耗. state space model可以解决这个问题.

2 min read
Back to Top ↑

stoke

Back to Top ↑

string

Back to Top ↑

tda

Back to Top ↑

ternary

Back to Top ↑

time series

attention的优化– 引进时序结构

在token很多(大模型用的超长文本), 或者本身数据是时间序列(比如语音, 视频流)的情况下, attention里面的weight会带来$O(token^2)$ 的内存消耗. state space model可以解决这个问题.

2 min read
Back to Top ↑

topological_data_analysis

Back to Top ↑

track

Back to Top ↑

triangulation

Back to Top ↑

typescript

Back to Top ↑

uni-pc

Back to Top ↑

universal_cover

Back to Top ↑

vector_field

Back to Top ↑

video_editor

Back to Top ↑

vscode

Back to Top ↑

zero_point

Back to Top ↑

三角剖分

Back to Top ↑

不动点定理

Back to Top ↑

动漫

用六边形构成半球

刷到关于《葬送的芙莉莲》里面六边形魔法防御结界的讨论,根据多面体欧拉公式,仅仅用正六边形是没法组成球体形状结界。我也非常理解制作组为什么不画个足球:毕竟是魔法阵,六边形画的又比较大,弄个五边形也不好看也不好解释。 Pasted image 20240102192929.png

~1 min read
Back to Top ↑

发旋定理

Back to Top ↑

宠物安全

Back to Top ↑

异步

协程的用法

协程就是单线程多任务, 在一个任务等待的时候干点别的其他的任务. 所以包含等待的函数都要用协程的版本: 在需要时交出event loop的控制权.

python 协程的用法

~1 min read
Back to Top ↑

微信

Back to Top ↑

电场

Back to Top ↑

胃病

Back to Top ↑

蒸馏

Back to Top ↑

表情包

Back to Top ↑

醒图

小红书学到的几种图片调色

感觉共同点是:为了追求画面简洁有冲击力,不约而同的压缩了亮度和颜色的动态范围。

版画滤镜

~1 min read
Back to Top ↑