现代大模型算子与布局
从公开大模型中提取 attention、MoE 等算子与子图,研究手写 kernel、数据布局和计算性能。
我对底层软件、密码学和分布式系统的数学基础感兴趣,也写文学作品。
如果对我做的东西感兴趣,可以和我聊聊。
把基础工具的实现与历史 CVE 对照,从代码、补丁和实验分析错误发生的条件。
从公开模型的结构入手,拆开 MoE 的一次计算,梳理各个环节的执行成本。
从公开大模型中提取 attention、MoE 等算子与子图,研究手写 kernel、数据布局和计算性能。
重写 Linux 基础工具,对照历史漏洞和补丁,研究输入边界、路径权限和资源处理中的错误。
研究密码算法的数学结构、安全假设与实现,也探索迷宫和图结构能否带来新的加密或混淆思路。
从 Paxos 和区块链研究分布式系统的数学基础,关注共识、故障假设,以及协议在什么条件下能够保持一致并继续运行。
以 UPX 和 VMProtect 为研究对象,比较可执行文件压缩、代码变换与虚拟化,作为自研二进制保护工具的基础。
将已有二进制保护研究路线整理为主页项目介绍。
补充 Paxos、区块链与分布式系统数学基础的方向说明。
补充密码学方向的介绍。
记录历史案例索引与基础工具重实现之间的研究方法。
整理三个模型的结构入口与首个 MoE 实验的边界。
将基础工具重实现与历史 CVE 学习组织为一条研究路径。