现代大模型算子与布局

把一次计算拆开看

项目的思路是从 DeepSeek-V4-Pro、Kimi K3 和 GLM-5.3 等公开模型中提取 attention、MoE 等算子和小子图，按具体的计算内容组织 benchmark。一次 MoE 计算包含路由、token 重排、专家计算和结果合并；单个矩阵乘法的速度只能解释其中一部分成本。

MoE 实验设计

起点是一个常规 MoE 子图：固定 token 总数，改变各个专家分到的负载，再比较不同的数据布局与计算方式。要分析的是，耗时的差别来自数据搬运、计算量，还是并行程度。

参考实现从小规模输入开始核对语义，再扩大规模。每组实验记录模型版本、代码位置、输入输出、状态、边界与误差条件；模型配置、缩小的实验和人工构造的数据分别标明。测量同时覆盖各个环节与整个子图，保留原始数据和没有奏效的尝试。

布局代数

分块、转置和索引组合会改变逻辑元素在内存里的位置。布局代数的方向是用 Lean 研究这些映射的等价性、边界和组合条件，让形式化分析与性能实验围绕同一个具体问题展开。