Make It Long, Keep It Fast: End-to-End 10K Long User Behavior Sequence Modeling for Billion-Scale Douyin Recommendation
STCA 将历史自注意力替换为目标-历史交叉注意力，复杂度从 O(L²) 降至 O(L)，RLB 在请求级复用用户编码，实现 10K 长序列端到端训练，已部署于抖音全量流量
2 posts tagged with "scaling-law"
STCA 将历史自注意力替换为目标-历史交叉注意力，复杂度从 O(L²) 降至 O(L)，RLB 在请求级复用用户编码，实现 10K 长序列端到端训练，已部署于抖音全量流量
Generative Recommenders (GR) 将推荐重新定义为序列转导任务，HSTU 编码器比 FlashAttention2 Transformer 快 5.3x-15.2x，1.5 万亿参数模型在线 A/B 测试提升 12.4%