关于AI、软件、生活等的思考。短篇笔记和长篇写作。
大语言模型（LLM）具有预测其生成响应长度的非凡能力。通过利用这种能力，我们提出了一种称为序列调度的新技术来提高 LLM 批量推理的效率。
多层感知机反向传播算法的逐步推导。