数字技术与应用杂志社

摘要：<正>随着人工智能技术的快速发展，大语言模型已成为推动新一轮产业变革的核心驱动力。然而，其在实际应用中面临着推理效率低下、计算资源消耗大等关键挑战，严重制约了规模化落地与商业化。传统的注意力内核采用填充策略处理变长序列，导致内存浪费严重（约50%），批处理效率低下，且难以有效支持前缀缓存、连续批处理等优化技术。为应对大语言模型在实际部署中的效率、成本与可扩展性挑战，本文提出了一种基于大语言模型的高效注意力计算内核设计。

专辑： 信息科技

专题： 自动化技术

分类号： TP18