根据您提供的arXiv论文信息（提交日期2026年2月13日），关于TriGen: NPU Architecture for End-to-End Acceleration of Large Language Models based on SW-HW Co-Design 的核心内容整理如下：

一、研究背景与挑战

问题定位
Transformer架构的大型语言模型（LLMs）参数量急剧增长，但参数复用率低，传统CNN优化方法不适用，导致资源受限的端侧设备（如边缘服务器、移动设备）难以实现端到端推理。
现有NPU局限
当前NPU设计难以高效协同处理LLMs中的线性（如矩阵乘）和非线性操作（如激活函数），且低精度计算易引发精度损失。

二、TriGen架构的核心创新

通过软件-硬件协同设计解决上述挑战，包含三大关键技术：

1. 低精度计算与微缩放技术（Microscaling, MX）

采用低于FP16的精度（如INT8/INT4）进行计算，显著降低计算开销和内存占用。
引入MX技术动态调整标度因子，在低精度下保持模型精度接近FP32水平，避免传统量化导致的显著精度损失。

2. 非线性操作硬件优化

用快速查找表（LUT）替代专用硬件单元，高效实现激活函数（如GELU）、LayerNorm等非线性操作。
优势：
硬件成本降低（无需独立运算单元）；
减少非线性操作延迟，提升端到端流水线效率。

3. 内存感知调度策略

针对有限片上内存设计动态调度算法，优化数据复用与传输顺序。
通过计算-通信重叠，将内存传输量减少52%，最大化计算单元利用率。

三、性能与实验结果

| 指标         | TriGen vs. 基线NPU | 提升效果               |
|-------------------|------------------------|----------------------------|
| 推理速度          | 2.73倍平均加速         | 端到端延迟显著降低         |
| 内存带宽占用      | 减少52%                | 适用于内存瓶颈场景         |
| 精度损失          | <0.5%（多个LLM测试）   | 可忽略的精度影响           |
| 硬件成本          | 降低非线性操作模块面积 | 更适合资源受限设备部署     |

测试模型：涵盖BERT、GPT系列及百亿参数级LLMs。
实验环境：模拟边缘设备（内存容量≤16GB，算力≤20TOPS）。

四、技术突破意义

端侧LLM部署可行性
首次在资源严格受限环境下实现百亿级LLM的端到端推理，突破现存NPU的算力-内存瓶颈。
软硬件协同范式
MX精度保障 + LUT硬件设计 + 内存调度形成完整优化链，为后续NPU架构提供新设计范式。
工业应用潜力
适用于智能边缘服务器（如华为Atlas系列）、自动驾驶、轻量化AI终端等场景。

五、论文信息

DOI：10.48550/arXiv.2602.12962
PDF链接：访问论文全文
提交历史：2026年2月13日提交至arXiv，属计算机硬件架构（cs.AR）领域最新成果。