边缘架构

大多数边缘架构是保密的且受到严密保护，LLM开箱即用时对此一无所知。

边缘架构指将计算和数据存储推向网络边缘的系统设计，涉及模型量化、剪枝、算子融合、硬件加速器适配等优化技术。

边缘环境具有高度碎片化特征：不同硬件平台的指令集、内存带宽、散热条件各异，且许多厂商的架构文档并不公开。