参数服务器

参数服务器（Parameter Server）是一种为分布式机器学习设计的编程框架，最早由卡内基梅隆大学的研究者提出。

参数服务器的核心思想是将模型参数划分为多个分片，分散存储在一组服务器节点上，训练节点通过拉取和推送操作与参数服务器交互。

参数服务器架构的缺点是：当模型参数达到千亿级时，worker与参数服务器之间的通信量巨大，网络带宽成为瓶颈；热门参数容易集中在少数节点上形成热点，导致负载不均衡；且通常与训练框架紧耦合，难以针对特定访问模式做底层优化。

流处理框架（如Flink）和机器学习训练框架（如参数服务器）广泛采用检查点机制。