摘要

分布式训练中，多设备 / 多节点间的数据同步通信是性能瓶颈之一，传统通信实现难以适配高速网络与硬件拓扑。CANN 生态下的hccl仓库（Huawei Collective Communication Library），是分布式训练的核心通信库，提供 AllReduce、AllGather 等集合通信原语，深度优化 RoCE 网络与 PCIe 拓扑，支撑千卡级分布式训练高效执行。

一、仓库定位：分布式训练的 “通信加速引擎”

hccl是 CANN 生态中分布式训练集合通信库，核心解决 “多设备 / 多节点数据同步效率低” 的问题 —— 针对分布式训练场景优化通信逻辑，支持高带宽、低延迟的数据同步，适配单机多卡、多机多卡等不同部署模式，是大规模分布式训练的核心支撑。

核心能力：

• 核心集合通信原语（AllReduce、AllGather、Broadcast、ReduceScatter）；
• 网络拓扑感知优化（RoCE/PCIe）；
• 支持动态通信组管理；
• 兼容 MPI 接口，易于集成。

二、代码架构：通信原语核心实现

plaintext

hccl/
├── include/          # 接口头文件
│   └── hccl.h
├── src/              # 核心实现
│   ├── collective_ops.c  # 集合通信原语
│   ├── network_adapter.c # 网络适配
│   └── group_manager.c   # 通信组管理
└── examples/         # 示例
    └── allreduce_demo.c

三、核心实现：AllReduce 通信原语

接口定义（include/hccl.h）

c

运行

#ifndef HCCL_H
#define HCCL_H

// 通信组句柄
typedef void* HcclComm;

/**
 * @brief 初始化HCCL环境
 * @return 0表示成功
 */
int HcclInit();

/**
 * @brief 创建通信组
 * @param comm 输出通信组句柄
 * @param rank 当前设备rank
 * @param rankSize 通信组总设备数
 * @return 0表示成功
 */
int HcclCommInitRank(HcclComm *comm, int rank, int rankSize);

/**
 * @brief AllReduce通信原语（多设备数据求和并广播到所有设备）
 * @param sendBuf 发送缓冲区
 * @param recvBuf 接收缓冲区
 * @param count 数据元素个数
 * @param dataType 数据类型
 * @param op 聚合操作（求和/求积/取最大等）
 * @param comm 通信组句柄
 * @return 0表示成功
 */
int HcclAllReduce(const void *sendBuf, void *recvBuf, size_t count,
                  int dataType, int op, HcclComm comm);

/**
 * @brief 销毁通信组
 * @param comm 通信组句柄
 */
void HcclCommDestroy(HcclComm comm);

#endif // HCCL_H

集成示例（examples/allreduce_demo.c）

c

运行

#include <stdio.h>
#include "hccl.h"

int main(int argc, char **argv) {
    if (argc != 3) {
        printf("Usage: %s <rank> <rankSize>\n", argv[0]);
        return -1;
    }

    int rank = atoi(argv[1]);
    int rankSize = atoi(argv[2]);
    HcclComm comm;

    // 初始化HCCL环境并创建通信组
    HcclInit();
    HcclCommInitRank(&comm, rank, rankSize);

    // 模拟本地数据
    float sendBuf[4] = {1.0f + rank, 2.0f + rank, 3.0f + rank, 4.0f + rank};
    float recvBuf[4] = {0};

    // 执行AllReduce（求和）
    HcclAllReduce(sendBuf, recvBuf, 4, 0, 0, comm); // 0=FP32, 0=求和

    printf("Rank %d: AllReduce结果：%.2f, %.2f, %.2f, %.2f\n",
           rank, recvBuf[0], recvBuf[1], recvBuf[2], recvBuf[3]);

    HcclCommDestroy(comm);
    return 0;
}

四、总结

hccl通过优化的集合通信原语与网络拓扑适配，为分布式训练提供了高带宽、低延迟的数据同步能力，支撑大规模多设备 / 多节点训练高效执行，是 CANN 分布式训练生态的核心基础。

相关链接

• CANN 组织链接：https://atomgit.com/cann
• hccl 仓库链接：https://atomgit.com/cann/hccl