招行整合近万张AI异构加速卡：平均利用率提升至60%以上，成本降低60%

当前，许多银行正在加快AI大模型的布局，其中算力是关键要素。从AI算力的角度来看，异构算力的构建已成为主流趋势，甚至成为大模型算力基础设施的“默认选择”。

随着AI算力需求的快速攀升，以及不同应用场景对算力的多样化需求，单一架构的芯片已无法满足所有要求。因此，采用异构组合来实现“任务与计算单元的精确匹配”变得愈发重要。

值得一提的是，最近招行在异构算力建设方面的案例获得了行业奖项，受到了广泛关注。

招行实现了近10000张异构加速卡的共享，支持模型训练、微调和在线推理

根据公开资料，在2026年9月8日举行的KubeCon+CloudNativeCon+OpenInfra Summit+PyTorch Conference China期间，云原生计算基金会（CNCF）宣布招行荣获CNCF最终用户案例研究大赛的冠军。

招行的AI基础设施团队通过将Kubernetes与Kueue、KEDA、Prometheus、HAMi和Fluid等技术结合，构建了一个统一的控制平面，使得近10000张异构加速卡能够在模型训练、微调和在线推理中共享使用。

通过与数据中心及其他团队的协作，招行成功将99%的加速计算资源整合到统一框架中，使得近万张加速卡的平均利用率从35%提升至60%以上；在相同模型与服务的条件下，每处理100万Token的成本降低了超过60%。

随着AI应用的不断深化，招行意识到训练、推理和多租户微调对同一硬件的需求各不相同：分布式训练需要稳定且可预测的资源容量，而在等待其他工作节点或加速卡准备就绪时，已分配的资源可能处于闲置状态；在线推理则需要根据不可预测的流量迅速进行扩展或收缩。

为此，招行构建了一套共享基础设施和解耦运行时的可组合架构：Kueue负责训练任务的准入、队列和配额管理，防止任务在未能实际使用资源前就预留容量；KEDA和Prometheus根据实时需求信号来调整在线推理的规模；HAMi在训练和推理的两个流程中以细粒度单元来分配共享加速资源；Fluid则加速数据集、模型权重和检查点的访问，减少加速卡等待数据的时间。

此外，招行的Twinkle训练框架还进一步提高了多租户微调的效率，默认支持5个LoRA租户共享同一基础模型实例。通过将基础模型副本从5个减少到1个，该配置下的加速卡资源使用量减少了80%，训练密度提升至原来的5倍。

《智探AI应用》了解到，Twinkle训练框架已经在几个月前发布。

在2026年3月，招行信息技术部联合魔搭社区，正式推出了全新的训练框架——Twinkle，旨在构建一套兼具通用性、易用性、高效训练与企业级服务能力的训练基础设施。

据介绍，Twinkle的架构由client和server两部分构成。其中client端包括两类客户端：一类符合Twinkle调用API的客户端，另一类兼容原生Tinker API的客户端，使开发者能够直接使用Tinker API调用Twinkle部署的后端训练服务。Twinkle的server基于PyTorch等基础算法库构建于更细粒度的原子训练组件上，并针对大模型场景进行了特别优化。

在6月，Twinkle 0.4.0版本发布，主要围绕三条主线展开：扩展主流模型的训练覆盖范围；完善长序列、LoRA等复杂训练链路；增强昇腾NPU后端的关键算子与训练能力，旨在加速新模型接入，提升复杂训练链路的稳定性，并进一步提高训练框架在不同硬件后端的可用性。

招行早前自主研发并开源的“统一AI算力调度平台”也备受关注

实际上，招行已多次介绍其AI算力相关基础设施的进展。

在2026年7月，招行宣布其自主研发并开源的“统一AI算力调度平台”入选CNCF发布的最新案例研究。

针对行业普遍面临的异构资源管理难题、高性能训练资源利用效率低下及中小任务的资源浪费等问题，招行通过技术优化取得了一系列成果，包括“统一异构资源管理”、“首创超节点调度”、“细粒度资源共享”和“网络拓扑优化”等。

在异构资源管理方面，架构管理团队将多种AI加速卡纳入统一资源池，应用层不再需要关注底层硬件差异，显著降低了平台运维的复杂度。

关于超节点调度，基于Device Plugin和调度器的技术实现了国内主流超节点模组的配对分配，避免了单数卡跨模组导致的驱动异常，使硬件入池率提升至100%。

据《智探AI应用》了解，约半年前，招行便宣布与HAMi社区联合，首发适配AI超节点算力调度的落地方案。超节点是将多颗芯片通过高速互联组合成一个逻辑单元的硬件架构。

HAMi作为CNCF开源项目，在异构算力卡的调度与切分方面表现优异，已成为招行AI基础设施的核心组成部分。然而，在适配某主流算力卡超节点时，原生框架因缺乏硬件感知而无法保障模组亲和性，限制了算力效率。

因此，招行与HAMi社区携手，基于开源版本进行增强，完成了该算力卡超节点的适配。核心成果包括：

一是首次实现超节点芯片拓扑信息的全面上报及高性能模组的配对分配，为资源感知的准确性与任务调度的稳定性提供了优于原生的解决方案；二是自主研发基于交换机域与直连邻居感知的拓扑亲和性调度算法，优化了分布式训练任务计算单元的物理位置编排，减少了跨交换机通信的损耗。

实际上，招行在2025年半年度报告中提到，正在构建领先的智能计算基础设施，通过底层技术创新不断提升模型性能和算力效能，因此能够取得当前的成就。