发生了什么
- KAI Scheduler 从 v0.18.0 集成 NvFractions 模式,通过 Pod 注解传递配额;超过显存上限的分配会失败。
- 同一 GPU 不混用两种计算共享模式;显存配额、计算共享方式与故障隔离需要分别评估。
对工程应用的启发
工程观察:共享 GPU 前,可用真实推理和批处理任务检查显存峰值、超限行为、吞吐及邻居任务影响,确认调度器和节点配置一致。
以上为基于公开资料的应用思考,具体能力与适用范围需结合原文和实际测试判断。
TECHNOLOGY BRIEF / 芯片与算力
NVIDIA 介绍如何通过 GPU Fractioning Operator 与 KAI Scheduler,将 CUDA 13.4 的显存边界能力用于 Kubernetes。工作负载可声明显存保底与上限,并选择时间片或 SM 共享方式,由节点侧组件执行配置和统计使用量。

工程观察:共享 GPU 前,可用真实推理和批处理任务检查显存峰值、超限行为、吞吐及邻居任务影响,确认调度器和节点配置一致。
以上为基于公开资料的应用思考,具体能力与适用范围需结合原文和实际测试判断。