5.5 KiB
5.5 KiB
GPU 直通前置核查与数据看板（2026-10-30）
硬件事实（SSH 到宿主机实测，修正旧文档误判）
宿主机 starhe（192.168.1.51，pve-manager/9.2.21，内核 7.0.2-6-pve）：
00:02.0 VGA : Intel 4th Gen Core (Haswell) iGPU [8086:0416] 驱动 i915（宿主显示用，保留）
01:00.0 3D : NVIDIA GM204M [GeForce GTX 965M] [10de:13d9] 驱动 nouveau（直通前需解绑）
两者 Subsystem 均为 CLEVO/KAPOK [1558:6557]
- 机身是 CLEVO 准系统（外形像台式机箱），GPU 是移动版 GM204M/965M—— 此前"笔记本"与"IOMMU Group 2 独占"的记载部分有误，以本页为准。
- HDMI 音频功能（01:00.1）不存在，无需处理。
- IOMMU 实测已启用（/sys/kernel/iommu_groups 有 15 组，DMAR 生效； 内核 6.8+ 默认开启，不需要显式 intel_iommu=on）。
- GPU 位于 IOMMU 组 2，组内设备：
0000:00:01.0（root port）+0000:01:00.0（GPU）， 直通需整组传入。 - VM 100：q35 + SeaBIOS、4 核 8G、win10，未配置 hostpci。
明日直通操作单（按序执行）
- 约窗口：宿主机重启会让全部 VM（100/101/102）停机。
- 解绑 nouveau：
/etc/modprobe.d/blacklist.conf加blacklist nouveau，update-initramfs -u，重启宿主机（重启后lsmod | grep nouveau应为空）。 - 绑 vfio：
/etc/modprobe.d/vfio.conf写options vfio-pci ids=10de:13d9（含 root port 的话用 QEMU 参数整组传），重启后确认lspci -nnk -s 01:00.0显示Kernel driver in use: vfio-pci（看板会自动变绿）。 - 挂载：
qm set 100 -hostpci0 00:01.0,pcie=1（按组传；若启动报隔离不满足， 用-hostpci0 0000:00:01.0;0000:01:00.0形式补传 root port）。 vBIOS ROM 先不挂，Code 43 在 R465+ 驱动已移除检测。 - VM 内装驱动：Maxwell 已进 legacy 分支，装 R580 系驱动（提前下载好放 VM）。
- 验证：VM 内
nvidia-smi出卡 → 看板"VM 内实时数据"卡片自动出现利用率/显存/温度。 - Sunshine 切 NVENC（配置 encoder=nvenc 或按其自动探测），1080p60 复测帧率。
GPU 数据看板（已上线）
- 地址：
http://192.168.1.51:8090/（自动刷新 4 秒） - 源码：
tools/gpu_dashboard.py（宿主机/root/gpu_dashboard.py， systemd 单元gpu-dashboard.service已设开机自启） - 直通前显示：型号/驱动/直通阶段/IOMMU 状态与组内设备/VM 配置；
直通后自动经
qm guest exec 100采集 nvidia-smi：利用率、显存、温度、 驱动版本、功耗、NVENC 编码会话数。 - 手动重启：
systemctl restart gpu-dashboard。 - 后续：接管理平台后，该数据源可换成平台 GPU 池接口（Web 控制台监控模块复用）。
2026-10-30 实施记录：直通落地成功，卡在 vBIOS，已回退保环境
已完成并持久化
- 宿主机：blacklist nouveau + vfio.conf(ids=10de:13d9,8086:0c01) + initramfs 更新 + 重启；
重启后
01:00.0由 vfio-pci 接管，nouveau 0。 - VM 100：hostpci0=0000:01:00.0,pcie=1 挂载成功；客户机出现
3D Video Controller。 - 驱动：582.66 WHQL 经"PC 下载 → 宿主机 8091 HTTP → VM 内网拉取"进入 VM
（VM 直连 NVIDIA CDN 被 403，需走内网中转）；安装器兼容性检测拒绝（桌面包 INF 无移动 ID），
改用
pnputil /add-driver Display.Driver/nvcvi.inf /install成功—— nvcvi.inf 含我们的精确 IDPCI\VEN_10DE&DEV_13D9&SUBSYS_65571558， 设备绑定成功、C:\Windows\System32\nvidia-smi.exe出现。 - 全部 VM 已设 onboot 自启；宿主机新增 systemd 服务：
gpu-dashboard(8090)、dl-http(8091)。
阻塞点：GM204M 缺少可用 vBIOS，驱动初始化失败（Code 43）
- 宿主机 dmesg：
Invalid PCI ROM header signature: expecting 0xaa55, got 0xffff—— 该 Optimus 移动卡的 ROM BAR 读不出 vBIOS；sysfs 转储 0 字节。 - 已尝试无效：
cpu host,hidden=1；args -cpu host,-hypervisor,hv_vendor_id=...,kvm=off；rombar=0（设备直接不枚举）。 - 供体 ROM 实验：TechPowerUp 上两个 "GTX 965M" 条目实为 GM206(1427) 改版（芯片不符）； 同 GM204 的 Clevo GTX 970M(13D8) ROM 经 PCIR 补丁（vendor 10de + device 13d9 + 子系统 6557） 后 guest 仍不枚举设备。
- 结论：需要这块卡（或同款 GM204M/13D9）的真 vBIOS 才能完成驱动初始化。
已回退（保客户演示环境）
- VM 100 已摘除 hostpci 并重启，Sunshine 正常（x264 路线），47989 开放； 失败安装无残留（无 NVIDIA 目录）。
- 直通重新启用只需两条命令：
qm set 100 -hostpci0 0000:01:00.0,pcie=1[,romfile=...]+ 重启 VM。
后续选项（按代价排序）
- 宿主机整机冷断电 30 秒以上（现场 1 分钟操作；Maxwell 多次热重启后设备状态可能损坏，
冷启动是社区最后一招）→ 开机后重挂
romfile=gtx965m-fixed.rom（已留存/usr/share/kvm/gtx965m-fixed.rom，即 970M ROM 补丁版）再试。 - 获取真 GM204M(13D9) vBIOS：任何可进系统的 965M 机器用 GPU-Z 导出
（同事/二手渠道），或从 CLEVO BIOS 刷写包提取；放到
/usr/share/kvm/后 romfile 挂载。 - 业务备选：若 965M 直通确认不可行，NVENC 需换卡（桌面 GM204 及以上）或改用其他硬件方案。
GPU 数据看板
http://192.168.1.51:8090/（systemd gpu-dashboard，源码 tools/gpu_dashboard.py）。
驱动一旦可初始化，"VM 内实时数据"卡片自动显示利用率/显存/温度/NVENC 会话，无需改代码。