Proxmox VE 配置 PCIe 显卡直通

标签：

virtualization
tutorial

收集必要信息

1
root@pve:~# lspci | grep VGA
2
02:00.0 VGA compatible controller: NVIDIA Corporation TU116 [GeForce GTX 1660 SUPER] (rev a1)
3
81:00.0 VGA compatible controller: NVIDIA Corporation TU116 [GeForce GTX 1660 SUPER] (rev a1)
4
^^^^^

记下开头XX:XX PCI 地址，如上方输出中的02:00和81:00。

1
root@pve:~# lspci -n -s 02:00
2
02:00.0 0300: 10de:21c4 (rev a1)
3
02:00.1 0403: 10de:1aeb (rev a1)
4
02:00.2 0c03: 10de:1aec (rev a1)
5
02:00.3 0c80: 10de:1aed (rev a1)
6
              ^^^^^^^^^
7
root@pve:~# lspci -n -s 81:00
8
81:00.0 0300: 10de:21c4 (rev a1)
9
81:00.1 0403: 10de:1aeb (rev a1)
10
81:00.2 0c03: 10de:1aec (rev a1)
11
81:00.3 0c80: 10de:1aed (rev a1)
12
              ^^^^^^^^^

记下XXXX:XXXX 形式的 Vendor ID 和 Device ID，有多个显卡的话都要记录但同款显卡通常相同（如上例）

修改系统配置

为显卡开启 vfio

编辑 /etc/modprobe.d/vfio.conf，写入以下内容，其中^标注部分替换成上方记录的 ID，用逗号分隔

1
options vfio-pci ids=10de:21c4,10de:1aeb,10de:1aec,10de:1aed disable_vga=1
2
#                    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
3
# 只需要输入第一行

调整内核模块

编辑 /etc/modprobe.d/blacklist.conf，写入：

1
blacklist radeon
2
blacklist nouveau
3
blacklist nvidia

编辑 /etc/modprobe.d/kvm.conf，写入：

1
options kvm ignore_msrs=1

编辑 /etc/modprobe.d/iommu_unsafe_interrupts.conf，写入：

1
options vfio_iommu_type1 allow_unsafe_interrupts=1

修改 /etc/modules，写入：

1
vfio
2
vfio_iommu_type1
3
vfio_pci
4
vfio_virqfd

应用以上更改

1
update-initramfs -u -k all

修改 GRUB

编辑 /etc/default/grub，将 CMDLINE_DEFAULT_GRUB一行修改为：

1
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=downstream,multifunction nofb nomodeset video=efifb:off video=vesafb:off pcie_aspm=off initcall_blacklist=sysfb_init"

执行

1
sudo update-grub

Tricky Workaround

编辑 /root/fix_gpu_pass.sh 写入：

1
#!/bin/bash
2
echo 1 > /sys/bus/pci/devices/0000\\:81\\:00.0/remove
3
echo 1 > /sys/bus/pci/devices/0000\\:02\\:00.0/remove
4
# 修改此处的 PCI 地址                ^^^^^^
5

6
echo 1 > /sys/bus/pci/rescan

并设置此脚本开机运行：

1
crontab -e

在打开的编辑器中修改文件，在文件末尾加入这一行：

1
@reboot /root/fix_gpu_pass.sh

重启 Proxmox VE 宿主机

验证修改生效

运行此命令

1
dmesg | grep -e DMAR -e IOMMU

如果输出中包含形如以下内容，则 IOMMU 成功启用。

1
[    0.158925] DMAR: IOMMU enabled

运行此命令

1
#!/bin/bash
2
shopt -s nullglob
3
for g in $(find /sys/kernel/iommu_groups/* -maxdepth 0 -type d | sort -V); do
4
    echo "IOMMU 组 ${g##*/}:"
5
    for d in $g/devices/*; do
6
        echo -e "\\t$(lspci -nns ${d##*/})"
7
    done;
8
done;

根据输出确认 GPU 处于单独的 IOMMU 分组，例如：

1
IOMMU 组 45:
2
        02:00.0 VGA compatible controller [0300]: NVIDIA Corporation TU116 [GeForce GTX 1660 SUPER] [10de:21c4] (rev a1)
3
IOMMU 组 46:
4
        02:00.1 Audio device [0403]: NVIDIA Corporation TU116 High Definition Audio Controller [10de:1aeb] (rev a1)
5
IOMMU 组 47:
6
        02:00.2 USB controller [0c03]: NVIDIA Corporation TU116 USB 3.1 Host Controller [10de:1aec] (rev a1)
7
IOMMU 组 48:
8
        02:00.3 Serial bus controller [0c80]: NVIDIA Corporation TU116 USB Type-C UCSI Controller [10de:1aed] (rev a1)

配置虚拟机

⚠️ 以下内容仅适用于 Linux 虚拟机。Windows 虚拟机理论上可行，但我没有需求，故未曾尝试。

FYI：参考资料中的 3os.org 有较为详细的相关教程。

按照正常流程新建 QEMU 虚拟机，但需要注意以下配置：

BIOS 设置为 SeaBIOS（默认）
机型设置为 q35
创建完成后不要开机，先到硬件 - 添加 - PCI设备 添加显卡
- “设备”选择带显卡名称的项目
- 勾选 所有功能 和 PCI-Express

选择设备的示例

设置选项的示例

最终效果示意图

完成

接下来你可以启动虚拟机，安装系统和显卡驱动，然后开始使用。