求助有关 PVE 下的 OpenWRT 做主路由这件事

Shir0k0 · 2024-9-21 22:54:08 · 156 次点击
刚刚搞了一套 All in boom 的硬件( i5-12400 + 32G ),不知道如下的操作得不得行:

前置条件:

1. 外部网络通过 DHCP 服务提供,不关心这一个外部网络接口以外的任何网络结构
2. AIB 有 4 个网口
3. 有一个已经刷了 Openwrt 但是性能特别差的路由器(可以用来当无线 AP )
4. 有一台电脑有有线上网需求

我想:
1. PVE 通过一个固定网口当紧急情况下(比如说内部 VM 全部挂掉)的管理口
2. PVE 内部跑一个 Openwrt 当**主路由**,直通三个网口给 Openwrt 。(一个口链接外部网络,一个口给 AP ,一个口链接电脑)
3. PVE 内部跑一个 TrueNAS 当 NAS 系统,直通所有 SATA 口到 TrueNAS 上。
4. TrueNAS 通过某种方式加入 Openwrt 主路由的局域网,和其他设备实现互相访问(比如说 AIB 出来的一个网口上的设备能够直接链接 TrueNAS ,而不用 NAT 或者什么转发)。
5. 局域网内的设备可以通过 Openwrt 访问到 PVE 的管理口,但是不影响 PVE 提供的那个网口的功能。(比如说在 Openwrt 这个 VM 没炸的时候局域网里其他设备可以用某个 IP 访问 PVE 管理口提供的服务,但是如果 Openwrt 这个 VM 炸了把网线连接到管理口上也是可以正常使用的(比如说手动设置网段之类的))

求助:
1. 我想的东西是否可以实现,如果可以,这套方案的性能会很差吗?主要是 TrueNAS 和 Openwrt 之间如何互相访问,虚拟一个网卡?虚拟出来的网卡如果走 VirtIO 会不会导致吃一点 CPU ?(比较关心 CPU 占用是因为我不想让 AIB 太热,不然太吵)
2. 如果可以实现,能提供一点技术上的提示或者指南,里面有一些我还是不太清除的,特别是有关网络设定这部分。我对 KVM 很熟悉。
举报· 156 次点击
登录 注册 站外分享
12 条回复  
starrynight9 初学 2024-9-22 00:03:16
我目前的方案和你说的差不多,就是 j4125 下面虚拟个 op 和 debian ,然后 op 直通 3 个 2.5g ,debian 是直接用的 pve 的虚拟 virtIO 虚拟网卡,其实如果你的管理端口和 op 在同一网段,那么 pve 下的所有虚拟机的虚拟网卡 virtIO 都可以被 op 的 DHCP 管理并且可以互相访问
性能损耗确实有,但是我是日常使用感受不到有啥区别,可以先用着如果性能有瓶颈的话可以搞个单独的硬路由为好。
还有就是你说的所有的 vm 都炸了是可以用管理网口(就是留下的未直通的那个网卡为管理网口)访问 pve 的,但是我没碰到过,只有在更新 op 的系统的时候才这样做
piero66 小成 2024-9-22 00:04:43
12400 这种消费级硬件 不带 ipmi 的,建议主路由分开/硬路由,宿主内核崩了桥接网口都会全部 boom ,直通的 vfio 也会 boom
yyzh 初学 2024-9-22 00:11:09
的确。而且 12 代就是出问题的那代吧。小心 cpu BOOM!
NotFoundEgg 小成 2024-9-22 00:38:44
可以看看这个是否满足你的需求,听起来是与你的需求比较相似 https://www.bilibili.com/video/BV1GY41177Es/
bobryjosin 初学 2024-9-22 00:40:35
cpu 强的话力大砖飞,直不直通日常体验差别不大,VirtIO 半虚拟化网卡性能最好,同一个 vmbr 里面跑个 25G 没啥问题,不复杂的话两个 bridge ,一个网口外网,剩下的所有网口扔到一个 bridge 里面,再配个静态 ip ,建议加台硬路由做备份故障转移,不然 boom 了之后,直接断网。
txydhr 小成 2024-9-22 09:55:12
@yyzh 搞错了是 10/11 代
sayoll 小成 2024-9-22 11:17:51
同 12400 ,用了一年多没任何问题
badgv 初学 2024-9-22 15:00:39
OP 直通的 3 个网口,剩下的 1 个网口上面,创建一个“虚拟交换机”,虚拟机上面可以创建很多个虚拟网口,PVE 本身的管理地址也是“插在这个虚拟交换机上面的”。
1 、在这个虚拟交换机上面,给 OP 添加 1 个虚拟网卡进去,将这个虚拟网卡和直通网口的 LAN 口,一起放到一个 br-lan 里面;
2 、trueNAS 也添加一个虚拟网口;
3 、这样正常情况下,可以通过直通给 OP 的网口,访问到 PVE 主机本身和 trueNAT 。
4 、OP 断网时,可以直插没有直通的物理口管理 NAS 以及 trueNAS;
5 、虚拟交换机,你可以理解为插了 “未直通网口”、“OP 虚拟口”,、“trueNAS 虚拟口”,“PVE 管理虚拟口”。
原理是 op 使用的虚拟口和物理 lan 口在 op 的 br-lan 下,属于一个二层,同时,op 这个虚拟口是“插在” “虚拟交换机”上的,同时插在这个“虚拟交换机”上的还有 PVE 管理口和 trueNAS 网口,所以同属于一个二层环境。
以上是基于 ESXI 用法,PVE 没玩过不太清楚,至于性能的话,主要是看 CPU 了,CPU 强点,跑满线速 G 口问题不大。
shao 限制会员 2024-9-22 21:27:52
我的 PVE ,挂了 OpenWrt 和 Debian12 (跑 docker ),刚刚去看了一下设置。
PVE 也是 4 网口,其中 OpenWrt 直通 2 个网卡 pci ,WAN 和 LAN 。
PVE 把其他 2 网口分别做两个 vmbr0/1 两个网桥,Debian12 也连 vmbr0 网桥。
物理连接,PVE-OpenWrt-WAN-光猫,PVE-OpenWrt-LAN-交换机,PVE-vmbr0-交换机。

你的 TrueNAS 参考 我的 Debian12 的连接方式即可。
12下一页
返回顶部