Proxmox(PVE)下部署爱快(ikuai)+Openwrt(LEDE)+FreeNAS+Ubuntu 18.04LTS+pihole(docker版 去广告)+APC UPS实施断电自动关机
原创文章,转载请注明出处
https://qiedd.com/
不讲系统安装,这种一般挺简单的,只讲pve如何配置
一、硬件及pve内部虚拟机规划
硬件
CPU 8700T es
主板 技嘉 Z270N-WIFI (itx主板,两个intel网卡,刷BIOS可上89代u)
内存 精亿 DDR4 3000 16G*2 (为什么买杂牌?因为便宜啊,285两根32G巨香)
硬盘 sm961 256G,4*3T 日立 HUS724030ALA640
感谢匿名群友的经验:PVE系统盘不能使用走sata协议的M.2固态,否则会影响接下来给FreeNAS直通SATA控制器
散热 猫头鹰 NH-L9i
电源 1U 400W
网卡 INTEL I350-T4
USB转RJ45(重要!用于配置PVE,弄完路由固件后可以拔掉)
系统
Proxmox 6.1-2
规划
1.Ikuai做为一级路由负责拨号,LEDE做二级路由负责跑各种插件
2.主板上的两个网卡直通给ikuai做wan(拉了两条宽带,电信和移动,所以需要两个wan,做流控的话建议选爱快或者ROS,但是ROS正版要钱。。)
3.I350T4直通给LEDE做lan(~这里有人可能会问为什么不给个口做pve管理网口,我试过直通三个口LEDE,一个给PVE,启动LEDE时候就无法再连接到PVE了,网上说这是因为它们四个网口用的同一个控制器,直通相当于对控制器直通。
那么又有人会问了,怎么看网卡是用的同一个控制器呢?看网卡编号,比如说我这块I350-T4,4个网口的编号分别是(如下图)enp1s0f0,enp1s0f1,enp1s0f2,enp1s0f3,只有后面的数字变了,那就是同一个控制器控制的)
4.整个SATA控制器直通给FreeNAS(只直通硬盘无法读取Smart信息)
5.SM961当系统盘(同理,SATA控制器直通给了FreeNAS后,其他虚拟机以及宿主机就无法使用板载SATA口了,除非你的主板有多个SATA控制器或者有pcie扩展卡)
6.使用SATA协议的M.2固态时,会将硬盘交给SATA控制器而不是pcie,直通SATA控制器时会造成PVE系统错误
7.USB网卡是作为PVE管理接口使用的

所有网卡和桥

小白须知
小白可能不知道虚拟机之间是如何通信的
其实就是靠vmbr*这些网桥,虚拟机在添加“网络设备”时选择网桥,相当于生成了一个虚拟网卡,当网桥两端都有虚拟机时,就可以实现虚拟机之间的通信了
二、进行直通
准备工作
编辑文件 /etc/default/grub 可以用winscp进目录里改,也可以在pve->节点->shell里面用命令行改,或者ssh连上pve改
修改文件 /etc/modules
然后重启
爱快(Ikuai)/Openwrt(LEDE)进行直通网卡
创建虚拟机后,在对应的虚拟机->硬件->添加pci设备
找到对应的网卡即可
FreeNAS直通SATA控制器
[ 1.233142] ahci 0000:00:17.0: AHCI 0001.0301 32 slots 6 ports 6 Gbps 0x3f impl SATA mode
这个与众不同的就是sata控制器了,记住设备ID(0000:00:17.0),在添加PCI设备时找到对应的硬件添加即可
三、安装的一些注意事项
1.PVE安装时我选择了usb网卡作为管理接口,这样就不会收到直通的影响了,以后出问题维护重新插回去也没问题的
2.FreeNAS创建虚拟机时,CPU请选择qemu64而不是默认的kvm64,否则会造成FreeNAS无法正常关机,会重新启动的现象,网卡选择时,我用Virtio居然获取不到ip,如果你们也获取不到web UI的IP,建议选vmxnet3
3.LEDE安装后在命令行界面默认会选择第一个网卡eth0作为lan口,如果你的lan口用的不是第一个网卡,请编辑/etc/config/network进行更改
4.LEDE多个网卡划分到lan的方法
网络-接口-lan-物理设置,把所有需要当成lan的网卡勾在一起就行了

5.爱快(ikuai)设置lan口时有个“高级选项”,点开,把需要规划为lan的网卡都打上勾就行
