intel/flexran_vdu

FlexRAN™ Docker镜像文档

1. 镜像概述和主要用途

Intel FlexRAN™软件参考栈是一种vRAN参考架构，展示了如何使用Intel® C++类库优化VDU软件实现，并利用Intel®高级矢量扩展512（Intel® AVX-512）指令集。其多线程设计使单个VDU软件实现能够扩展以满足多种部署场景需求，从单小型基站部署、优化的D-RAN部署到服务大量5G小区的C-RAN池化部署。作为软件实现，它还能够通过O-RAN 7.2x分裂从同一软件栈支持LTE、5G窄带和5G大规模MIMO部署。

自2022年起，Intel FlexRAN团队开始在Docker Hub发布Docker镜像，旨在让更多潜在用户能够轻松入门和使用。该Docker镜像包含二进制文件、运行时依赖库、配置文件和多个典型案例。

2. 核心功能和特性

• 优化的VDU实现：利用Intel® C++类库和AVX-512指令集提升性能
• 多线程设计：支持灵活扩展以适应不同部署规模
• 多标准兼容：通过O-RAN 7.2x分裂支持LTE、5G窄带和5G大规模MIMO
• 多场景适配：可部署于单小型基站、D-RAN及C-RAN池化等场景
• 容器化部署：提供Docker镜像，简化环境配置和使用流程

3. 使用场景和适用范围

• 小型基站部署：适用于单个小型5G基站的独立部署
• D-RAN部署：优化的分布式RAN部署场景
• C-RAN池化部署：支持大规模5G小区的集中式池化部署
• 多标准测试环境：LTE、5G窄带及大规模MIMO技术的开发和测试

4. 详细使用方法和配置说明

4.1 硬件要求

4.2 软件要求

4.3 前置条件配置

4.3.1 BIOS配置

以下是BIOS的主要配置项（不同服务器或BIOS版本可能存在差异，仅供参考）：

4.3.2 实时内核配置

安装TuneD：

shell
$ apt install tuned
$ ln -s /boot/grub/grub.cfg /etc/grub2.cfg
$ vim /etc/grub.d/00_tuned

在文件末尾添加以下行：

shell
echo "export tuned_params"

编辑/etc/tuned/realtime-variables.conf添加隔离核心：

shell
isolated_cores=1-27,29-55

编辑/usr/lib/tuned/realtime/tuned.conf添加nohz和rcu相关参数：

shell
cmdline_realtime=+isolcpus=${managed_irq}${isolated_cores} intel_pstate=disable nosoftlockup tsc=nowatchdog nohz=on nohz_full=${isolated_cores} rcu_nocbs=${isolated_cores}

激活实时配置文件：

shell
$ tuned-adm profile realtime

检查tuned参数：

shell
$ grep tuned_params= /boot/grub/grub.cfg
set tuned_params="skew_tick=1 isolcpus=1-27,29-55 intel_pstate=disable nosoftlockup tsc=nowatchdog nohz=on nohz_full=1-27,29-55 rcu_nocbs=1-27,29-55 rcu_nocb_poll"

在/etc/default/grub中添加其他参数：

shell
GRUB_CMDLINE_LINUX="intel_iommu=on iommu=pt usbcore.autosuspend=-1 selinux=0 enforcing=0 nmi_watchdog=0 crashkernel=auto softlockup_panic=0 audit=0 cgroup_disable=memory mce=off hugepagesz=1G hugepages=60 hugepagesz=2M hugepages=0 default_hugepagesz=1G kthread_cpus=0,28 irqaffinity=0,28 "

应用更改并重启：

shell
$ sudo update-grub
$ sudo reboot

重启后检查内核参数：

shell
$ cat /proc/cmdline
BOOT_IMAGE=/vmlinuz-5.15.0-1009-realtime root=/dev/mapper/ubuntu--vg-ubuntu--lv ro intel_iommu=on iommu=pt usbcore.autosuspend=-1 selinux=0 enforcing=0 nmi_watchdog=0 crashkernel=auto softlockup_panic=0 audit=0 cgroup_disable=memory mce=off hugepagesz=1G hugepages=60 hugepagesz=2M hugepages=0 default_hugepagesz=1G kthread_cpus=0,28 irqaffinity=0,28 skew_tick=1 isolcpus=1-27,29-55 intel_pstate=disable nosoftlockup tsc=nowatchdog nohz=on nohz_full=1-27,29-55 rcu_nocbs=1-27,29-55 rcu_nocb_poll

4.3.3 配置CPU频率和C状态

进一步提高确定性和能效：

shell
$ apt install msr-tools
$ cpupower frequency-set -g performance

设置CPU核心频率为2.5GHz：

shell
$ wrmsr -a 0x199 0x1900

设置CPU uncore为最大允许值，禁用C6和C1E：

shell
$ wrmsr -p a 0x620 0x1e1e
$ cpupower idle-set -d 3
$ cpupower idle-set -d 2

4.3.4 Kubernetes和Docker安装

确保安装特定版本的Kubernetes和Docker，通常使用kubeadm安装和初始化Kubernetes，步骤参考：<[***]>

4.3.4.1 配置操作系统

• 关闭swap：

  shell
  $ swapoff -a
  

4.3.4.2 安装Docker

shell
$ apt-get install -y ca-certificates curl gnupg lsb-release
$ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
$ echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \
$(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
$ apt-get update -y
$ apt-get install -y docker-ce=5:20.10.13~3-0~ubuntu-jammy docker-ce-cli=5:20.10.13~3-0~ubuntu-jammy containerd.io
$ mkdir /etc/docker
$ cat > /etc/docker/daemon.json <<EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2",
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ]
}
EOF
$ systemctl enable docker
$ systemctl daemon-reload
$ systemctl restart docker

4.3.4.3 通过kubeadm安装Kubernetes

shell
$ curl -fsSLo /usr/share/keyrings/kubernetes-archive-keyring.gpg https://packages.cloud.google.com/apt/doc/apt-key.gpg
$ echo "deb [signed-by=/usr/share/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" \
| sudo tee /etc/apt/sources.list.d/kubernetes.list
$ apt update
$ apt install -y kubectl=1.21.2-00 kubeadm=1.21.2-00 kubelet=1.21.2-00 --allow-downgrades
$ systemctl enable --now kubelet
$ systemctl start kubelet
# 注意：如果首次运行enable命令时报告"containerd.io: command not found"或"Failed to start kubele.service: Unit kubele.service not found"，需重新执行"apt install -y kubectl=1.21.2-00 kubeadm=1.21.2-00 kubelet=1.21.2-00 --allow-downgrades"
$ cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
$ sysctl --system

4.3.4.4 配置Docker和Kubernetes使用代理

在~/bashrc中添加环境变量：

shell
$ export http_proxy=<proxy_url>
$ export https_proxy=<proxy_url>
$ export no_proxy=localhost,127.0.0.1,10.244.0.0/16,10.96.0.0/12,<host_ip>                                    

为Docker配置代理（添加到/etc/systemd/system/docker.service.d/http-proxy.conf）：

shell
[Service]
Environment="HTTP_PROXY=<proxy_url>"
[Service]
Environment="HTTPS_PROXY=<proxy_url>"

重启Docker：

shell
$ systemctl daemon-reload
$ systemctl restart docker

4.3.4.5 Kubernetes初始化

初始化Kubernetes集群（主节点）：

shell
$ kubeadm init --kubernetes-version=v1.21.11 --pod-network-cidr=10.244.0.0/16 --apiserver-advertise-address=<host_ip> --token-ttl 0 --ignore-preflight-errors=SystemVerification
$ mkdir -p $HOME/.kube
$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config
$ export KUBECONFIG=/etc/kubernetes/admin.conf

加入工作节点到集群：

shell
$ kubeadm join <master-ip>:<master-port> --token <token> --discovery-token-ca-cert-hash sha256:<hash>

若工作节点与主节点为同一服务器，忽略上述加入步骤，执行以下命令消除污点：

shell
$ kubectl taint nodes --all node-role.kubernetes.io/master-

4.4 Kubernetes插件安装

除Kubernetes和Docker外，还需安装以下插件（从主节点执行）：

• multus：参考GitHub文档 - https://github.com/intel/multus-cni

• calico：参考官方文档 - <[***]>

• SRIOV (CNI和网络设备插件)：参考GitHub文档 - https://github.com/intel/sriov-network-deviceplugin

  SRIOV DP配置示例：

  shell
  $ cd sriov-network-device-plugin 
  $ cat <<EOF > deployments/configMap.yaml
  apiVersion: v1  
  kind: ConfigMap  
  metadata:  
    name: sriovdp-config  
    namespace: kube-system  
  data:  
    config.json: |  
      {  
          "resourceList": [  
              {  
                "resourceName": "intel_fec_5g",  
                  "deviceType": "accelerator",  
                  "selectors": {  
                      "vendors": ["8086"],  
                      "devices": ["0d5d"]  
                  }  
              },  
              {  
                "resourceName": "intel_sriov_odu",  
                  "selectors": {  
                      "vendors": ["8086"],  
                      "devices": ["154c"],  
                      "drivers": ["vfio-pci"],  
                      "pfNames": ["ens9f1"]  
                  }  
              },  
              {  
                "resourceName": "intel_sriov_oru",  
                  "selectors": {  
                      "vendors": ["8086"],  
                      "devices": ["154c"],  
                      "drivers": ["vfio-pci"],  
                      "pfNames": ["ens9f0"]  
                  }  
              }  
          ]  
      }  
  EOF  
  $ kubectl create -f deployments/configMap.yaml  
  $ kubectl create -f deployments/k8s-v1.16/sriovdp-daemonset.yaml  
  $ kubectl get node <your-k8s-worker> -o json | jq '.status.allocatable' 
  

4.5 环境准备

4.5.1 DPDK安装

下载DPDK：

shell
$ cd /opt