DPDK技術(shù)棧在電信云中的最佳實(shí)踐（2）

接上篇《NFV關(guān)鍵技術(shù)：DPDK技術(shù)棧在網(wǎng)絡(luò)云中的最佳實(shí)踐01》

4、DDIO（Data Direct I/O）數(shù)據(jù)直連技術(shù)

如今，隨著大數(shù)據(jù)和云計(jì)算的爆炸式增長(zhǎng)，寬帶的普及以及個(gè)人終端網(wǎng)絡(luò)數(shù)據(jù)的日益提高，對(duì)運(yùn)營(yíng)商服務(wù)節(jié)點(diǎn)和數(shù)據(jù)中心的數(shù)據(jù)交換能力和網(wǎng)絡(luò)帶寬提出了更高的要求。并且，數(shù)據(jù)中心本身對(duì)虛擬化功能的需求也增加了更多的網(wǎng)絡(luò)帶寬需求。為此，英特爾公司提出了Intel® DDIO(Data Direct I/O)的技術(shù)。該技術(shù)的主要目的就是讓服務(wù)器能更快處理網(wǎng)絡(luò)接口的數(shù)據(jù)，提高系統(tǒng)整體的吞吐率，降低延遲，同時(shí)減少能源的消耗。

當(dāng)一個(gè)網(wǎng)絡(luò)報(bào)文送到服務(wù)器的網(wǎng)卡時(shí)，網(wǎng)卡通過(guò)外部總線(比如PCI總線)把數(shù)據(jù)和報(bào)文描述符送到內(nèi)存。接著，CPU從內(nèi)存讀取數(shù)據(jù)到Cache進(jìn)而到寄存器。進(jìn)行處理之后，再寫回到Cache，并最終送到內(nèi)存中。最后，網(wǎng)卡讀取內(nèi)存數(shù)據(jù)，經(jīng)過(guò)外部總線送到網(wǎng)卡內(nèi)部，最終通過(guò)網(wǎng)絡(luò)接口發(fā)送出去。可以看出，對(duì)于一個(gè)數(shù)據(jù)報(bào)文，CPU和網(wǎng)卡需要多次訪問(wèn)內(nèi)存。而內(nèi)存相對(duì)CPU來(lái)講是一個(gè)非常慢速的部件。CPU需要等待數(shù)百個(gè)周期才能拿到數(shù)據(jù)，在這過(guò)程中，CPU什么也做不了。

DDIO技術(shù)思想就是使外部網(wǎng)卡和CPU通過(guò)LLC Cache直接交換數(shù)據(jù)，繞過(guò)了內(nèi)存這個(gè)相對(duì)慢速的部件。這樣，就增加了CPU處理網(wǎng)絡(luò)報(bào)文的速度(減少了CPU和網(wǎng)卡等待內(nèi)存的時(shí)間)，減小了網(wǎng)絡(luò)報(bào)文在服務(wù)器端的處理延遲。這樣做也帶來(lái)了一個(gè)問(wèn)題，就是網(wǎng)絡(luò)報(bào)文直接存儲(chǔ)在LLC Cache中，對(duì)這一級(jí)cache的容量有很大需求。因此，在英特爾的E5處理器系列產(chǎn)品中，把LLC Cache的容量提高到了20MB。DDIO處理網(wǎng)絡(luò)報(bào)文流程示意圖如下：

為了發(fā)送一個(gè)數(shù)據(jù)報(bào)文到網(wǎng)絡(luò)上去，首先是運(yùn)行在CPU上的軟件分配了一段內(nèi)存，然后把這段內(nèi)存讀取到CPU內(nèi)部，更新數(shù)據(jù)，并且填充相應(yīng)的報(bào)文描述符（網(wǎng)卡會(huì)通過(guò)讀取描述符了解報(bào)文的相應(yīng)信息），然后寫回到內(nèi)存中，通知網(wǎng)卡，最終網(wǎng)卡把數(shù)據(jù)讀回到內(nèi)部，并且發(fā)送到網(wǎng)絡(luò)上去。但是，沒(méi)有DDIO技術(shù)和有DDIO技術(shù)條件的處理方式是不同的。

a) 沒(méi)有DDIO時(shí)，如上圖所示：

1）CPU更新報(bào)文和控制結(jié)構(gòu)體。由于分配的緩沖區(qū)在內(nèi)存中，因此會(huì)觸發(fā)一次Cache不命中，CPU把內(nèi)存讀取到Cache中，然后更新控制結(jié)構(gòu)體和報(bào)文信息。之后通知NIC來(lái)讀取報(bào)文。

2）NIC收到有報(bào)文需要傳遞到網(wǎng)絡(luò)上的通知后，讀取控制結(jié)構(gòu)體進(jìn)而知道去內(nèi)存中讀取報(bào)文信息。

3）由于之前CPU剛把該緩沖區(qū)從內(nèi)存讀到Cache中并且做了更新，很有可能Cache還沒(méi)有來(lái)得及把更新的內(nèi)容寫回到內(nèi)存中(回寫機(jī)制)。因此，當(dāng)NIC發(fā)起一個(gè)對(duì)內(nèi)存的讀請(qǐng)求時(shí)，很有可能這個(gè)請(qǐng)求會(huì)發(fā)送到Cache系統(tǒng)中，Cache系統(tǒng)會(huì)把數(shù)據(jù)寫回到內(nèi)存中。

4）嘴周，內(nèi)存控制器再把數(shù)據(jù)寫到PCI總線上去，NIC從PCI總線上讀取數(shù)據(jù)。

b) 有DDIO時(shí)，如上圖所示：

1）CPU更新報(bào)文和控制結(jié)構(gòu)體。這個(gè)步驟和沒(méi)有DDIO的技術(shù)類似，但是由于DDIO的引入，處理器會(huì)開(kāi)始就把內(nèi)存中的緩沖區(qū)和控制結(jié)構(gòu)體預(yù)取到Cache，因此減少了內(nèi)存讀的時(shí)間。

2）NIC收到有報(bào)文需要傳遞到網(wǎng)絡(luò)上的通知后，通過(guò)PCI總線去讀取控制結(jié)構(gòu)體和報(bào)文。利用DDIO技術(shù)，I/O訪問(wèn)可以直接將Cache的內(nèi)容送到PCI總線上。這樣，就減少了Cache寫回時(shí)等待的時(shí)間。

由此可以看出，由于DDIO技術(shù)的引入，網(wǎng)卡的讀操作減少了訪問(wèn)內(nèi)存的次數(shù)，因而提高了訪問(wèn)效率，減少了報(bào)文轉(zhuǎn)發(fā)的延遲。在理想狀況下，NIC和CPU無(wú)需訪問(wèn)內(nèi)存，直接通過(guò)訪問(wèn)Cache就可以完成更新數(shù)據(jù)，把數(shù)據(jù)送到NIC內(nèi)部，進(jìn)而送到網(wǎng)絡(luò)上的所有操作。

有網(wǎng)絡(luò)報(bào)文需要送到系統(tǒng)內(nèi)部進(jìn)行處理，其過(guò)程一般是NIC從網(wǎng)絡(luò)上收到報(bào)文后，通過(guò)PCI總線把報(bào)文和相應(yīng)的控制結(jié)構(gòu)體送到預(yù)先分配的內(nèi)存，然后通知相應(yīng)的驅(qū)動(dòng)程序或者軟件來(lái)處理。和之前網(wǎng)卡的讀數(shù)據(jù)操作類似，有DDIO技術(shù)和沒(méi)有DDIO技術(shù)的處理也是不一樣的。

a) 沒(méi)有DDIO時(shí)，如上圖所示：

1）報(bào)文和控制結(jié)構(gòu)體通過(guò)PCI總線送到指定的內(nèi)存中。如果該內(nèi)存恰好緩存在Cache中(有可能之前CPU有對(duì)該內(nèi)存進(jìn)行過(guò)讀寫操作)，則需要等待Cache把內(nèi)容先寫回到內(nèi)存中，然后才能把報(bào)文和控制結(jié)構(gòu)體寫到內(nèi)存中。

2）運(yùn)行在CPU上的驅(qū)動(dòng)程序或者軟件得到通知收到新報(bào)文，去內(nèi)存中讀取控制結(jié)構(gòu)體和相應(yīng)的報(bào)文，Cache不命中。之所以Cache一定不會(huì)命中，是因?yàn)榧词乖搩?nèi)存地址在Cache中，在步驟1中也被強(qiáng)制寫回到內(nèi)存中。因此，只能從內(nèi)存中讀取控制結(jié)構(gòu)體和報(bào)文。

b) 有DDIO時(shí)，如上圖所示：

1）這時(shí)，報(bào)文和控制結(jié)構(gòu)體通過(guò)PCI總線直接送到Cache中。這時(shí)有兩種情形：場(chǎng)景一就是如果該內(nèi)存恰好緩存在Cache中(有可能之前處理器有對(duì)該內(nèi)存進(jìn)行過(guò)讀寫操作)，則直接在Cache中更新內(nèi)容，覆蓋原有內(nèi)容。場(chǎng)景二就是如果該內(nèi)存沒(méi)有緩存在Cache中，則在最后一級(jí)Cache中分配一塊區(qū)域，并相應(yīng)更新Cache表，表明該內(nèi)容是對(duì)應(yīng)于內(nèi)存中的某個(gè)地址的。

2）運(yùn)行在CPU上的驅(qū)動(dòng)或者軟件被通知到有報(bào)文到達(dá)，其產(chǎn)生一個(gè)內(nèi)存讀操作，由于該內(nèi)容已經(jīng)在Cache中，因此直接從Cache中讀。

由此可以看出，DDIO技術(shù)在CPU和外設(shè)之間交換數(shù)據(jù)時(shí)，減少了CPU和外設(shè)訪問(wèn)內(nèi)存的次數(shù)，也減少了Cache寫回的等待，提高了系統(tǒng)的吞吐率和數(shù)據(jù)的交換延遲。

NUMA系統(tǒng)

從系統(tǒng)架構(gòu)來(lái)看，目前的商用服務(wù)器大體可以分為三類，即對(duì)稱多處理器結(jié)構(gòu)(SMP ：Symmetric Multi-Processor)，非一致存儲(chǔ)訪問(wèn)結(jié)構(gòu)(NUMA ：Non-Uniform Memory Access)，以及海量并行處理結(jié)構(gòu)(MPP ：Massive Parallel Processing)。它們的特征如下：

SMP (Symmetric Multi Processing),對(duì)稱多處理系統(tǒng)內(nèi)有許多緊耦合多處理器，在這樣的系統(tǒng)中，所有的CPU共享全部資源，如總線，內(nèi)存和I/O系統(tǒng)等，操作系統(tǒng)或管理數(shù)據(jù)庫(kù)的復(fù)本只有一個(gè)，這種系統(tǒng)有一個(gè)最大的特點(diǎn)就是共享所有資源。多個(gè)CPU之間沒(méi)有區(qū)別，平等地訪問(wèn)內(nèi)存、外設(shè)、一個(gè)操作系統(tǒng)。操作系統(tǒng)管理著一個(gè)隊(duì)列，每個(gè)處理器依次處理隊(duì)列中的進(jìn)程。如果兩個(gè)處理器同時(shí)請(qǐng)求訪問(wèn)一個(gè)資源(例如同一段內(nèi)存地址)，由硬件、軟件的鎖機(jī)制去解決資源爭(zhēng)用問(wèn)題。SMP 服務(wù)器的主要特征是共享，系統(tǒng)中所有資源(CPU 、內(nèi)存、I/O 等)都是共享的。也正是由于這種特征，導(dǎo)致了 SMP 服務(wù)器的主要問(wèn)題，那就是它的擴(kuò)展能力非常有限。對(duì)于 SMP 服務(wù)器而言，每一個(gè)共享的環(huán)節(jié)都可能造成 SMP 服務(wù)器擴(kuò)展時(shí)的瓶頸，而最受限制的則是內(nèi)存。由于每個(gè) CPU 必須通過(guò)相同的內(nèi)存總線訪問(wèn)相同的內(nèi)存資源，因此隨著 CPU 數(shù)量的增加，內(nèi)存訪問(wèn)沖突將迅速增加，最終會(huì)造成 CPU 資源的浪費(fèi)，使 CPU 性能的有效性大大降低。實(shí)驗(yàn)證明，SMP 服務(wù)器 CPU 利用率最好的情況是2至4個(gè) CPU 。

NUMA 服務(wù)器的基本特征是具有多個(gè) CPU 模塊，每個(gè) CPU 模塊由多個(gè) CPU (如4個(gè))組成，并且具有獨(dú)立的本地內(nèi)存、 I/O 槽口等。由于其節(jié)點(diǎn)之間可以通過(guò)互聯(lián)模塊(如稱為Crossbar Switch)進(jìn)行連接和信息交互，因此每個(gè) CPU 可以訪問(wèn)整個(gè)系統(tǒng)的內(nèi)存 (這是 NUMA 系統(tǒng)與 MPP 系統(tǒng)的重要差別)。顯然，訪問(wèn)本地內(nèi)存的速度將遠(yuǎn)遠(yuǎn)高于訪問(wèn)遠(yuǎn)地內(nèi)存(系統(tǒng)內(nèi)其它節(jié)點(diǎn)的內(nèi)存)的速度，這也是非一致存儲(chǔ)訪問(wèn) NUMA 的由來(lái)。由于這個(gè)特點(diǎn)，為了更好地發(fā)揮系統(tǒng)性能，開(kāi)發(fā)應(yīng)用程序時(shí)需要盡量減少不同 CPU 模塊之間的信息交互。利用 NUMA 技術(shù)，可以較好地解決原來(lái) SMP 系統(tǒng)的擴(kuò)展問(wèn)題，在一個(gè)物理服務(wù)器內(nèi)可以支持上百個(gè) CPU 。NUMA 技術(shù)同樣有一定缺陷，由于訪問(wèn)遠(yuǎn)地內(nèi)存的延時(shí)遠(yuǎn)遠(yuǎn)超過(guò)本地內(nèi)存，因此當(dāng) CPU 數(shù)量增加時(shí)，系統(tǒng)性能無(wú)法線性增加。

和 NUMA 不同，MPP提供了另外一種進(jìn)行系統(tǒng)擴(kuò)展的方式，它由多個(gè) SMP 服務(wù)器通過(guò)一定的節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)進(jìn)行連接，協(xié)同工作，完成相同的任務(wù)，從用戶的角度來(lái)看是一個(gè)服務(wù)器系統(tǒng)。其基本特征是由多個(gè)SMP服務(wù)器(每個(gè) SMP 服務(wù)器稱節(jié)點(diǎn))通過(guò)節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)連接而成，每個(gè)節(jié)點(diǎn)只訪問(wèn)自己的本地資源(內(nèi)存、存儲(chǔ)等)，是一種完全無(wú)共享(Share Nothing)結(jié)構(gòu)，因而擴(kuò)展能力最好，理論上其擴(kuò)展無(wú)限制，目前的技術(shù)可實(shí)現(xiàn) 512 個(gè)節(jié)點(diǎn)互聯(lián)，數(shù)千個(gè) CPU 。MPP不是處理器內(nèi)部節(jié)點(diǎn)互聯(lián)，而是多個(gè)服務(wù)器通過(guò)外部互聯(lián)。在 MPP 系統(tǒng)中，每個(gè) SMP 節(jié)點(diǎn)也可以運(yùn)行自己的操作系統(tǒng)、數(shù)據(jù)庫(kù)等。但和 NUMA 不同的是，它不存在異地內(nèi)存訪問(wèn)的問(wèn)題。換言之，每個(gè)節(jié)點(diǎn)內(nèi)的CPU不能訪問(wèn)另一個(gè)節(jié)點(diǎn)的內(nèi)存。節(jié)點(diǎn)之間的信息交互是通過(guò)節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)實(shí)現(xiàn)的，這個(gè)過(guò)程一般稱為數(shù)據(jù)重分配(Data Redistribution)。MPP服務(wù)器需要一種復(fù)雜的機(jī)制來(lái)調(diào)度和平衡各個(gè)節(jié)點(diǎn)的負(fù)載和并行處理過(guò)程。

NUMA系統(tǒng)是一種多處理器環(huán)境下設(shè)計(jì)的內(nèi)存結(jié)構(gòu)。在NUMA架構(gòu)出現(xiàn)前，CPU歡快的朝著頻率越來(lái)越高的方向發(fā)展。受到物理極限的挑戰(zhàn)，又轉(zhuǎn)為核數(shù)越來(lái)越多的方向發(fā)展。如果每個(gè)core的工作性質(zhì)都是share-nothing(類似于map-reduce的node節(jié)點(diǎn)的作業(yè)屬性)，那么也許就不會(huì)有NUMA。由于所有CPU Core都是通過(guò)共享一個(gè)北橋來(lái)讀取內(nèi)存，無(wú)論核數(shù)如何的發(fā)展，北橋在響應(yīng)時(shí)間上的性能瓶頸越來(lái)越明顯。于是，聰明的硬件設(shè)計(jì)師們，想到了把內(nèi)存控制器(原本北橋中讀取內(nèi)存的部分)也做個(gè)拆分，平分到了每個(gè)die上。于是NUMA就出現(xiàn)了！

NUMA中，雖然內(nèi)存直接attach在CPU上，但是由于內(nèi)存被平均分配在了各個(gè)die上。只有當(dāng)CPU訪問(wèn)自身直接attach內(nèi)存對(duì)應(yīng)的物理地址時(shí)，才會(huì)有較短的響應(yīng)時(shí)間(后稱Local Access)。而如果需要訪問(wèn)其他CPU attach的內(nèi)存的數(shù)據(jù)時(shí)，就需要通過(guò)inter-connect通道訪問(wèn)，響應(yīng)時(shí)間就相比之前變慢了(后稱Remote Access)。所以NUMA(Non-Uniform Memory Access)就此得名。

NUMA的幾個(gè)概念（Node，socket，core，thread）

socket：就是主板上的CPU插槽; 

Core：就是socket里獨(dú)立的一組程序執(zhí)行的硬件單元，比如寄存器，計(jì)算單元等; 

Thread：就是超線程hyperthread的概念，邏輯的執(zhí)行單元，獨(dú)立的執(zhí)行上下文，但是共享core內(nèi)的寄存器和計(jì)算單元。

Node：這個(gè)概念其實(shí)是用來(lái)解決core的分組的問(wèn)題，具體參見(jiàn)下圖來(lái)理解(圖中的OS CPU可以理解thread，那么core就沒(méi)有在圖中畫出)，從圖中可以看出共有4個(gè)socket，每個(gè)socket 2個(gè)node，每個(gè)node中有8個(gè)thread，總共4(Socket)× 2(Node)× 8(4core × 2 Thread) = 64個(gè)thread。另外每個(gè)node有自己的內(nèi)部CPU，總線和內(nèi)存，同時(shí)還可以訪問(wèn)其他node內(nèi)的內(nèi)存，NUMA的最大的優(yōu)勢(shì)就是可以方便的增加CPU的數(shù)量，因?yàn)镹ode內(nèi)有自己內(nèi)部總線，所以增加CPU數(shù)量可以通過(guò)增加Node的數(shù)目來(lái)實(shí)現(xiàn)，如果單純的增加CPU的數(shù)量，會(huì)對(duì)總線造成很大的壓力，所以UMA結(jié)構(gòu)不可能支持很多的核。下圖出自:《NUMA Best Practices for Dell PowerEdge 12th Generation Servers》。

由于每個(gè)node內(nèi)部有自己的CPU總線和內(nèi)存，所以如果一個(gè)虛擬機(jī)的vCPU跨不同的Node的話，就會(huì)導(dǎo)致一個(gè)node中的CPU去訪問(wèn)另外一個(gè)node中的內(nèi)存的情況，這就導(dǎo)致內(nèi)存訪問(wèn)延遲的增加。在NFV環(huán)境中，對(duì)性能有比較高的要求，就非常需要同一個(gè)虛擬機(jī)的vCPU盡量被分配到同一個(gè)Node中的pCPU上，所以在OpenStack的Kilo版本及后續(xù)版本均增加了基于NUMA感知的虛擬機(jī)調(diào)度的特性。

‍‍‍‍‍‍‍‍‍‍‍‍‍‍查看服務(wù)器中NUMA拓?fù)浼軜?gòu)常用以下命令：‍‍‍‍‍‍‍‍‍‍‍‍‍‍

1）比較常用的是lscpu

[root@C7-Server01 ~]# lscpuArchitecture:          x86_64CPU op-mode(s):        32-bit, 64-bitByte Order:            Little EndianCPU(s):                4On-line CPU(s) list:   0-3Thread(s) per core:    1Core(s) per socket:    2Socket(s):             2NUMA node(s):          2Vendor ID:             GenuineIntelCPU family:            6Model:                 158Model name:            Intel(R) Core(TM) i9-8950HK CPU @ 2.90GHzStepping:              10CPU MHz:               2903.998BogoMIPS:              5807.99Virtualization:        VT-xHypervisor vendor:     VMwareVirtualization type:   fullL1d cache:             32KL1i cache:             32KL2 cache:              256KL3 cache:              12288KNUMA node0 CPU(s):     0-3Flags:                 fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss ht syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon nopl xtopology tsc_reliable nonstop_tsc eagerfpu pni pclmulqdq vmx ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch ssbd ibrs ibpb stibp tpr_shadow vnmi ept vpid fsgsbase tsc_adjust bmi1 hle avx2 smep bmi2 invpcid rtm mpx rdseed adx smap clflushopt xsaveopt xsavec arat spec_ctrl intel_stibp flush_l1d arch_capabilities

從上面報(bào)文輸出可以看出，當(dāng)前機(jī)器有2個(gè)sockets，每個(gè)sockets包含1個(gè)numa node，每個(gè)numa node中有2個(gè)cores，每個(gè)cores包含1個(gè)thread，所以總的threads數(shù)量=2(sockets)×1(node)×2(cores)×1(threads)=4.

2）通過(guò)shell腳本打印出當(dāng)前機(jī)器的socket，core和thread的數(shù)量

#!/bin/bash# 簡(jiǎn)單打印系統(tǒng)CPU拓?fù)?/code># Author: kkutysllb
function get_nr_processor(){    grep '^processor' /proc/cpuinfo | wc -l}
function get_nr_socket(){    grep 'physical id' /proc/cpuinfo | awk -F: '{            print $2 | "sort -un"}' | wc -l}
function get_nr_siblings(){    grep 'siblings' /proc/cpuinfo | awk -F: '{            print $2 | "sort -un"}'}
function get_nr_cores_of_socket(){    grep 'cpu cores' /proc/cpuinfo | awk -F: '{            print $2 | "sort -un"}'}
echo '===== CPU Topology Table ====='echo
echo '+--------------+---------+-----------+'echo '| Processor ID | Core ID | Socket ID |'echo '+--------------+---------+-----------+'
while read line; do    if [ -z "$line" ]; then        printf '| %-12s | %-7s | %-9s |n' $p_id $c_id $s_id        echo '+--------------+---------+-----------+'        continue    fi
    if echo "$line" | grep -q "^processor"; then        p_id=`echo "$line" | awk -F: '{print $2}' | tr -d ' '`     fi
    if echo "$line" | grep -q "^core id"; then        c_id=`echo "$line" | awk -F: '{print $2}' | tr -d ' '`     fi
    if echo "$line" | grep -q "^physical id"; then        s_id=`echo "$line" | awk -F: '{print $2}' | tr -d ' '`     fidone < /proc/cpuinfo
echo
awk -F: '{     if ($1 ~ /processor/) {        gsub(/ /,"",$2);        p_id=$2;    } else if ($1 ~ /physical id/){        gsub(/ /,"",$2);        s_id=$2;        arr[s_id]=arr[s_id] " " p_id    }} 
END{    for (i in arr)         printf "Socket %s:%sn", i, arr[i];}' /proc/cpuinfo
echoecho '===== CPU Info Summary ====='echo
nr_processor=`get_nr_processor`echo "Logical processors: $nr_processor"
nr_socket=`get_nr_socket`echo "Physical socket: $nr_socket"
nr_siblings=`get_nr_siblings`echo "Siblings in one socket: $nr_siblings"
nr_cores=`get_nr_cores_of_socket`echo "Cores in one socket: $nr_cores"
let nr_cores*=nr_socketecho "Cores in total: $nr_cores"
if [ "$nr_cores" = "$nr_processor" ]; then    echo "Hyper-Threading: off"else    echo "Hyper-Threading: on"fi
echoecho '===== END ====='

[root@C7-Server01 myshell]# grub2-mkconfig -o /boot/grub2/grub.cfgGenerating grub configuration file ...Found linux image: /boot/vmlinuz-3.10.0-957.10.1.el7.x86_64Found initrd image: /boot/initramfs-3.10.0-957.10.1.el7.x86_64.imgFound linux image: /boot/vmlinuz-3.10.0-862.el7.x86_64Found initrd image: /boot/initramfs-3.10.0-862.el7.x86_64.imgFound linux image: /boot/vmlinuz-0-rescue-e344b139f44946638783478bcb51f820Found initrd image: /boot/initramfs-0-rescue-e344b139f44946638783478bcb51f820.imgdone

[root@C7-Server01 ~]# cat /proc/cmdline BOOT_IMAGE=/vmlinuz-3.10.0-957.10.1.el7.x86_64 root=UUID=0887567f-1df6-425f-ba3d-ce58584279e0 ro crashkernel=auto biosdevname=0 net.ifnames=0 rhgb quiet isolcpu=2,3

RTE_LCORE_FOREACH_SLAVE(i) { /* * create communication pipes between master thread * and children */ if (pipe(lcore_config[i].pipe_master2slave) < 0) rte_panic("Cannot create pipen"); if (pipe(lcore_config[i].pipe_slave2master) < 0) rte_panic("Cannot create pipen"); lcore_config[i].state = WAIT; /* create a thread for each lcore */ ret = pthread_create(&lcore_config[i].thread_id, NULL, eal_thread_loop, NULL); if (ret！= 0) rte_panic("Cannot create threadn"); }