Linux內(nèi)存管理常見(jiàn)概念

哈嘍，大家好，我是程序員秘書(shū)LittleG。

Linux內(nèi)存管理重要性不言而喻，最近我也在學(xué)習(xí)一些這方面知識(shí)，不過(guò)，內(nèi)存相關(guān)概念實(shí)在太多了，內(nèi)存這個(gè)話題也很大，我們先從了解內(nèi)存管理的一些常見(jiàn)概念開(kāi)始吧：

1. 虛擬內(nèi)存（Virtual Memory）

虛擬內(nèi)存是現(xiàn)代操作系統(tǒng)中用于擴(kuò)展可用內(nèi)存容量的一種技術(shù)。它允許系統(tǒng)訪問(wèn)比物理內(nèi)存更多的內(nèi)存，通過(guò)將部分?jǐn)?shù)據(jù)暫時(shí)存儲(chǔ)在硬盤上的交換空間（swap space）來(lái)實(shí)現(xiàn)。虛擬內(nèi)存的使用減少了內(nèi)存不足的情況，但可能會(huì)降低系統(tǒng)性能，因?yàn)橛脖P的訪問(wèn)速度遠(yuǎn)低于RAM。

2. 內(nèi)存分頁(yè)（Memory Paging）

內(nèi)存分頁(yè)是操作系統(tǒng)用于管理內(nèi)存的一種機(jī)制，它將物理內(nèi)存分割成固定大小的塊，稱為頁(yè)（page）。每個(gè)頁(yè)可以獨(dú)立于其他頁(yè)進(jìn)行管理，可以被加載到物理內(nèi)存中，或者在需要時(shí)被交換出去。

3. 頁(yè)表（Page Tables）

頁(yè)表是虛擬內(nèi)存管理的關(guān)鍵組成部分，它包含虛擬地址到物理地址的映射。每個(gè)進(jìn)程都有自己的頁(yè)表，用于將該進(jìn)程的虛擬地址空間映射到物理內(nèi)存。

4. 懶加載（Lazy Loading）

懶加載是一種優(yōu)化策略，系統(tǒng)僅在需要時(shí)才將數(shù)據(jù)加載到內(nèi)存中。例如，當(dāng)一個(gè)進(jìn)程首次運(yùn)行時(shí)，它的代碼和數(shù)據(jù)并不立即全部加載到物理內(nèi)存中，而是隨著進(jìn)程的執(zhí)行逐步加載。

5. 頁(yè)面置換算法（Page Replacement Algorithms）

當(dāng)物理內(nèi)存不足以容納所有活躍的頁(yè)面時(shí)，內(nèi)核必須決定哪些頁(yè)面應(yīng)該被交換出去。頁(yè)面置換算法，如最近最少使用（LRU）、先進(jìn)先出（FIFO）等，用于確定哪些頁(yè)面應(yīng)該被替換。

6. 內(nèi)存分配器（Memory Allocators）

Linux內(nèi)核提供了多種內(nèi)存分配器，用于管理內(nèi)存的分配和釋放。常見(jiàn)的有：

伙伴系統(tǒng)：

用于物理內(nèi)存的分配和釋放。

slab分配器：

用于內(nèi)核對(duì)象的分配和釋放，如進(jìn)程描述符、文件對(duì)象等。

kmalloc/kfree：

用于內(nèi)核模式下的動(dòng)態(tài)內(nèi)存分配和釋放。

7. 內(nèi)存映射（Memory Mapping）

內(nèi)存映射是一種將文件或其他對(duì)象映射到虛擬地址空間的技術(shù)。這允許進(jìn)程像訪問(wèn)普通內(nèi)存一樣訪問(wèn)文件內(nèi)容，同時(shí)提供了一種高效的I/O方法。

8. 內(nèi)存屏障（Memory Barriers）

內(nèi)存屏障是一種同步機(jī)制，用于確保在多處理器系統(tǒng)中，內(nèi)存操作的執(zhí)行順序符合預(yù)期。它們?cè)?a class="article-link" target="_blank" href="/baike/1545792.html">多線程編程中非常重要，用于防止指令重排導(dǎo)致的競(jìng)態(tài)條件。

9. 直接內(nèi)存訪問(wèn)（Direct Memory Access, DMA）

DMA允許硬件設(shè)備直接與內(nèi)存進(jìn)行數(shù)據(jù)傳輸，而無(wú)需CPU的介入。這可以提高數(shù)據(jù)傳輸?shù)男?，尤其是在處理大量?shù)據(jù)時(shí)。

10. 內(nèi)存泄漏（Memory Leaks）

內(nèi)存泄漏是指程序在運(yùn)行過(guò)程中，分配了內(nèi)存但沒(méi)有正確釋放，導(dǎo)致隨著時(shí)間的推移，可用內(nèi)存逐漸減少。Linux內(nèi)核提供了工具來(lái)檢測(cè)和診斷內(nèi)存泄漏。

11. 內(nèi)存壓縮（Memory Compaction）

內(nèi)存壓縮是一種技術(shù)，用于減少內(nèi)存碎片，通過(guò)移動(dòng)內(nèi)存頁(yè)來(lái)創(chuàng)建更大的連續(xù)內(nèi)存塊，從而提高內(nèi)存的利用效率。

12. 透明大頁(yè)（Transparent HugePages, THP）

THP是一種內(nèi)核特性，它可以自動(dòng)將小頁(yè)合并成大頁(yè)，以減少頁(yè)表項(xiàng)的數(shù)量，提高內(nèi)存訪問(wèn)效率。THP可以提高大型工作負(fù)載的性能，但也可能帶來(lái)內(nèi)存碎片問(wèn)題。

13. 內(nèi)存回收（Memory Reclaim）

內(nèi)存回收是內(nèi)核用來(lái)釋放不再使用的內(nèi)存的一種機(jī)制。當(dāng)系統(tǒng)內(nèi)存緊張時(shí)，內(nèi)核會(huì)嘗試回收內(nèi)存，包括清理緩存、壓縮內(nèi)存頁(yè)等。

14. 水平復(fù)制（Horizontal Scaling）

水平復(fù)制是指通過(guò)增加更多的處理器或節(jié)點(diǎn)來(lái)擴(kuò)展系統(tǒng)的容量，這通常涉及到內(nèi)存的分配和管理。

15. 垂直復(fù)制（Vertical Scaling）

垂直復(fù)制則是通過(guò)增加單個(gè)處理器或節(jié)點(diǎn)的內(nèi)存容量來(lái)擴(kuò)展系統(tǒng)，這通常涉及到更高性能的內(nèi)存模塊或更大的內(nèi)存配置。

16.?Cgroups（控制組）

控制組是一種內(nèi)核特性，用于限制、記錄和隔離進(jìn)程組的資源使用（包括內(nèi)存）。通過(guò)cgroups，系統(tǒng)管理者可以對(duì)進(jìn)程的內(nèi)存使用進(jìn)行細(xì)粒度的控制。

17.?Memory Cgroup

Memory cgroup是一種特定類型的cgroup，專門用于控制和限制進(jìn)程組的內(nèi)存使用。它可以設(shè)置內(nèi)存使用上限，監(jiān)控內(nèi)存使用情況，并在達(dá)到限制時(shí)觸發(fā)內(nèi)存回收。

18.?NUMA（非統(tǒng)一內(nèi)存訪問(wèn)）

在多處理器系統(tǒng)中，NUMA是一種內(nèi)存設(shè)計(jì)，其中每個(gè)處理器都有自己的本地內(nèi)存，訪問(wèn)本地內(nèi)存比訪問(wèn)遠(yuǎn)程內(nèi)存更快。Linux內(nèi)核提供了對(duì)NUMA的支持，允許系統(tǒng)更高效地管理多處理器系統(tǒng)中的內(nèi)存。

19.?Memory Bandwidth

內(nèi)存帶寬是衡量?jī)?nèi)存?zhèn)鬏敂?shù)據(jù)速度的指標(biāo)。在內(nèi)存密集型應(yīng)用中，內(nèi)存帶寬是一個(gè)重要的性能考量因素。Linux內(nèi)核通過(guò)優(yōu)化內(nèi)存訪問(wèn)模式和減少內(nèi)存延遲來(lái)提高內(nèi)存帶寬。

20.?Memory Encryption

為了提高系統(tǒng)的安全性，Linux內(nèi)核支持內(nèi)存加密，確保敏感數(shù)據(jù)即使在物理內(nèi)存中也是加密的。這可以防止未授權(quán)的物理訪問(wèn)讀取或篡改內(nèi)存中的數(shù)據(jù)。

21.?Kernel Samepage Merging (KSM)

KSM是一種內(nèi)核特性，用于識(shí)別并合并內(nèi)核空間中相同內(nèi)容的頁(yè)面，從而減少內(nèi)核內(nèi)存的使用。這對(duì)于運(yùn)行多個(gè)相同應(yīng)用程序實(shí)例的系統(tǒng)特別有用。

22.?Memory Hotplug

Memory hotplug允許系統(tǒng)在不重啟的情況下添加或移除物理內(nèi)存。這對(duì)于需要高可用性的服務(wù)器和數(shù)據(jù)中心環(huán)境非常重要。

23.?Zswap

Zswap是一種壓縮算法，用于壓縮交換空間中的內(nèi)容。通過(guò)減少交換空間中數(shù)據(jù)的大小，Zswap可以減少交換I/O，提高系統(tǒng)性能。

24.?ZRAM

ZRAM是一種將交換空間壓縮到RAM的技術(shù)。它使用高效的壓縮算法來(lái)減少交換空間的占用，從而減少對(duì)硬盤交換空間的依賴。

25.?Memory Overcommit

Linux內(nèi)核允許系統(tǒng)“超額承諾”內(nèi)存，即允許分配比物理內(nèi)存更多的內(nèi)存。這在許多情況下可以提高資源利用率，但也可能導(dǎo)致內(nèi)存不足的問(wèn)題。

26.?內(nèi)存遷移

內(nèi)存遷移是內(nèi)核中一個(gè)高級(jí)特性，它允許內(nèi)存頁(yè)從一個(gè)物理內(nèi)存節(jié)點(diǎn)（NUMA系統(tǒng)中的CPU或內(nèi)存模塊）遷移到另一個(gè)節(jié)點(diǎn)。這項(xiàng)技術(shù)主要用于非統(tǒng)一內(nèi)存訪問(wèn)（NUMA）系統(tǒng)，它能夠提高大型多核或多處理器系統(tǒng)的性能。

27.?Memory Balancing

Memory balancing是一種內(nèi)核特性，用于在多處理器系統(tǒng)中平衡內(nèi)存的使用。它可以自動(dòng)地將內(nèi)存頁(yè)從內(nèi)存使用較多的處理器遷移到使用較少的處理器。

28.?Memory Failure Detection

Linux內(nèi)核提供了內(nèi)存錯(cuò)誤檢測(cè)和恢復(fù)機(jī)制，可以檢測(cè)和處理內(nèi)存中的硬件故障，從而提高系統(tǒng)的可靠性。

29.?Memory Resource Management

內(nèi)存資源管理是Linux內(nèi)核中的一個(gè)關(guān)鍵領(lǐng)域，涉及到內(nèi)存的分配、回收、壓縮和隔離等多個(gè)方面。通過(guò)有效的內(nèi)存資源管理，系統(tǒng)可以在不同的工作負(fù)載和應(yīng)用場(chǎng)景下實(shí)現(xiàn)最優(yōu)的性能。

30.?Memory Debugging Tools

Linux內(nèi)核提供了多種內(nèi)存調(diào)試工具，如kmemleak、memleak等，用于檢測(cè)和診斷內(nèi)存泄漏、內(nèi)存越界訪問(wèn)等問(wèn)題。

31.?動(dòng)態(tài)內(nèi)存分配

內(nèi)核中的動(dòng)態(tài)內(nèi)存分配通常通過(guò)kmalloc()、kzalloc()、kcalloc()等函數(shù)進(jìn)行，它們提供了在內(nèi)核空間分配內(nèi)存的能力。這些函數(shù)非常關(guān)鍵，因?yàn)閮?nèi)核模塊和某些關(guān)鍵系統(tǒng)組件需要?jiǎng)討B(tài)地分配和釋放內(nèi)存。

32.?內(nèi)存映射文件

內(nèi)存映射文件是一種將文件內(nèi)容映射到內(nèi)存中的方法，允許程序通過(guò)虛擬內(nèi)存地址來(lái)訪問(wèn)文件數(shù)據(jù)。這不僅可以提高文件訪問(wèn)速度，還可以簡(jiǎn)化對(duì)文件數(shù)據(jù)的讀寫操作。

33.?內(nèi)存屏障（Memory Barriers）

內(nèi)存屏障是一組指令，用于確保在多處理器系統(tǒng)中，內(nèi)存操作的執(zhí)行順序。內(nèi)存屏障可以防止編譯器和處理器對(duì)指令進(jìn)行重排序，確保關(guān)鍵的內(nèi)存操作按照預(yù)期的順序執(zhí)行。

34.?頁(yè)錯(cuò)誤處理（Page Fault Handling）

當(dāng)程序訪問(wèn)未分配或不允許訪問(wèn)的內(nèi)存時(shí)，會(huì)發(fā)生頁(yè)錯(cuò)誤。Linux內(nèi)核提供了頁(yè)錯(cuò)誤處理機(jī)制，允許內(nèi)核在發(fā)生頁(yè)錯(cuò)誤時(shí)采取行動(dòng)，如分配缺失的頁(yè)面或終止進(jìn)程。

35.?內(nèi)存鎖定（Memory Locking）

內(nèi)存鎖定是一種技術(shù)，允許進(jìn)程鎖定一部分內(nèi)存，防止這部分內(nèi)存被交換到磁盤上。這對(duì)于需要高性能和低延遲的應(yīng)用程序非常重要。

36.?內(nèi)存池（Memory Pools）

內(nèi)存池是一種預(yù)分配內(nèi)存塊的技術(shù)，用于快速分配和釋放內(nèi)存。這對(duì)于需要頻繁創(chuàng)建和銷毀對(duì)象的應(yīng)用程序非常有用，因?yàn)樗梢詼p少內(nèi)存分配的開(kāi)銷。

37.?內(nèi)存域（Memory Domains）

在虛擬化環(huán)境中，內(nèi)存域是一種用于隔離不同虛擬機(jī)或容器內(nèi)存的技術(shù)。它確保每個(gè)虛擬機(jī)或容器只能訪問(wèn)自己的內(nèi)存，增加了系統(tǒng)的安全性。

38.?內(nèi)存去重（Memory Deduplication）

內(nèi)存去重是一種技術(shù)，用于識(shí)別并合并重復(fù)的內(nèi)存內(nèi)容。這在存儲(chǔ)系統(tǒng)中非常有用，可以減少存儲(chǔ)空間的使用。

39.?內(nèi)存預(yù)熱（Memory Preloading）

內(nèi)存預(yù)熱是一種技術(shù)，用于預(yù)先加載預(yù)計(jì)會(huì)頻繁訪問(wèn)的數(shù)據(jù)到內(nèi)存中。這可以提高系統(tǒng)的性能，尤其是在啟動(dòng)應(yīng)用程序或加載大型數(shù)據(jù)集時(shí)。

40.?內(nèi)存錯(cuò)誤校正（Error-Correcting Code, ECC）

ECC內(nèi)存是一種可以檢測(cè)并糾正常見(jiàn)的數(shù)據(jù)損壞類型（如單比特翻轉(zhuǎn)）的內(nèi)存。Linux內(nèi)核支持ECC內(nèi)存，可以提高系統(tǒng)的可靠性。

41.?內(nèi)存校驗(yàn)和（Memory Checksums）

內(nèi)存校驗(yàn)和是一種用于檢測(cè)內(nèi)存數(shù)據(jù)損壞的技術(shù)。通過(guò)計(jì)算內(nèi)存中數(shù)據(jù)的校驗(yàn)和，系統(tǒng)可以檢測(cè)到數(shù)據(jù)是否在傳輸或存儲(chǔ)過(guò)程中被篡改。

42.?內(nèi)存調(diào)試（Memory Debugging）

Linux內(nèi)核提供了多種內(nèi)存調(diào)試工具，如kmemleak、memtest等，用于檢測(cè)和診斷內(nèi)存相關(guān)的問(wèn)題，如內(nèi)存泄漏、內(nèi)存越界訪問(wèn)等。

43.?內(nèi)存性能調(diào)優(yōu)

內(nèi)存性能調(diào)優(yōu)是Linux系統(tǒng)管理的一個(gè)重要方面，涉及到優(yōu)化內(nèi)存使用，以提高系統(tǒng)的性能。這包括調(diào)整內(nèi)核參數(shù)、優(yōu)化應(yīng)用程序的內(nèi)存使用模式等。

44.?內(nèi)存自適應(yīng)回收（Adaptive Reclaim）

自適應(yīng)回收是一種內(nèi)核特性，可以根據(jù)系統(tǒng)的內(nèi)存使用情況動(dòng)態(tài)調(diào)整內(nèi)存回收的頻率和強(qiáng)度。這可以提高系統(tǒng)的響應(yīng)性，同時(shí)確保內(nèi)存的有效使用。

45.?內(nèi)存子系統(tǒng)（Memory Subsystem）

內(nèi)存子系統(tǒng)是Linux內(nèi)核的一個(gè)關(guān)鍵組成部分，負(fù)責(zé)管理內(nèi)存資源。它包括多種內(nèi)存管理策略和機(jī)制，如伙伴系統(tǒng)、slab分配器、頁(yè)面置換算法等。

在Linux內(nèi)核的內(nèi)存管理領(lǐng)域，除了前面討論的策略和概念，還有一些其他重要的主題和特性，這些有助于深入理解內(nèi)存管理的復(fù)雜性及其在系統(tǒng)性能中的作用：

46.?內(nèi)存隔離（Memory Isolation）

內(nèi)存隔離是一種安全特性，它確保敏感數(shù)據(jù)不會(huì)被未授權(quán)的進(jìn)程訪問(wèn)。Linux內(nèi)核通過(guò)虛擬內(nèi)存和頁(yè)表提供了內(nèi)存隔離。

47.?內(nèi)存訪問(wèn)權(quán)限（Memory Access Rights）

內(nèi)存訪問(wèn)權(quán)限是內(nèi)核用來(lái)控制進(jìn)程對(duì)內(nèi)存訪問(wèn)的一種機(jī)制。內(nèi)核可以設(shè)置內(nèi)存頁(yè)為可讀寫、只讀或不可訪問(wèn)，以防止非法訪問(wèn)。

48.?內(nèi)存保護(hù)鍵（Memory Protection Keys）

內(nèi)存保護(hù)鍵是一種安全特性，允許內(nèi)核對(duì)內(nèi)存頁(yè)的訪問(wèn)進(jìn)行更細(xì)粒度的控制。它通常用于防止惡意軟件讀取敏感數(shù)據(jù)。

49.?內(nèi)存鎖定（mlock/mlockall）

mlock()和mlockall()系統(tǒng)調(diào)用允許應(yīng)用程序鎖定一部分內(nèi)存，防止這部分內(nèi)存被交換到磁盤上。這對(duì)于需要低延遲的應(yīng)用程序非常重要。

50.?內(nèi)存映射（mmap）

mmap()系統(tǒng)調(diào)用允許應(yīng)用程序?qū)⑽募蚱渌麑?duì)象映射到虛擬地址空間中。這可以提高文件訪問(wèn)速度，并允許應(yīng)用程序以類似訪問(wèn)內(nèi)存的方式訪問(wèn)文件數(shù)據(jù)。

51.?內(nèi)存映射文件（Memory-Mapped Files）

內(nèi)存映射文件是一種特殊的文件，它允許應(yīng)用程序通過(guò)內(nèi)存映射來(lái)訪問(wèn)文件數(shù)據(jù)。這可以提高文件I/O的性能，特別是在處理大量數(shù)據(jù)時(shí)。

52.?共享內(nèi)存（Shared Memory）

共享內(nèi)存是一種內(nèi)核特性，允許多個(gè)進(jìn)程共享同一塊內(nèi)存區(qū)域。這可以提高進(jìn)程間通信的效率，因?yàn)閿?shù)據(jù)可以直接在內(nèi)存中交換，而無(wú)需數(shù)據(jù)復(fù)制。

53.?內(nèi)存溢出（Memory Overflow）

內(nèi)存溢出是指程序嘗試存儲(chǔ)的數(shù)據(jù)超出了為其分配的內(nèi)存空間。Linux內(nèi)核通過(guò)各種機(jī)制來(lái)檢測(cè)和處理內(nèi)存溢出，以防止系統(tǒng)崩潰。

54.?內(nèi)存溢出保護(hù)（Memory Overflow Protection）

內(nèi)存溢出保護(hù)是一種安全特性，用于防止惡意軟件利用內(nèi)存溢出漏洞。這通常涉及到堆和棧的保護(hù)機(jī)制。

55.?內(nèi)存分配回退（Memory Allocation Fall-back）

當(dāng)首選的內(nèi)存分配機(jī)制不可用時(shí)，內(nèi)核會(huì)使用備用的內(nèi)存分配策略。例如，如果slab分配器無(wú)法滿足內(nèi)存請(qǐng)求，內(nèi)核可能會(huì)回退到伙伴系統(tǒng)進(jìn)行分配。

56.?內(nèi)存使用監(jiān)控（Memory Usage Monitoring）

Linux內(nèi)核提供了多種工具和接口來(lái)監(jiān)控內(nèi)存使用情況，如/proc文件系統(tǒng)、sysinfo()系統(tǒng)調(diào)用等。這些工具對(duì)于系統(tǒng)管理員和性能調(diào)優(yōu)非常重要。

57.?內(nèi)存使用預(yù)測(cè)（Memory Usage Prediction）

內(nèi)存使用預(yù)測(cè)是一種技術(shù)，用于預(yù)測(cè)系統(tǒng)的內(nèi)存使用趨勢(shì)。這可以用于自動(dòng)調(diào)整內(nèi)存分配策略，以優(yōu)化系統(tǒng)性能。

58.?內(nèi)存使用優(yōu)化（Memory Usage Optimization）

內(nèi)存使用優(yōu)化是Linux系統(tǒng)管理的一個(gè)重要方面，涉及到優(yōu)化內(nèi)存使用，以提高系統(tǒng)的性能和資源利用率。

59.?內(nèi)存密集型應(yīng)用（Memory-Intensive Applications）

內(nèi)存密集型應(yīng)用是指那些需要大量?jī)?nèi)存的應(yīng)用程序。Linux內(nèi)核提供了多種機(jī)制來(lái)支持這些應(yīng)用，如大頁(yè)內(nèi)存、內(nèi)存鎖定等。

60.?內(nèi)存密集型系統(tǒng)（Memory-Intensive Systems）

內(nèi)存密集型系統(tǒng)是指那些需要處理大量?jī)?nèi)存的系統(tǒng)。Linux內(nèi)核通過(guò)各種優(yōu)化和特性來(lái)支持這些系統(tǒng)，如NUMA支持、內(nèi)存壓縮等。

61.?內(nèi)存密集型工作負(fù)載（Memory-Intensive Workloads）

內(nèi)存密集型工作負(fù)載是指那些需要大量?jī)?nèi)存的工作任務(wù)。Linux內(nèi)核通過(guò)各種機(jī)制來(lái)優(yōu)化這些工作負(fù)載的性能，如內(nèi)存預(yù)分配、內(nèi)存去重等。

62.?內(nèi)存密集型數(shù)據(jù)庫(kù)（Memory-Intensive Databases）

內(nèi)存密集型數(shù)據(jù)庫(kù)是指那些將大部分數(shù)據(jù)存儲(chǔ)在內(nèi)存中的數(shù)據(jù)庫(kù)系統(tǒng)。Linux內(nèi)核通過(guò)各種特性來(lái)支持這些數(shù)據(jù)庫(kù)，如內(nèi)存鎖定、大頁(yè)內(nèi)存等。

63.?內(nèi)存密集型虛擬化（Memory-Intensive Virtualization）

內(nèi)存密集型虛擬化是指在虛擬化環(huán)境中運(yùn)行內(nèi)存密集型應(yīng)用。Linux內(nèi)核通過(guò)各種優(yōu)化和特性來(lái)支持這些應(yīng)用，如透明大頁(yè)、內(nèi)存隔離等。

64.?內(nèi)存密集型容器（Memory-Intensive Containers）

內(nèi)存密集型容器是指那些需要大量?jī)?nèi)存的容器化應(yīng)用。Linux內(nèi)核通過(guò)各種機(jī)制來(lái)支持這些容器，如cgroups內(nèi)存限制、內(nèi)存回收等。