宋寶華：論一切都是文件之匿名inode

01

唯有文件得人心

當(dāng)一個(gè)女生讓你替她抓100只螢火蟲(chóng)，她一定不是為了折磨你，而是因?yàn)樗龕?ài)上了你。當(dāng)你們之間經(jīng)歷了無(wú)數(shù)的恩恩怨怨和彼此傷害，她再次讓你替她抓100只螢火蟲(chóng)，那一定是因?yàn)樗€愛(ài)著你。

為什么？因?yàn)檫@就是套路，是在下偶爾瞟一眼古裝肥皂劇總結(jié)出來(lái)的套路。

Linux里面最大的套路，就是“一切都是文件”。愛(ài)一個(gè)人，就為她捉螢火蟲(chóng)；做一件事，就讓它成為一個(gè)“文件”。

為什么自古深情留不住，唯有“文件”得人心呢？因?yàn)槲募谟脩魬B(tài)最直觀的形式是隨著一次open，獲得一個(gè)fd，有了這個(gè)fd，長(zhǎng)城內(nèi)外，你基本可以為所欲為：

在本進(jìn)程內(nèi)，fd的最直觀操作是open、close、mmap、ioctl、poll這些。mmap讓你具備把fd透射到內(nèi)存的能力，所以你可以通過(guò)指針訪問(wèn)文件的內(nèi)容。再者，這個(gè)mmap，如果底層透射的是framebuffer、V4L2、DRM等，則讓我們具備了從用戶態(tài)操作底層顯存、多媒體數(shù)據(jù)等的能力；比如，無(wú)論是V4L2還是DRM，都支持把底層的dma_buf導(dǎo)出為fd。poll則提供給用戶阻塞等待某事件發(fā)生的能力。至于ioctl，就更加不用說(shuō)了，你可以透過(guò)ioctl靈活地為fd添加控制命令。

在跨進(jìn)程的情況下，Linux支持fd的跨進(jìn)程socket傳輸，從而可以實(shí)現(xiàn)共享內(nèi)存、dma_buf跨進(jìn)程共享等。比如一個(gè)進(jìn)程可以通過(guò)send_fd可以把fd發(fā)送出去：

而另外一個(gè)進(jìn)程可以通過(guò)recv_fd把fd收過(guò)來(lái)：

這種fd在長(zhǎng)城內(nèi)外可以互訪，fd最終可以指向dma_buf同時(shí)可以被mmap，而dma_buf又最終可以被顯卡、顯示控制器、video decoder/encoder等設(shè)備訪問(wèn)的能力，讓fd打通了設(shè)備、CPU和跨進(jìn)程的障礙，從此可以橫著走。

我們?cè)凇端螌毴A：世上最好的共享內(nèi)存(Linux共享內(nèi)存最透徹的一篇)》一文中已經(jīng)詳細(xì)闡述過(guò)這個(gè)過(guò)程，這里我們就不再贅述了。本文的重點(diǎn)在于匿名inode。

02

inode源頭file活水

我們把文件想象成一個(gè)object，那么inode描述的是本源，和最終的object一一對(duì)應(yīng)；dentry是inode的一個(gè)路徑馬甲，比如我們可以通過(guò)"ln"命令為同一個(gè)inode創(chuàng)建很多的硬鏈接馬甲；而file則是活水，進(jìn)程對(duì)object的一次“open”，獲得一個(gè)file，導(dǎo)致用戶態(tài)得到一個(gè)"fd"的句柄來(lái)操作這個(gè)object。

經(jīng)典的inode、dentry、file誰(shuí)都不缺席的模型是這樣的：

上圖中，我們有一個(gè)inode，這個(gè)inode有2個(gè)dentry，進(jìn)程A、B open的是第一個(gè)dentry；而進(jìn)程C、D open的是第二個(gè)dentry。變了的是file和fd，不變的是inode，中間的dentry馬甲沒(méi)那么重要。

但是在inode、dentry、file這個(gè)經(jīng)典鐵三角中，從來(lái)都是可以有一個(gè)缺席者的，那就是dentry，因?yàn)?，有時(shí)候用戶態(tài)想獲得長(zhǎng)城內(nèi)外行走的便利，但是卻不想這個(gè)inode在文件系統(tǒng)里面留下一個(gè)路徑的痕跡。簡(jiǎn)單來(lái)說(shuō)，我希望有個(gè)fd，但是這個(gè)fd，你在從"/"往下面搜索的任何一條路徑下，你都找不到它，它根本在根文件系統(tǒng)以下不存在路徑，它是無(wú)名氏，它沒(méi)有馬甲，它是個(gè)傳說(shuō)。

比如，近期名震江湖的劍客usefaultfd允許我們?cè)谟脩艨臻g處理page fault，我們是通過(guò)userfaultfd這個(gè)系統(tǒng)調(diào)用先獲得一個(gè)fd，之后就可以對(duì)它進(jìn)行各種ioctl了：

我們透過(guò)userfaultfd系統(tǒng)獲得了一個(gè)fd，它在/xxx/yyy/zzz這樣的文件系統(tǒng)下沒(méi)有路徑。這種情況下的fd，對(duì)應(yīng)著的是一個(gè)沒(méi)有名字的匿名inode，你顯然沒(méi)有辦法像fd = open ("xxx", ..)那樣來(lái)得到匿名inode的fd，因?yàn)?quot;xxx"是一個(gè)路徑，而匿名inode沒(méi)有xxx，所以你是直接透過(guò)syscall userfaultfd這樣的系統(tǒng)調(diào)用，來(lái)獲得anon_inode在你的進(jìn)程里面對(duì)應(yīng)的fd的:

人過(guò)留名，雁過(guò)留聲；殺人者，打虎武松也。但是anon inode不吃這一套，它是一個(gè)絕頂?shù)妮p功高手，它給與的，是透過(guò)fd長(zhǎng)城內(nèi)外行走的能力，但是，在文件系統(tǒng)里面卻從未來(lái)過(guò)。這是用戶真實(shí)的需求，如果這種需求一定要透過(guò)一個(gè)dentry的open才能實(shí)現(xiàn)，這未免有點(diǎn)畫(huà)蛇添足了。

03

匿名inode的內(nèi)核實(shí)例

我們接下來(lái)可以隨便打開(kāi)個(gè)anon inode的實(shí)例來(lái)看看它是怎么工作的了。首先userfaultd是一個(gè)系統(tǒng)調(diào)用：

這個(gè)代碼里面比較核心的是就是，它通過(guò)：

anon_inode_getfd_secure()

生成一個(gè)匿名inode，并獲得一個(gè)句柄fd。重點(diǎn)別忘記了，這種“文件”也是可以有file_operations的，比如上面anon_inode_getfd_secure()參數(shù)中的userfaultfd_fops：

這樣，我們就可以在file_operations的ioctl，poll，read等callback里面實(shí)現(xiàn)自己特別的“文件”邏輯，這是我們自由發(fā)揮的舞臺(tái)。

說(shuō)起anon_inode_getfd_secure()，它再往底層走一級(jí)是__anon_inode_getfd()：

進(jìn)而再走一級(jí)是__anon_inode_getfile()：

所以本質(zhì)上，是先造一個(gè)anon_inode，然后再在這個(gè)anon_inode上面造一個(gè)pseudo的file，最后通過(guò)fd_install(fd, file)，把fd和file纏在一起。再次強(qiáng)調(diào)，用戶有了這個(gè)fd就可以為所欲為；而內(nèi)核本身，則是通過(guò)file_operations的不同實(shí)現(xiàn)來(lái)為所欲為的。

anon_inode之上添加一個(gè)系統(tǒng)調(diào)用，造一種特殊的fd，讓用戶去poll，去ioctl，把想象空間拉大了。這種實(shí)現(xiàn)方法，如此拉風(fēng)靈活，以至于它本身也成為了一種套路。比如內(nèi)核里面fs目錄下的：

eventfd，eventpoll，fscontext，io_uring，fanotify，inotify，signalfd，timerfd.......

正所謂， 待到秋來(lái)九月八，我花開(kāi)后百花殺。沖天香陣透長(zhǎng)安，滿城盡帶黃金甲。文件，哪怕最終是匿名的，都以沖天的香陣，彌漫整個(gè)Linux的世界。

04

用戶使用匿名inode

到了要說(shuō)再見(jiàn)的時(shí)刻了，用戶可見(jiàn)的就是fd，通過(guò)fd來(lái)使用匿名inode。下面我們來(lái)制造一個(gè)page fault的例子，讓用戶態(tài)來(lái)處理它，這個(gè)例子直接簡(jiǎn)化自u(píng)serfaultfd的man page。我們?cè)谥骶€程中，通過(guò)mmap申請(qǐng)一頁(yè)內(nèi)存，然后通過(guò)userfaultfd的ioctl告訴內(nèi)核這頁(yè)的開(kāi)始地址和長(zhǎng)度，以及通過(guò)UFFDIO_REGISTER告訴內(nèi)核這頁(yè)的page fault想用戶空間處理：

然后我們?cè)趐thread_create()創(chuàng)建的fault_handler_thread線程中，poll userfaultfd等待事件，之后把一頁(yè)全是0x66的內(nèi)容拷貝到page fault發(fā)生的那一頁(yè)：

我們運(yùn)行這個(gè)程序得到的輸出如下：

我們主線程在執(zhí)行addr[0]=0x5A5A5A5A的時(shí)候，觸發(fā)了page fault。在fault線程里面，page fault發(fā)生后，poll阻塞返回，之后用戶通過(guò)read()讀到了一個(gè)uffd_msg的結(jié)構(gòu)體，里面的成員包含了page fault的地址。之后，我們通過(guò)UFFDIO_COPY這個(gè)ioctl，把內(nèi)容為0x66的頁(yè)面拷貝給page fault的頁(yè)面。

所以，最終主線程在執(zhí)行printf打印的時(shí)候，addr[0]里面讀到了5A5A5A5A，剩下的addr[1]里面讀到了66666666?？吹絧age fault由用戶態(tài)靈活這么靈活自如地處理，我的小伙伴們都嚇尿了。

可以看出來(lái)：

poll()在等什么，完全被定制化了；

read()能讀什么，完全被定制化了；

ioctl()能控制什么，完全被定制化了。

我們通過(guò)“文件”這個(gè)不變的“靜”，制造了poll、read、ioctl的靈動(dòng)自如。兵法有云，以不變應(yīng)萬(wàn)變，以萬(wàn)變應(yīng)不變。