久久96国产精品久久久-久久发布国产伦子伦精品-久久精品国产精品青草-久久天天躁夜夜躁狠狠85麻豆

技術員聯盟提供win764位系統下載,win10,win7,xp,裝機純凈版,64位旗艦版,綠色軟件,免費軟件下載基地!

當前位置:主頁 > 教程 > 服務器類 >

Linux內核的文件預讀詳解

來源:技術員聯盟┆發布時間:2018-03-27 18:26┆點擊:

  Linux文件預讀算法磁盤I/O性能的發展遠遠滯后于CPU和內存,因而成為現代計算機系統的一個主要瓶頸。預讀可以有效的減少磁盤的尋道次數和應用程序的I/O等待時間,是改進磁盤讀I/O性能的重要優化手段之一。本文作者是中國科學技術大學自動化系的博士生,他在1998年開始學習Linux,為了優化服務器的性能,他開始嘗試改進Linux kernel,并最終重寫了內核的文件預讀部分,這些改進被收錄到Linux Kernel 2.6.23及其后續版本中。

  從寄存器、L1/L2高速緩存、內存、閃存,到磁盤/光盤/磁帶/存儲網絡,計算機的各級存儲器硬件組成了一個金字塔結構。越是底層存儲容量越大。然而訪問速度也越慢,具體表現為更小的帶寬和更大的延遲。因而這很自然的便成為一個金字塔形的逐層緩存結構。由此產生了三類基本的緩存管理和優化問題:

  ◆預取(prefetching)算法,從慢速存儲中加載數據到緩存;

  ◆替換(replacement)算法,從緩存中丟棄無用數據;

  ◆寫回(writeback)算法,把臟數據從緩存中保存到慢速存儲。

  其中的預取算法,在磁盤這一層次尤為重要。磁盤的機械臂+旋轉盤片的數據定位與讀取方式,決定了它最突出的性能特點:擅長順序讀寫,不善于隨機I/O,I/O延遲非常大。由此而產生了兩個方面的預讀需求。

  來自磁盤的需求

  簡單的說,磁盤的一個典型I/O操作由兩個階段組成:

  1.數據定位

  平均定位時間主要由兩部分組成:平均尋道時間和平均轉動延遲。尋道時間的典型值是4.6ms。轉動延遲則取決于磁盤的轉速:普通7200RPM桌面硬盤的轉動延遲是4.2ms,而高端10000RPM的是3ms。這些數字多年來一直徘徊不前,大概今后也無法有大的改善了。在下文中,我們不妨使用 8ms作為典型定位時間。

  2.數據傳輸

  持續傳輸率主要取決于盤片的轉速(線速度)和存儲密度,最新的典型值為80MB/s。雖然磁盤轉速難以提高,但是存儲密度卻在逐年改善。巨磁阻、垂直磁記錄等一系列新技術的采用,不但大大提高了磁盤容量,也同時帶來了更高的持續傳輸率。

  顯然,I/O的粒度越大,傳輸時間在總時間中的比重就會越大,因而磁盤利用率和吞吐量就會越大。簡單的估算結果如表1所示。如果進行大量4KB的隨機I/O,那么磁盤在99%以上的時間內都在忙著定位,單個磁盤的吞吐量不到500KB/s。但是當I/O大小達到1MB的時候,吞吐量可接近50MB /s。由此可見,采用更大的I/O粒度,可以把磁盤的利用效率和吞吐量提高整整100倍。因而必須盡一切可能避免小尺寸I/O,這正是預讀算法所要做的。

Linux內核的文件預讀詳解 三聯

  表1隨機讀大小與磁盤性能的關系

  來自程序的需求

  應用程序處理數據的一個典型流程是這樣的:while(!done) { read(); compute(); }。假設這個循環要重復5次,總共處理5批數據,則程序運行的時序圖可能如圖1所示。

  圖1典型的I/O時序圖

  不難看出,磁盤和CPU是在交替忙碌:當進行磁盤I/O的時候,CPU在等待;當CPU在計算和處理數據時,磁盤是空閑的。那么是不是可以讓兩者流水線作業,以便加快程序的執行速度?預讀可以幫助達成這一目標。基本的方法是,當CPU開始處理第1批數據的時候,由內核的預讀機制預加載下一批數據。這時候的預讀是在后臺異步進行的,如圖2所示。

  圖2預讀的流水線作業

  注意,在這里我們并沒有改變應用程序的行為:程序的下一個讀請求仍然是在處理完當前的數據之后才發出的。只是這時候的被請求的數據可能已經在內核緩存中了,無須等待,直接就能復制過來用。在這里,異步預讀的功能是對上層應用程序“隱藏”磁盤I/O的大延遲。雖然延遲事實上仍然存在,但是應用程序看不到了,因而運行的更流暢。

  預讀的概念

  預取算法的涵義和應用非常廣泛。它存在于CPU、硬盤、內核、應用程序以及網絡的各個層次。預取有兩種方案:啟發性的(heuristic prefetching)和知情的(informed prefetching)。前者自動自發的進行預讀決策,對上層應用是透明的,但是對算法的要求較高,存在命中率的問題;后者則簡單的提供API接口,而由上層程序給予明確的預讀指示。在磁盤這個層次,Linux為我們提供了三個API接口:posix_fadvise(2), readahead(2), madvise(2)。