一、淘寶網的困境

　　對于淘寶網這樣的大型電子商務網站，對于圖片服務的要求特別的高。而且對于賣家來說，圖片遠勝于文字描述，因此賣家也格外看重圖片的顯示質量、訪問速度等問題。根據淘寶網的流量分析，整個淘寶網流量中，圖片的訪問流量會占到90%以上，而主站的網頁則占到不到10%。同時大量的圖片需要根據不同的應用位置，生成不同大小規格的縮略圖。考慮到多種不同的應用場景以及改版的可能性，一張原圖有可能需要生成20多個不同尺寸規格的縮略圖。

　　淘寶整體圖片存儲系統容量1800TB(1.8PB)，已經占用空間990TB(約1PB)。保存的圖片文件數量達到286億多個，這些圖片文件包括根據原圖生成的縮略圖。平均圖片大小是17.45K;8K以下圖片占圖片數總量的61%，占存儲容量的11%。對于如此大規模的小文件存儲與讀取需要頻繁的尋道和換道，在大量高并發訪問量的情況下，非常容易造成讀取延遲。

　　2007年之前淘寶采用NetApp公司的文件存儲系統。至2006年， NetApp公司最高端的產品也不能滿足淘寶存儲的要求。首先是商用的存儲系統沒有對小文件存儲和讀取的環境進行有針對性的優化;其次，文件數量大，網絡存儲設備無法支撐;另外，整個系統所連接的服務器也越來越多，網絡連接數已經到達了網絡存儲設備的極限。此外，商用存儲系統擴容成本高，10T的存儲容量需要幾百萬，而且存在單點故障，容災和安全性無法得到很好的保證。

　　二、淘寶網自主開發的目的

　　商用軟件很難滿足大規模系統的應用需求，無論存儲還是CDN還是負載均衡，因為在廠商實驗室端，很難實現如此大的數據規模測試。 研發過程中，將開源和自主開發相結合，會有更好的可控性，系統出問題了，完全可以從底層解決問題，系統擴展性也更高。 在一定規模效應基礎上，研發的投入都是值得的。當規模超過交叉點后自主研發才能收到較好的經濟效果。實際上淘寶網的規模已經遠遠超過了交叉點。 自主研發的系統可在軟件和硬件多個層次不斷的優化。

　　三、淘寶TFS的介紹

　　1、 TFS 1.0版本

　　從2006年開始，淘寶網決定自己開發一套針對海量小文件存儲難題的文件系統，用于解決自身圖片存儲的難題。到2007年6月，TFS(淘寶文件系統，Taobao File System)正式上線運營。在生產環境中應用的集群規模達到了200臺PC Server(146G*6 SAS 15K Raid5)，文件數量達到上億級別;系統部署存儲容量: 140 TB;實際使用存儲容量: 50 TB;單臺支持隨機IOPS 200+，流量3MBps。

　　圖為淘寶集群文件系統TFS 1.0第一版的邏輯架構：集群由一對Name Server和多臺Data Server構成，Name Server的兩臺服務器互為雙機，就是集群文件系統中管理節點的概念。

　　每個Data Server運行在一臺普通的Linux主機上 以block文件的形式存放數據文件(一般64M一個block) block存多份保證數據安全 利用ext3文件系統存放數據文件 磁盤raid5做數據冗余 文件名內置元數據信息，用戶自己保存TFS文件名與實際文件的對照關系–使得元數據量特別小。

　　TFS最大的特點就是將一部分元數據隱藏到圖片的保存文件名上，大大簡化了元數據，消除了管理節點對整體系統性能的制約，這一理念和目前業界流行的 “對象存儲”較為類似。傳統的集群系統里面元數據只有1份，通常由管理節點來管理，因而很容易成為瓶頸。而對于淘寶網的用戶來說，圖片文件究竟用什么名字來保存實際上用戶并不關心，因此TFS在設計規劃上考慮在圖片的保存文件名上暗藏了一些元數據信息，例如圖片的大小、時間、訪問頻次等等信息，包括所在的邏輯塊號。而在元數據上，實際上保存的信息很少，因此元數據結構非常簡單。僅僅只需要一個fileID，能夠準確定位文件在什么地方。由于大量的文件信息都隱藏在文件名中，整個系統完全拋棄了傳統的目錄樹結構，因為目錄樹開銷最大。拿掉后，整個集群的高可擴展性極大提高。

　　2、 TFS 1.3版本

　　到2009年6月，TFS 1.3版本上線，集群規模大大擴展，部署到淘寶的圖片生產系統上，整個系統已經從原有200臺PC服務器擴增至440臺PC Server(300G*12 SAS 15K RPM) + 30臺PC Server (600G*12 SAS 15K RPM)。支持文件數量也擴容至百億級別;系統部署存儲容量：1800TB(1.8PB);當前實際存儲容量：995TB;單臺Data Server支持隨機IOPS 900+，流量15MB+;目前Name Server運行的物理內存是217MB(服務器使用千兆網卡)。