如何理解PB級(jí)數(shù)據(jù)？說到這個(gè)數(shù)據(jù)量級(jí)，人們首先會(huì)聯(lián)想到CADAL項(xiàng)目(大學(xué)數(shù)字圖書館國際合作計(jì)劃)，該項(xiàng)目可以說是開啟了大數(shù)據(jù)時(shí)代PB級(jí)數(shù)據(jù)管理的一個(gè)典型案例。他的成功運(yùn)行搭建為眾多方案商提供了借鑒。

　　PB級(jí)數(shù)據(jù)挑戰(zhàn)多

　　據(jù)大學(xué)數(shù)字圖書館國際合作計(jì)劃管理中心副主任黃晨介紹：“CADAL項(xiàng)目面臨的三個(gè)大數(shù)據(jù)應(yīng)用挑戰(zhàn)是：首先是 PB級(jí)數(shù)據(jù)需要長期保留;其次，需要24小時(shí)不間斷為高校師生服務(wù);最后，多重業(yè)務(wù)需要共享資源。為此，我們?cè)诮ㄔO(shè)中，從系統(tǒng)穩(wěn)定性、易用性、分級(jí)存儲(chǔ)/信息生命周期管理、硬件升級(jí)更新與業(yè)務(wù)連續(xù)性、可用性、性能六個(gè)方面去考慮。

　　事實(shí)上，CADAL在開展二期項(xiàng)目的過程中，就明顯感覺到了大數(shù)據(jù)上述的三大應(yīng)用挑戰(zhàn)。經(jīng)過一期和二期工程建設(shè)，CADAL項(xiàng)目已經(jīng)完成250多萬冊(cè)古籍和相關(guān)音視頻資料的數(shù)字化，面向全國2000所高校開展服務(wù)，部分資源向公眾開放。250多萬冊(cè)古籍和相關(guān)音視頻資料加在一起，數(shù)據(jù)量已經(jīng)達(dá)到600TB。三期工程將繼續(xù)擴(kuò)大資源建設(shè)，數(shù)據(jù)量將很快達(dá)到PB級(jí)。

　　為此，信息基礎(chǔ)架構(gòu)平臺(tái)需要能夠動(dòng)態(tài)地支持多重工作流，滿足不同的性能要求、不同的容量要求，并且隨時(shí)能夠改變；需要有效地管理共享資源，存儲(chǔ)資源按需分配，同時(shí)通過配額管理功能，以提高利用率。

　　選擇方案的關(guān)鍵點(diǎn)

　　據(jù)了解，250萬冊(cè)的紙質(zhì)圖書，需要1棟15層的大樓才能容納。如圖2所示。而采用現(xiàn)代的技術(shù)手段，只需要一個(gè)機(jī)柜，就足夠應(yīng)對(duì)250萬冊(cè)甚至更多圖書的數(shù)字化影像。圖所3所示。

圖2某省圖書館介紹，建筑面積18073平方米，書庫主體15層，可容納250萬冊(cè)藏書

圖3 這樣一組EMC Isilon機(jī)柜可以保存幾千萬冊(cè)數(shù)字化圖書

　　面對(duì)上述挑戰(zhàn)，據(jù)CADAL項(xiàng)目管理中心數(shù)據(jù)主管劉濤老師介紹說，CADAL項(xiàng)目管理中心從系統(tǒng)穩(wěn)定性、易用性、分級(jí)存儲(chǔ)/信息生命周期管理、硬件升級(jí)更新與業(yè)務(wù)連續(xù)性、可用性、性能六個(gè)方面進(jìn)行綜合考察。最終選擇了EMC Isilon，總?cè)萘?PB的EMC Isilon大數(shù)據(jù)存儲(chǔ)系統(tǒng)在CADAL項(xiàng)目管理中心部署完成，投入使用。

　　方案核心優(yōu)勢(shì)

　　這一方案的核心優(yōu)勢(shì)主要表現(xiàn)在兩個(gè)方面：

　　一是支持文件、FTP等多種靈活的訪問方式，簡化了操作，提高了效率。

　　CADAL圖書數(shù)字化的大致工作流程是：共建高校申報(bào)圖書資源à項(xiàng)目管理委員會(huì)審定à共建高校負(fù)責(zé)數(shù)字化處理并將數(shù)字圖書提交給管理中心à管理中心將數(shù)字圖書發(fā)布到前端存儲(chǔ)對(duì)外提供服務(wù)，同時(shí)備份多份份到后端存儲(chǔ)。

　　劉老師經(jīng)常要做的一件事情是：通過工作機(jī)將共建高校提交的數(shù)字圖書從臨時(shí)存儲(chǔ)復(fù)制到前端和后臺(tái)存儲(chǔ)。由于各臺(tái)服務(wù)器連接不同的光纖存儲(chǔ)，需要把存儲(chǔ)設(shè)備掛接到服務(wù)器才能操作，并且各服務(wù)器還應(yīng)用不同的操作系統(tǒng)，數(shù)據(jù)需要走“臨時(shí)存儲(chǔ)à工作機(jī)服務(wù)器à服務(wù)器à后端存儲(chǔ)”的路徑。換成Isilon之后，數(shù)據(jù)只需要走“臨時(shí)存儲(chǔ)à前端服務(wù)器à后端Isilon存儲(chǔ)”的路徑，由于Isilon的吞吐量很大，并且沒有文件系統(tǒng)和LUN管理的兼容問題，可以同時(shí)從多個(gè)臨時(shí)存儲(chǔ)往后端Isilon存儲(chǔ)保存數(shù)據(jù)，且沒有額外的速度損失，效率大大提高。以前，從共建高校接收數(shù)字圖書較多時(shí)，后端的發(fā)布或備份服務(wù)器上的數(shù)據(jù)流量會(huì)比較大，會(huì)影響其它數(shù)據(jù)訪問或應(yīng)用，發(fā)布和備份會(huì)出現(xiàn)瓶頸;如果大量使用光纖存儲(chǔ)，服務(wù)器端的成本也會(huì)增加。采用Isilon之后，硬件上帶寬提高了，系統(tǒng)上跳過了操作系統(tǒng)層面的處理，這種現(xiàn)象有較大改觀。

　　二是支持磁盤分級(jí)存儲(chǔ)、節(jié)點(diǎn)分級(jí)存儲(chǔ)和SSD固態(tài)硬盤加速，既保證了大容量，也保證了高性能。

　　CADAL的做法是，將活躍的數(shù)據(jù)保存在配有固態(tài)硬盤的高速Isilon節(jié)點(diǎn)上，其它數(shù)據(jù)保存在普通Isilon節(jié)點(diǎn)上。不同高校圖書館提供的數(shù)字圖書分區(qū)保存，存儲(chǔ)空間按需分配，并實(shí)行配額管理，提高存儲(chǔ)利用率。

　　PB知識(shí)鏈接：

　　TechTarget自己的百科網(wǎng)站W(wǎng)hatis有關(guān)于PB大小的定義：“PB是數(shù)據(jù)存儲(chǔ)容量的單位，它等于2的50次方個(gè)字節(jié)，或者在數(shù)值上大約等于1000個(gè)TB。”

　　那么一個(gè)TB呢？

　　“TB是一個(gè)計(jì)算機(jī)存儲(chǔ)容量的單位，它等于2的40次方，或者接近一萬億個(gè)字節(jié)(即，一千千兆字節(jié))。”

　　未來學(xué)家Raymond Kurzweil他的論文中對(duì)PB的定義進(jìn)行延伸：人類功能記憶的容量預(yù)計(jì)在1.25個(gè)TB。這意味著，800個(gè)人類記憶才相當(dāng)于1個(gè)PB。

　　如果這樣還不夠清楚，那么Adfonic的CTO Wes Biggs給出了下面更直接的計(jì)算：

　　假設(shè)手機(jī)播放MP3的編碼速度為平均每分鐘1MB，而1首歌曲的平均時(shí)長為4分鐘，那么1PB歌曲可以連續(xù)播放2000年。

　　如果智能手機(jī)相機(jī)拍攝相片的平均大小為3MB，打印照片的平均大小為8.5英寸，那么總共1PB的照片的并排排列長度就達(dá)到48000英里——大約可以環(huán)繞地球2周。

　　1PB足夠存儲(chǔ)整個(gè)美國人口的DNA，而且還能再克隆2倍。