科學大數(shù)據(jù)管理技術與系統(tǒng)
|
|
科學大數(shù)據(jù)管理的挑戰(zhàn)
科學大數(shù)據(jù)管理涉及數(shù)據(jù)的收集、存儲、處理、分析、可視化和共享等全生命周期管理。如圖?1?所示，科學應用首先從科學裝置接入或從互聯(lián)網采集大量異構實驗或觀測數(shù)據(jù)，然后經過初步過濾、轉換等數(shù)據(jù)預處理操作存入持久化設備形成原始科學數(shù)據(jù)。針對具體科研目標，應用對原始數(shù)據(jù)進一步運算抽取實驗特征形成特征數(shù)據(jù)。科學應用對特征數(shù)據(jù)整合挖掘分析形成科學發(fā)現(xiàn)量化指標，并通過可視化的方法將科學發(fā)現(xiàn)展現(xiàn)出來。最后整個流程中產生的所有數(shù)據(jù)都將存檔、發(fā)布以備將來查詢、驗證等科研目標使用。
科學大數(shù)據(jù)管理存在常見的“4V”問題，同時也具有獨特的性質，這些性質決定了科學大數(shù)據(jù)管理系統(tǒng)生命周期中面臨?4?個方面的挑戰(zhàn)（SPUS）。
規(guī)模動態(tài)化（Scale Dynamic）。科學實驗持續(xù)產生海量科學數(shù)據(jù)，并需進行長周期持久化存儲。比如上文中提到的大部分科學研究項目（如?GWAC、LHC等）每秒產生?GB?量級的觀測數(shù)據(jù)，并且數(shù)據(jù)無失效期，然而科研機構卻無法事先確定存儲和計算資源的配置以最優(yōu)地滿足科學應用需求。因此，如何彈性動態(tài)地為這些數(shù)據(jù)分配存儲空間和數(shù)據(jù)處理資源是科學大數(shù)據(jù)管理需要面對的一個重大挑戰(zhàn)。
流水線管理（Pipeline Management）。科學實驗有嚴密的實驗步驟，科學裝置產生的海量原始科學數(shù)據(jù)會經過大量的特征提取、轉換、分析等數(shù)據(jù)加工操作最終產出科研成果。以?GWAC?新星發(fā)現(xiàn)應用為例，原始數(shù)據(jù)進入系統(tǒng)以后，系統(tǒng)需要完成特征提取、交叉認證等嚴密的數(shù)據(jù)處理操作；新星預警發(fā)生后，系統(tǒng)需要溯源到預警產生的特征記錄、天區(qū)圖、鏡頭等并對它們進行反復確認。此外，同一個科學裝置下也會出現(xiàn)大量類似的實驗流程，因此有效地創(chuàng)建、執(zhí)行、管理這些實驗步驟和數(shù)據(jù)將極大提高科學實驗的效率。
統(tǒng)一訪問（Unified Access)。大科學應用經常會對不同領域、不同機構的異構數(shù)據(jù)進行融合挖掘分析。以中國科學家發(fā)起的?DBAR?國際科學計劃為例，為了給地區(qū)決策提供參考，需要獲取天、空、地綜合數(shù)據(jù)資源構建共享的地球大數(shù)據(jù)平臺。這其中涉及衛(wèi)星遙感數(shù)據(jù)、氣候觀測站數(shù)據(jù)、生物觀測站數(shù)據(jù)以及社交網絡中的輿論熱點數(shù)據(jù)等異構數(shù)據(jù)的融合管理。因此，如何用統(tǒng)一的方式訪問多源異構數(shù)據(jù)將極大地提升科學發(fā)現(xiàn)的價值和規(guī)模。
共享管理（Sharing Management）。科學實驗產生的成果數(shù)據(jù)以及中間數(shù)據(jù)通過互聯(lián)開放共享以便集全世界科學家的力量進行實驗驗證、模型改進等后續(xù)科學研究，比如全世界物理學家通過互聯(lián)網從?LHC?中獲取數(shù)據(jù)進行粒子發(fā)現(xiàn)實驗，并通過互聯(lián)網共享科研成果。科學數(shù)據(jù)開放性帶來的重大問題有：數(shù)據(jù)提供者與科研人員如何合理劃分科研成果、數(shù)據(jù)提供者著作權認證和激勵機制、共享數(shù)據(jù)的隱私保護等。如果不能妥善解決這些問題，將影響科研人員的積極性和科研生態(tài)圈的健康發(fā)展。