科學(xué)大數(shù)據(jù)應(yīng)用場(chǎng)景及管理需求

科學(xué)大數(shù)據(jù)的應(yīng)用場(chǎng)景及典型特征

科學(xué)數(shù)據(jù)是科研活動(dòng)的輸入、輸出和資產(chǎn)，是證實(shí)或者證偽科學(xué)發(fā)現(xiàn)或科學(xué)觀(guān)點(diǎn)事實(shí)、證據(jù)或者論證推理的基礎(chǔ)。它包括數(shù)字化觀(guān)測(cè)、科學(xué)監(jiān)測(cè)等來(lái)自?xún)x器設(shè)備或傳感器的數(shù)據(jù)，計(jì)算模擬與模型輸出的數(shù)據(jù)，對(duì)情景或現(xiàn)象的描述，對(duì)行為的觀(guān)測(cè)或定性描述，以及用于管理或者商業(yè)目的的統(tǒng)計(jì)數(shù)據(jù)等。目前科學(xué)大數(shù)據(jù)普遍存在于各個(gè)領(lǐng)域的科學(xué)研究，尤其在天文學(xué)、高能物理、微生物學(xué)等大科學(xué)領(lǐng)域，科學(xué)大數(shù)據(jù)的應(yīng)用場(chǎng)景尤為明顯。

在天文學(xué)領(lǐng)域，中法合作伽馬暴探測(cè)天文衛(wèi)星SVOM?的關(guān)鍵地面設(shè)備?GWAC?的每個(gè)相機(jī)?15?s?內(nèi)會(huì)產(chǎn)生?32?MB?的天區(qū)圖，并于下一個(gè)天區(qū)圖產(chǎn)生之前完成點(diǎn)源提取、交叉認(rèn)證等操作，最終在?3—5?s?內(nèi)完成?100?萬(wàn)—10?000?萬(wàn)行星表數(shù)據(jù)的插入，10?億—100?億行星表數(shù)據(jù)的?JOIN?運(yùn)算。

在高能物理領(lǐng)域，歐洲核子物理研究組織構(gòu)建的大型強(qiáng)子對(duì)撞機(jī)（LHC）每秒進(jìn)行?6?億次碰撞實(shí)驗(yàn)，產(chǎn)生?6?PB?事例數(shù)據(jù)，經(jīng)事例篩選后存儲(chǔ)大約?1?GB?實(shí)驗(yàn)數(shù)據(jù)。目前?LHC?產(chǎn)生的實(shí)驗(yàn)數(shù)據(jù)已超過(guò)?200?PB，未來(lái)?5?年?LHC?產(chǎn)生的數(shù)據(jù)將會(huì)超過(guò)?1?EB，事例數(shù)將達(dá)到千萬(wàn)億級(jí)別，需在?10?s?內(nèi)完成百萬(wàn)分之一的事例篩選操作。

在微生物學(xué)領(lǐng)域，中國(guó)科學(xué)院微生物研究所世界數(shù)據(jù)中心（WDCM）對(duì)?Taxonomy、GenBank、Gene?等?36?個(gè)數(shù)據(jù)源進(jìn)行實(shí)體識(shí)別、歧義消除、本體構(gòu)建等數(shù)據(jù)處理操作，構(gòu)建了包含?830?萬(wàn)個(gè)節(jié)點(diǎn)、1.3?億條邊的知識(shí)圖譜結(jié)構(gòu)。預(yù)計(jì)未來(lái)?5?年內(nèi)，WDCM?還將匯聚開(kāi)放生物資源、文獻(xiàn)、序列和疾病等數(shù)據(jù)，在?10?000?多個(gè)數(shù)據(jù)源中構(gòu)建?100?億條關(guān)聯(lián)的知識(shí)圖譜數(shù)據(jù)，并要求?1?s?內(nèi)完成?100?億條關(guān)聯(lián)數(shù)據(jù)的?6?步關(guān)聯(lián)查詢(xún)。

自?2011?年麥肯錫年度總結(jié)報(bào)告中提出“大數(shù)據(jù)”概念以來(lái)，學(xué)術(shù)界和工業(yè)界對(duì)大數(shù)據(jù)定義一直存在爭(zhēng)議，這些爭(zhēng)議主要來(lái)自不同領(lǐng)域中大數(shù)據(jù)的特征體現(xiàn)。目前學(xué)術(shù)界公認(rèn)大數(shù)據(jù)具有“4V”特征——體量大（volume）、生成快（velocity）、多樣性（variety）和密度低（value），科學(xué)大數(shù)據(jù)應(yīng)用場(chǎng)景充分體現(xiàn)了這“4V”特征，并具有以下獨(dú)特的性質(zhì)。

科學(xué)發(fā)現(xiàn)的準(zhǔn)確性建立在海量實(shí)驗(yàn)數(shù)據(jù)的重復(fù)計(jì)算驗(yàn)證之上。例如，“上帝粒子”和暗物質(zhì)發(fā)現(xiàn)的正確性經(jīng)過(guò)了對(duì)數(shù)百?PB?量級(jí)數(shù)據(jù)的多次重復(fù)計(jì)算，多次驗(yàn)證重復(fù)出現(xiàn)同一結(jié)論時(shí)才能發(fā)布結(jié)論。

短時(shí)間內(nèi)科學(xué)實(shí)驗(yàn)會(huì)產(chǎn)生大量觀(guān)測(cè)數(shù)據(jù)并進(jìn)行流程化處理，實(shí)驗(yàn)數(shù)據(jù)會(huì)持續(xù)進(jìn)入持久化存儲(chǔ)設(shè)備進(jìn)行長(zhǎng)周期存儲(chǔ)。例如，GWAC?在?15?s?內(nèi)完成?40×32?MB?天區(qū)圖的點(diǎn)源檢測(cè)、入庫(kù)等操作，產(chǎn)生的所有數(shù)據(jù)將永久存儲(chǔ)。

科學(xué)現(xiàn)象觀(guān)測(cè)的量化指標(biāo)存在圖像、語(yǔ)音、時(shí)間序列等形式，數(shù)據(jù)分布在不同國(guó)家和機(jī)構(gòu)中，科學(xué)研究需要整合這些多源異構(gòu)數(shù)據(jù)。例如，WDCM?整合?36?個(gè)包括文本、網(wǎng)頁(yè)、醫(yī)療記錄在內(nèi)的數(shù)據(jù)源完成知識(shí)圖譜構(gòu)建。

科學(xué)數(shù)據(jù)來(lái)自大科學(xué)裝置、互聯(lián)網(wǎng)、國(guó)家機(jī)構(gòu)等，數(shù)據(jù)與國(guó)家利益和個(gè)人隱私相關(guān)，數(shù)據(jù)共享和挖掘分析會(huì)產(chǎn)生更大的社會(huì)推進(jìn)作用。例如，“數(shù)字絲路”（DBAR）國(guó)際科學(xué)計(jì)劃涉及“一帶一路”沿線(xiàn)?65?個(gè)國(guó)家共享的地理、農(nóng)業(yè)、社會(huì)輿論等數(shù)據(jù)，挖掘分析這些數(shù)據(jù)可為地區(qū)、國(guó)家的決策提供重要參考，然而如何分享成果收益、保護(hù)數(shù)據(jù)隱私是該計(jì)劃面臨的一個(gè)重要問(wèn)題。

科學(xué)大數(shù)據(jù)的這些性質(zhì)對(duì)數(shù)據(jù)管理系統(tǒng)提出了巨大挑戰(zhàn)。

相關(guān)文章