數(shù)據的(de)基本概念

返回列表

2024年(nián)08月(yuè)31日(rì)

✎導讀(dú)

“大(dà)數(shù)據時(shí)代”的(de)概念最早由世界著名的(de)咨詢公司麥肯錫∞→£提出。麥肯錫說(shuō)：“數(shù)據已滲透到(dào)今天的(de)每個(gè)行( ±'xíng)業(yè)和(hé)業(yè)務功能(néng)領♥γ域，并已成為(wèi)重要(yào)的(de)生♦™♠(shēng)産要(yào)素”。

作(zuò)者：張潔、呂佑龍、張朋(péng)、汪俊亮(liàng)，來(lái)源：引自(zì)《數(shù)據技(jì)術(shù)基礎》，由「智造苑」原創首發，本文(wén)經授權發布。

随著(zhe)互聯網技(jì)術(shù)的(de)發展，現(xiàn)有(yǒ ♥u)計(jì)算(suàn)機(jī)擁有(yǒu)了(le)♠≠δ♦在極短(duǎn)時(shí)間(jiān)內(nèi)處理(lǐ)海(hǎσ↓αi)量數(shù)據的(de)能(néng)力，進而催≤→₩生(shēng)了(le)一(yī)大(dà)批企業(yè)利用(yòng)大(dà)量的(dδ e)數(shù)據，将傳統的(de)企業(yè)運營方式進行(xín≈ "g)颠覆，使得(de)企業(yè)實現(xiàn)了(le)從(cóng)靠人(rén)力決策到 φ∏ (dào)靠數(shù)據決策的(de)轉變，這(zhè)意味著÷↕∏ (zhe)更少(shǎo)的(de)決策失誤和(hé)更大(dà)的¶Ω±$(de)利潤，而對(duì)于普通(tōng)民(mín↕∏‌)衆而言則能(néng)享受到(dào)更好(hǎo)的(de)服務質量和(héΩ∏‍)辦事(shì)效率。在以上(shàng)過程中，大(dà)量的(de)企業(yè)決策與服務提供"α需要(yào)依靠大(dà)數(shù)據技(jì)術(shù)‌£β 支撐，并且大(dà)數(shù)據帶來(lái)的(de)經濟效益$★已經大(dà)于開(kāi)發成本，由此進入大(dà)數(shù)據時(shí)代。

1. 內(nèi)涵與特征

1）大(dà)數(shù)據的(de)內(nèi)®∏₹涵

大(dà)數(shù)據的(de)定義方Ω£法有(yǒu)很(hěn)多(duō)種，如(rú)果仔細觀∑≠β察，會(huì)發現(xiàn)不(bù)同領域專家(jiā)學者給出了(l♣♥e)不(bù)同的(de)定義。通(tōng)常所說(shuō)的(de)“大≤"(dà)數(shù)據”往往指的(de)是(shì≈α'Ω)“大(dà)數(shù)據現(xiàn)象↕÷↑”。

（1）計(jì)算(suàn)機(jī)科(kē)學與技(jì)術↕→±(shù)：當數(shù)據量、數(shù)據的(de"×✔π)複雜(zá)程度、數(shù)據處理(lǐ)的(deπ§¥)任務要(yào)求等超出了(le)傳統數(shù)據存儲與計(jì)算(suàn)能(nénβ↔g)力時(shí)，稱之為(wèi)大(dà)數(shù)據（α✘¥♣現(xiàn)象）。可(kě)見(jiàn)，計(jì)算(♥↕♠♠suàn)機(jī)科(kē)學與技(jì)術(shù)中§÷是(shì)從(cóng)存儲和(hé)計(jì)算(suà→ ↔n)能(néng)力視(shì)角理(lǐ)解大(dà)數(shù)據——大(dà)數(shù)據♦α÷∑不(bù)僅是(shì)“數(shù)據存>δ‍★量”的(de)問(wèn)題，還(hái)與數(shù)據增量、複雜∞♥(zá)度和(hé)處理(lǐ)要(yào)求（如(rú)實時(shí)分(fēn'β)析）有(yǒu)關。

（2）統計(jì)學：當能(néng)夠收集足夠的(de)全部（總體(tǐ)中的(de)絕大(dà)部分(Ω♠ ↔fēn)）個(gè)體(tǐ)的(de)數(shù)據，且計(jì)算(suàn₩∏)能(néng)力足夠強，可(kě)以不(bù)用(yòng)抽樣，₩ 直接在總體(tǐ)上(shàng)就(jiù)可(kě)以進行(xíng)統計(j✘₹ì)分(fēn)析時(shí)，稱之為(wèi)大(dà)♠☆↔>數(shù)據（現(xiàn)象）。可(kě)見(jiàn)，統計(jì)學主要(yào∏≠)從(cóng)所處理(lǐ)的(de)問(wèn)題和(hé)總體(tǐ)∞≥∏的(de)規模之間(jiān)的(de)相(xiàng)對(duì)關系視(shì)角理(l"φ≤£ǐ)解“大(dà)數(shù)據”。

（3）機(jī)器(qì)學習(xí)：當訓練集足夠大(dà)，且計(jì)算(α±≈suàn)能(néng)力足夠強，隻需要(yào)通(tōng)過對(duì)已≥ 有(yǒu)的(de)實例進行(xíng)簡單查詢即可(kě)達到(dào)“智‍§φ能(néng)計(jì)算(suàn)的(de)效果”§♦' 時(shí)，稱之為(wèi)大(dà)數(shù)據（現(x<♠₽≈iàn)象）。可(kě)見(jiàn)，機(jī)器(¥₹<qì)學習(xí)主要(yào)從(cóng)“智能(néng)的(de)實現(xiàn)方式☆∏♥”理(lǐ)解大(dà)數(shù)據-智能(néng)可(kě)以通(tō∞ ng)過簡單的(de)實例學習(xí)和(hé)機( Ωjī)械學習(xí)的(de)方式來(lái)δ™實現(xiàn)。

（4）社會(huì)科(kē)學家(ji£‌'ā)：當多(duō)數(shù)人(rén)的(de)大(dà)部分(≠'•®fēn)社會(huì)行(xíng)為(wèi)可(kě)以被記錄下(xiàσ↔)來(lái)時(shí)，稱之為(wèi)大(dà)數(shù)據 ‌ （現(xiàn)象）。可(kě)見(jiàn)，社會(huì)科(kē)學家(jiā)眼裡Ω♥‌(lǐ)的(de)大(dà)數(shù)據主要(yào)是(shì)從(cóngσ®)“數(shù)據規模與價值密度角度”談的(de)，即數(shù)據規模過大(dà)φ¥導緻的(de)價值密度過低(dī)。

總之，術(shù)語大(dà)數(shù)據的(de)內(nèi)涵已超出了(±‍•le)數(shù)據本身(shēn)，代表的(de)是(s £hì)數(shù)據帶來(lái)的(de)機★± (jī)遇與挑戰，可(kě)以總結如(rú)下(xià)。

（1）機(jī)遇：原先無法（或不(bù)可(kě)能(néng)）找到(dào)的(de)≤π≥☆數(shù)據，現(xiàn)在可(kě)能(néng)找到(dà¥βo)；原先無法實現(xiàn)的(de)計(jì)算(suàn)目的♣×&ε(de)（如(rú)數(shù)據的(de)實時(shí)分(fēn)析），現(xiàn)&φ€♠在可(kě)以實現(xiàn)。

（2）挑戰：原先一(yī)直認為(wèi)正确或最佳的('β£de)理(lǐ)念、理(lǐ)論、方法、技(jì)術(shù)♥¶和(hé)工(gōng)具越來(lái)越凸現(xiàn)出其局限性，在大 €(dà)數(shù)據時(shí)代需要(yào)改變思考模式。

2）大(dà)數(shù)據的(de)特征

通(tōng)常，用(yòng)4V來(lái)表示大(dà)數(shù)據的(de€♠)基本特征。但(dàn)是(shì)，建議(yì)讀(dú)者結合上(shàng)述對(duì)大‍☆®(dà)數(shù)據的(de)內(nèi)涵的(de)討(tǎo)論，靈活理(lǐ)解大↑•(dà)數(shù)據的(de)特征。

（1）Volume（數(shù)據量大(dà)）：數(shù)據量大(dà)是(shì)一(yī)個(gè)相(xiàng)≥α☆φ對(duì)于計(jì)算(suàn)和(hé)存儲能(néng)力的(de)說(♣÷≤≈shuō)法，就(jiù)目前而言，當數(shù)據量達到(dλ±ào)PB級以上(shàng)，一(yī)般稱為(wèi↑♦)“大(dà)”的(de)數(shù)據•↓€。但(dàn)是(shì)，應該注意到(dào)≤$↑，大(dà)數(shù)據的(de)時(shí)間(jiān)分(fēn)布往往不(b₹→₽ù)均勻，近(jìn)幾年(nián)所生(shēng)成的(de)數(shù)據，相≥✘≠∏(xiàng)對(duì)占比最高(gāo)。

（2）Variety（類型多(duō)）：數(shù)據類型多(duō)是(shì)指大(dà)數✘↕$₩(shù)據存在多(duō)種類型的(de)數(shù)據，不(bù)僅包括結構化(h☆•uà)數(shù)據，還(hái)包括非結構化(hu•£>à)數(shù)據和(hé)半結構化(huà)數(shù)據。有(yǒu)© ↑σ統計(jì)顯示，在未來(lái)，非結構化(huà)數(shù)據的(de)占比&→将達到(dào)90%以上(shàng)。非結構化(huà)數×π£(shù)據所包括的(de)數(shù)據類型很&→✔(hěn)多(duō)，例如(rú)網絡日(rì)志(zhì)、音(yīn)頻(p×‌®ín)、視(shì)頻(pín)、圖片、地(dì)理(lǐ)位置信息等。✔•¶數(shù)據類型的(de)多(duō)×λ樣性往往導緻數(shù)據的(de)異構性，進而加大(dà)了(le)數(shù)據處理(lǐ)₹¥的(de)複雜(zá)性，對(duì)數(shù)據處理(l∏λǐ)能(néng)力提出了(le)更高(gāo)要(yào)求。

（3）Value（價值密度低(dī)）：在大(dà)數(shù)據中，價值密度的(de)高(gāo)低(dī)與數(shù)據總量的(d€≠∞<e)大(dà)小(xiǎo)之間(jiān)并不(bù)存在線性關系，有(yǒu)價值的∞≠¥(de)數(shù)據往往被淹沒在海(hǎi)量π™無用(yòng)數(shù)據之中，也(yěφ♥φ)就(jiù)是(shì)人(rén)們常說(shuō)的(de)“我們淹 ↓沒在數(shù)據的(de)海(hǎi)洋，卻又(yòu)在忍受著(zhe)知(zhī)識ε'的(de)饑渴（We are drowning in a sea of dat‌☆≥a and thirsting for knowledge）”¥ Ω。例如(rú)，一(yī)段長(cháng)達120min£÷連續不(bù)間(jiān)斷的(de)監控視(shì)頻(pín)中，有(yǒ×λ♣∏u)用(yòng)數(shù)據可(kě)能(nén↕γg)僅有(yǒu)幾秒(miǎo)。因此，如(rú)何在海(hǎi)量數(shù)據中洞≠π見(jiàn)有(yǒu)價值的(de)數(shù)據成為(wèi)數(s↑₹γhù)據科(kē)學的(de)重要(yào)課題。

（4）Velocity（速度快(kuài)）±→：大(dà)數(shù)據中所說(shuō)的(de)“速度”包括兩✔↑≈φ種——增長(cháng)速度和(hé)處理(lǐ)速度。一(yī)方± 面，大(dà)數(shù)據增長(cháng)速度快 (kuài)。有(yǒu)統計(jì)顯示，2009—2020年(nián)期間(jiānε∑®)的(de)數(shù)字宇宙的(de)年(nián)均增長(chá∞ε∞ ng)率将達到(dào)41%，另一(yī)方面，對(duì)大(dà)數(shù)據處理(lǐ↑∞←λ)的(de)時(shí)間(jiān)（®™計(jì)算(suàn)速度）要(yào)求也(yě)越來(lái> ♥)越高(gāo)，“大(dà)數(shù)據的(de)實時(shí)分(f£¥÷ēn)析”成為(wèi)熱(rè)門(mén)話(huà)題。

2. 業(yè)務數(shù)據化(h✘≤uà)

随著(zhe)互聯網的(de)快(kuài)速發展，企業(yè)逐漸面臨越來§♣(lái)越多(duō)大(dà)數(shù)據時(shí)代的(de)不(bù)确定性和(h€±é)挑戰，很(hěn)可(kě)能(néng)因為(wèi)成本高(gāΩ∏φ×o)居不(bù)下(xià)而逐漸失去(qù)份額®"₽♦，被競争對(duì)手超越并最終出局。企業(yè)每天都(dōu)會(huì)産生(§★shēng)大(dà)量的(de)業(yè)務數(shù)據，通(tōn±©g)過實現(xiàn)業(yè)務數(shù)據化(huà)可(kě)以幫助企σγ<‍業(yè)經營者對(duì)尚未掌握的(de)商<§ ±業(yè)機(jī)遇進行(xíng)理(l↕<βǐ)性評估判斷，實現(xiàn)業(yè)務增值，同時(shí)幫助企業(yè)提升✘‍↓內(nèi)部運營效率，降低(dī)成本。≠≥∏‌因此業(yè)務數(shù)據化(huà)是(sh₩βì)未來(lái)發展的(de)一(yī)大(dà)趨勢。

1）設計(jì)目标和(hé)原則

業(yè)務數(shù)據化(huà)的(de)設計(jì)目标是(shì)要(yào™®∞∞)從(cóng)大(dà)量的(de)、可(kě)能(n✘♣φéng)是(shì)雜(zá)亂無章(zhāng)的(de)、難以理(lǐ)解的(de)數(shù™↓®•)據中抽取并推導出對(duì)于某些(xiē)特定的(de)人(rén)或事(shì)≥π♦物(wù)來(lái)說(shuō)有(yǒu)價值、有(yǒu)異議(yì)的(≈α✔de)數(shù)據。設計(jì)原則包括簡約原則、綜觀原則、解釋原則以及智慧原則。

（1）簡約原則：簡化(huà)現(xiàn)有(yǒu)的(de)數(shù)據集，使φφ☆★得(de)一(yī)種小(xiǎo)規模的(de)數(shù)據就(jiù)♥←能(néng)夠産生(shēng)同樣的(de)分(fēn)析效果。通(tōng)過一(®¶≈←yī)些(xiē)數(shù)據規約方法獲取可(kě)靠數(shù'"→)據，減少(shǎo)數(shù)據集規模，±ε提高(gāo)數(shù)據抽象程度，提φ"升數(shù)據挖掘效率，使之在實際工(gōng)作(zuò)中，可(kě)以根據需要(y♣© ào)選用(yòng)合适的(de)處理(lǐ)方法，以達到©‍(dào)操作(zuò)上(shàng)的(de)簡單、簡潔、簡約和(hé)高(g∑∏āo)效。

（2）綜觀原則：對(duì)認知(zhī)對(duì)象↑↔進行(xíng)綜合性的(de)觀察、分(fēn)析和(hé)探索，以求得(de)解決 ×γ問(wèn)題的(de)策略和(hé)戰略。它π₩"堅持整體(tǐ)的(de)具體(tǐ)統一(yī)性，凸顯認知(zhī)對(duì)象的(dε§®e)具體(tǐ)實在性。

（3）解釋性原則：針對(duì)提取的(de)數(shù)據究竟表達什(shén)麽或意味什(shσ¥≈•én)麽，很(hěn)大(dà)程度上(shàng)，并不(bù)取決于數(shù)據信息自(≠>₩®zì)身(shēn)所标明(míng)的(de)“客觀實在性”，₩←"而是(shì)取決于認知(zhī)主體(tǐ)對 ≤£(duì)數(shù)據進行(xíng)解讀¥↕ φ(dú)時(shí)的(de)主觀評價，以此揭示數(shù)據的(de)本±∑γ¶質。

（4）智慧原則：在對(duì)數(shù)據的(de)處理(lǐ)挖掘過程中既要(yào)兼具數(shù)₩'$據處理(lǐ)能(néng)力，也(yě)要(yào)具備應用(yòng)©<算(suàn)法和(hé)編寫代碼的(de)經驗。在大(dà)數(shù)據時(≤≠&αshí)代，不(bù)僅要(yào)關注數(shù)據的(de)多(duō)樣性、差異性、精确性和&€$(hé)實效性；還(hái)要(yào)深入挖掘各類數(shù)據，并在此基礎上(shà&σ♣'ng)在不(bù)同的(de)數(shù)據集成中分(←φ£fēn)析不(bù)同的(de)假設情境，建構不(bù)同的(de)可(kě)視(shì)化(huδ↑εà)圖像，揭示數(shù)據集成的(de)變化(huà)及其産生(shē☆®♦✔ng)的(de)效用(yòng)。

2）數(shù)據線程

數(shù)據線程是(shì)指以價值鏈活動為(wèi)脈絡，以業(yè)務為(w←©×èi)中心，構建的(de)數(shù)據建φ☆♣模、關聯、因果、集成、演化(huà)等全主線流程。數(shù)據™ €線程通(tōng)過建立面向業(yè)務應用(yòng)的(de)數(s $βhù)據模型，實現(xiàn)各種信息化(huà)業(yè)務系統數( ' ♥shù)據源的(de)統一(yī)建模需求；針 σ<對(duì)設計(jì)、制(zhì)造、運行(xíng)、 γ維護等生(shēng)産環節，發掘數(shù)據資源間(jiān)的(de)複§λ↑雜(zá)關聯關系和(hé)因果關系；通(tōng)過描述業(yγπ è)務驅動的(de)數(shù)據動态演化(huà)過程，提升對∏≥≠(duì)産品叠代、工(gōng)藝更新、設備維護等業(yè)務決策問(wèn)♦•≤題的(de)适應能(néng)力。數(shù)據線程圍繞數( 'shù)據生(shēng)成、彙聚、存儲、歸檔、分(fēn)析、使用(yòn"©☆g)和(hé)銷毀等全過程，實現(xiàn)✘≈↔了(le)産品研發設計(jì)、生(shēng)産制(zhì)造、經營管理(lǐ)和(hé)銷售₩↕‌服務等全價值鏈活動中業(yè)務數(shù)據的(de)有(yǒu)效組織，為(wèi)×Ω業(yè)務數(shù)據化(huà)提÷σ↔供了(le)良好(hǎo)的(de)基礎。

3）業(yè)務數(shù)據系統

業(yè)務數(shù)據系統主要(yà> o)包括業(yè)務數(shù)據集成系統、業(yè)務數☆β<(shù)據管理(lǐ)系統、業(yè)務數(shù)據分(fēn)析系統、業(yè)務數(shù↓✔™β)據可(kě)視(shì)化(huà)系統等多(duō)個(gè)子(☆∑zǐ)系統。

（1）業(yè)務數(shù)據集成系統：是(shì)面向業(yè)務的(de)數(shù)據集成系統。随著(zhe)企₹×✘¶業(yè)信息化(huà)建設的(de)發展，企業(§→₩yè)建立了(le)衆多(duō)的(de)信息系統，以幫助企業(yè)進行(xín'¥φg)內(nèi)外(wài)部業(yè)務的(de)管理₹±↕(lǐ)。但(dàn)是(shì)，企業(yè)各系統的(de)數(shù)據是™±(shì)分(fēn)布的(de)、異構的(de)，為(wèi)了(le)‌<$✘共享這(zhè)些(xiē)業(yè)務數("¥shù)據，需要(yào)一(yī)個(gè)業(yè)務數(sε±±αhù)據集成系統來(lái)完成數(shù)據的(d₹‍✘‌e)共享與轉換。業(yè)務數(shù)據α✔∏集成系統通(tōng)過對(duì)具體(tǐ)的∏♥₹ (de)數(shù)據庫業(yè)務數(±★shù)據進行(xíng)訪問(wèn)，實現(xiàn)了(le)β$∑≤基于變量的(de)增量數(shù)據的(de)獲取和(hé)發送，不(bù)僅解決¶≤★♣了(le)分(fēn)布式環境下(xià)異構數(shù)據的(de)集成，還(hλ☆Ωái)具有(yǒu)良好(hǎo)的(de)擴展性及部署的(de)簡單性↕☆。

（2）業(yè)務數(shù)據管理(lǐ)系統：是(shì)業(yè)務數(shù)據系統的(de)核心組≠÷₹>成部分(fēn)，主要(yào)完成對(duì)業(yè)務數(™♦λβshù)據的(de)操縱與管理(lǐ)功能♣€λ(néng)，實現(xiàn)數(shù)據對(duì)象≥¥↔的(de)創建、數(shù)據存儲數(shù)據的(d©•÷₹e)查詢、添加、修改與删除操作(zuò)和(hé)數(shù)據庫δ♥的(de)用(yòng)戶管理(lǐ)、權限管理₽₽'(lǐ)等。業(yè)務數(shù)據管理✔γδ(lǐ)系統可(kě)以依據它所支持的(de)數(shù)據庫模型來(lái)做(zu♠εγ ò)分(fēn)類，例如(rú)關系式、XML；或依據所支持的(de)計(jì)算(suàn≈£)機(jī)類型來(lái)做(zuò)分(fēn)類，例如(rú)®↑↓≠服務器(qì)群集、移動電(diàn)話(huà)；或依據所用∏>(yòng)查詢語言來(lái)做(zuò)分(fēn)類 π，例如(rú)SQL、XQuery；或依據性能(néng)沖量重點來(lá ∞ γi)做(zuò)分(fēn)類，例如(rú)最大(dà)規模、最高(gāo)運行(xíng)速度。λ∏✘

（3）業(yè)務數(shù)據分(fēn)析系統：主要(yào)功能(néng)是(shì)× 從(cóng)衆多(duō)外(wài)部系統中，采集相(xiàng≥₹)關的(de)業(yè)務數(shù)據，集中存儲到(dào)系統的(εεde)數(shù)據庫中。系統內(nèi)部對(duì)所有(yǒu)的(§‌α±de)原始數(shù)據通(tōng)過一(yī)系列處理(lǐ)轉換之後，存儲™ >♦到(dào)數(shù)據倉庫的(de)基礎庫中；然後，通(δ₹★<tōng)過業(yè)務需要(yào)進行(xíng)一(yī)系列的£±>δ(de)數(shù)據轉換到(dào)相(xiàng)應的(d©∑Ωe)數(shù)據集市(shì)，供其他(tā)上(shà₽≠ng)層數(shù)據應用(yòng)組件(jiàn)進行(xíng)專題分(fēn)"φ‌析或者展示，并将數(shù)據加以彙總和(h ∑é)理(lǐ)解并消化(huà)，以求最大(dà)化(huà)地(dì)開(kāi)發數(sh₩ ù)據的(de)功能(néng)，發揮數(shùε&)據的(de)作(zuò)用(yòng)。

（3）業(yè)務數(shù)據可(kě)視(shì)化(<₩¶↑huà)系統：将數(shù)據進行(xíng)更清晰的(de)展示，能(néng)夠準确而高(gāo)效、精¥™簡而全面地(dì)傳遞信息和(hé)知(zhī)識。可(kě)視(shì)化(huà)能(♦→≤∏néng)将不(bù)可(kě)見(jiàn)的(de)數∞→♠£(shù)據現(xiàn)象轉化(huà)為(wèi)可(kě)見(ji≤☆¥¶àn)的(de)圖形符号，能(néng)将錯(cuò)綜複雜(zλΩα✘á)、看(kàn)起來(lái)沒法解釋和(hé)關聯的(de)數(shù)據，₹≈±建立起聯系和(hé)關聯，發現(xiàn)規律和(hé)特征，獲得★π'(de)更有(yǒu)商業(yè)價值的(de)洞見(jiàn)和(hé)價值。

4）智能(néng)制(zhì)造業(yè)ε↕務數(shù)據

智能(néng)制(zhì)造業(yè)務數(shù)據主要(yào)包括以下(xià)6個(×♦gè)方面。

（1）從(cóng)底層的(de)設備控制(zhì)系統中采集←↓α的(de)數(shù)據，包括設備的(deδ≤€♦)狀态數(shù)據、設備參數(shù)等，如♣"(rú)數(shù)控系統、産線控制(zhì)系統等® >。

（2）直接采集各類終端及傳感器(qì)的(de)數(shù)據，如(₽λrú)溫度傳感器(qì)、振動傳感器(qì)、噪聲傳感器(qì)、手持終端Ω☆β等。

（3）從(cóng)各類業(yè)務應用(yòng)信息系統中獲取數(shù)據，♦ε如(rú)MES系統從(cóng)PDM系統獲取BOM數(shù)據，從(cóng)ERP₩→¶‍系統獲取訂單數(shù)據等。

（4）從(cóng)各類業(yè)務運行(xíng)過程中獲取的(de)樣本數(s>σ↑¥hù)據集，是(shì)指以業(yè)務為(€γ¥φwèi)中心，積累的(de)曆史樣本數(shù)據，可(kě)用(yòng)于智能(néng)制( ☆÷zhì)造過程中模型的(de)訓練。

（5）指算(suàn)法和(hé)模型數(shù)據，是(shì)指機(jī)器(qì)學習→∏₩(xí)、深度學習(xí)、強化(huà)學習(xí)等算(suàn)法和'±♦≥(hé)已訓練好(hǎo)的(de)模型，用(yòng)戶可(kě)以直接從(có✔‍δng)業(yè)務數(shù)據系統中調用(yòng)這(zγδφhè)些(xiē)算(suàn)法和(hé)模型數(shù)據，用(y☆'♥•òng)于制(zhì)造大(dà)數(shù)據分(fēn)析、→π♠預測、決策等。

（6）從(cóng)互聯網獲取數(shù)據，如(rú®™∏÷)獲取市(shì)場(chǎng)信息數(shù☆©)據、環境數(shù)據，上(shàng)下(xià)遊供應商數(shù)據÷∑等。還(hái)包括來(lái)源于人(rén)類軌迹λ•産生(shēng)的(de)數(shù)據，包括在現(xiàn)代工(gōng)業₹γα(yè)制(zhì)造鏈中，從(cóng)采購(gòu)，生(shēn₩ ©g)産，物(wù)流與銷售市(shì)場(chǎnβε$g)的(de)內(nèi)部流程等。通(tōng)過行(xíng)為(wèi↑ Ω)軌迹數(shù)據與設備數(shù)據的(de)結合，‌∏δ可(kě)以幫助我們實現(xiàn)客戶的(de)分(fēn)析和(hé)挖掘Ωα✔。

3. 大(dà)數(shù)據時(shí)代的↑ ✔✔(de)新理(lǐ)念

大(dà)數(shù)據時(shí)代的(de)到(dào)來(¶"✘lái)改變了(le)人(rén)們的(de)生(shēng)活方β∞Ωπ式、思維模式和(hé)研究範式，也(yě)帶來(lái)了(le)很(hěn)多(duō)←☆♠★全新的(de)理(lǐ)念。

（1）研究範式的(de)新認識——從(cóng)♦"'∑第三範式到(dào)第四範式：2007年(nián)，圖靈獎獲得(de)者Jim Gray提"∞出了(le)科(kē)學研究的(de)第四範±δ→式——數(shù)據密集型科(kē)學發現(xiànα γ)（Data-intensive Scientific Discovery）。在他(tā>©∏")看(kàn)來(lái)，人(rén)類科(kē)學研究活動已經曆過3種不(bù)同範式¶ ✘γ的(de)演變過程（原始社會(huì)的(de)'♣£≥實驗科(kē)學範式、以模型和(hé)歸納為(wèi)特征的(de)理(l≈§↕ǐ)論科(kē)學範式和(hé)以模拟仿真為(w€£©èi)特征的(de)計(jì)算(suàn)科(kē)學範式$ α），目前正在從(cóng)計(jì)算(suàn)科(kē)♣♠學範式轉向數(shù)據密集型科(kē)學發現(xiàn)範式。第四範式，即數(shù)據密集型≤φ≈科(kē)學發現(xiàn)範式的(de)主要(↔¥£γyào)特點是(shì)科(kē)學研究人(rén)員(yuán)隻需要(yào✔'®)從(cóng)大(dà)數(shù)據中查找和(hé)挖掘所需要(yào)的(de)信息↕§和(hé)知(zhī)識，無須直接面對(duì)所研究的(de)物(wù)理(lǐ)對(du ↕εì)象。

（2）數(shù)據重要(yào)性的(de)新認識——從(cóng)數(shù)據資↓>π₹源到(dào)數(shù)據資産：在大(dà)數(shù)據時(shí)代>'≥，數(shù)據不(bù)僅是(shì)一(yī)種資源，而更是(shì)一(yī)種重要(yàoσ≈®♣)的(de)資産。因此，數(shù)據科(kē)學應把數(shù)據當作(zuα≈ ò)一(yī)種資産來(lái)管理(lǐ)，®↑π"而不(bù)能(néng)僅僅當作(zuò)資源來(láiφ")對(duì)待。也(yě)就(jiù)是(shì)說(shuō)，與其他(tā)類型的(de)資♦&$産相(xiàng)似，數(shù)據也(yě)具有(yǒu)财務價值，且∑↑÷需要(yào)作(zuò)為(wèi)獨立$ 實體(tǐ)進行(xíng)組織與管理(lǐ)。

（3）對(duì)方法論的(de)新認識——從(cóng)≤‍>基于知(zhī)識解決問(wèn)題到(dào)基于數(sh‍↓≥•ù)據解決問(wèn)題：傳統方法論往往是(shì)基于知(zhī)識的(de)，即從(cóng)大(dà)量♣'實踐（數(shù)據）中總結和(hé)提煉出一(yī)般性知(zhī)識（定理(lǐ)÷&、模式、模型、函數(shù)等）之後，用(yòng)知(zhī)識去(qù)≈π₩‍解決（或解釋）問(wèn)題。因此，傳統的(de)問(wèn)題解決思路(lù)是(shì> )問(wèn)題→知(zhī)識→問(wènΩ☆≠)題，即根據問(wèn)題找知(zhī)識，并用(yòng)知(zhī)識解決問♦λβ•(wèn)題。然而，數(shù)據科(kē)÷™Ω學中興起了(le)另一(yī)種方法論——問(wèn)題→數(shù)據→問↔₹(wèn)題，即根據問(wèn)題找數(shù)據，并φ ®≈直接用(yòng)數(shù)據（不(bù)需要(yào)把數(shù)據轉換成知(zhī)✔ε≠γ識的(de)前提下(xià)）解決問(wèn)題。

（4）對(duì)數(shù)據分(fēn)析的(de)新認識——↑Ωπ從(cóng)統計(jì)學到(dào)數(shù)據科(kē)學：在傳統科(kē)學中‍λ，數(shù)據分(fēn)析主要(yào)以數(shù)學和(hσ≤≈<é)統計(jì)學為(wèi)直接理(lǐ)論工(gōng)具。但(dàn)是(↔←₩shì)，雲計(jì)算(suàn)等計(jì)算(suàn)模式的(de)出α←σ現(xiàn)以及大(dà)數(shù)據時(shí)代的(de)到(dào)來(lái)，提升了'®< (le)人(rén)們對(duì)數(shù)據的(de)獲取、存✘♦≠♦儲、計(jì)算(suàn)與管理(lǐ)能(néng)力。在海(hǎi)量、動态、異構₩®÷的(de)數(shù)據環境中，人(rén)們開(kāi)始±←重視(shì)相(xiàng)關分(fē>$©✘n)析，而不(bù)僅僅是(shì)因果分(fēn)析。人(≤ ♠rén)們更加關注的(de)是(shì)數(shù)據φ≠ ↔計(jì)算(suàn)的(de)“效率”而不(bù)再盲目追求其₹↔←精準度。

（5）對(duì)計(jì)算(suàn)智能(nΩ¶&éng)的(de)新認識——從(cóng)複雜(zá)算(suàn)法到☆←•(dào)簡單算(suàn)法：“隻要(yào)擁有(yǒu)足夠多(duō)的(de)數(shù)據，我們可(kě)以變得(de<π☆¥)更聰明(míng)”是(shì)大(dà)數£π(shù)據時(shí)代的(de)一(yī)個(gè)新認識。因此，在π∏★★大(dà)數(shù)據時(shí)代，原本複雜(zá)的(de)智能(néng)問(∏>☆₩wèn)題變成簡單的(de)數(shù)據問(wèn)題——隻要(yào)對(duì)大δ β€(dà)數(shù)據的(de)進行(xí‍€ng)簡單查詢就(jiù)可(kě)以達到(✔∞¶✔dào)“基于複雜(zá)算(suàn)法的(de)智能(néng)計₩(jì)算(suàn)的(de)效果”。

（6）對(duì)數(shù)據管理(lǐ)重點的(σ>∑de)新認識——從(cóng)業(yè)務數↔&<(shù)據化(huà)到(dào)數(shù∏®)據業(yè)務化(huà)：在大(dà)數(shù)據時(shí)代，→ε $企業(yè)需要(yào)重視(shì)一(yī)個(gè)新的(de↔<)課題——數(shù)據業(yè)務化(huà)，即如(rú)何基于數(shù)據δ☆₩動态地(dì)定義、優化(huà)和(hé)重組業(yè)務及其≤¶∏ 流程，進而提升業(yè)務的(de)敏捷性，降低(dī)風(fēng)險和(hé)成本。

（7）對(duì)決策方式的(de)新認識——從(c ₩óng)目标驅動型決策到(dào)數(shù)據驅動型決策：傳統科(kē)學思維中，決策制(zhì)定往往是(sh♠≠ì)目标或模型驅動的(de)——根據目标（或模型）進行(♦σφxíng)決策。在大(dà)數(shù)據時(shí)代出現(xiàn)•☆α了(le)另一(yī)種思維模式，即數(shù)據驅動型決策，&Ω數(shù)據成為(wèi)決策制(zhì)定的(de)主要(yào)觸發條件(jγ→←£iàn)和(hé)重要(yào)依據。

（8）對(duì)産業(yè)競合關系的(de)新認識——從(c☆®÷óng)以戰略為(wèi)中心競合關系到(dào)以數(shù)據φ♠為(wèi)中心競合關系：在大(dà)數(shù)據時(shí)代，企業(yè)之間(jiān)的(de)競±☆δ合關系發生(shēng)了(le)變化(hu✔‍¥à)，原本相(xiàng)互激烈競争，甚至不(bù)願φλ ‌合作(zuò)的(de)企業(yè)，不(bù)得(de)不(bù)開↑↓α(kāi)始合作(zuò)，形成新的(de)業(yè)态和(hé)産業(y✔☆"βè)鏈。

（9）對(duì)數(shù)據複雜(zá)¥♦×÷性的(de)新認識——從(cóng)不(bù)接受到(dào)接±λ™受數(shù)據的(de)複雜(zá)性：在傳統科(kē)學看(kàn)來(lái)'± ↑，數(shù)據需要(yào)徹底淨化(hu‍•à)和(hé)集成，計(jì)算(suàn)目的(de)是(shì)需要(yào)找出精确答(dá‌→)案，其背後的(de)哲學是(shì)“不(bù)接φ∑受數(shù)據的(de)複雜(zá)性₹•λ‌”。然而，大(dà)數(shù)據中更加強調的(de)是(shì)數(shù)據的(de)動态性、±₹異構性和(hé)跨域等複雜(zá)性——彈性計(jì)算(suΩγ₹♦àn)、魯棒性、虛拟化(huà)和(hé)快(kuài)速響應，開(kāi≈‍↔‍)始把複雜(zá)性當作(zuò)數(shù)據的(de)一(yī)個(gè)固有(yǒu)特征來'☆♦(lái)對(duì)待，組織數(shùφ →)據生(shēng)态系統的(de)管理(lǐ)目标轉向将組織處于混沌邊緣狀态。

（10）對(duì)數(shù)據處理(lǐ)模式的(de)新認識——從(cóng)小✔♣(xiǎo)衆參與到(dào)大(dà)衆協同：傳統科(kē)學中，數(shù)據的(de)分(fēn)析和(hé α♣∞)挖掘都(dōu)是(shì)基于專家(jiā)經驗，但(☆‌dàn)在大(dà)數(shù)據時(sh↓∑í)代，基于專家(jiā)經驗的(de)創新工(gōng)作(zuò)成本和(hé)風(fēα♦©✔ng)險越來(lái)越大(dà)，而基于專家(jiā)-∞←§®業(yè)餘相(xiàng)結合（Pro-Am♣♠βα）的(de)大(dà)規模協作(zuò)日(rì)益受到(dào)重視(shì)，正成為(wèi)φγ'‍解決數(shù)據規模與形式化(huà)之間(jiān)矛盾的(d←γ©e)重要(yào)手段。

4. 大(dà)數(shù)據時(shí)代的(de)新術(shù)語

大(dà)數(shù)據時(shí)代的(de)到(dào)來(lái)，為(wèi)業(yè)"♦>務活動提出了(le)一(yī)些(xiē)新的(de)任務和(hé)挑戰，同時(sε©hí)出現(xiàn)了(le)很(hěn)多(duō)全新術(s₩←∑hù)語。

（1）數(shù)據化(huà)（datafication）：捕獲人(rén)們的(de)生(shēng)活與業(yè)♥∑務活動，并将其轉換為(wèi)數(shù)據的(de)過程☆β。

（2）數(shù)據柔術(shù)(data jiu-jitsu)：數(shù)據科(kē)學家(jiā)将大(dà)數(shù)據∑∏轉換具有(yǒu)立即産生(shēng)商業(yè)價值的(de)數(shù)據産品（datλ•a product）的(de)能(néng)力，如(rú)圖1所示。&☆數(shù)據産品是(shì)指在零次數(shù)據☆★或一(yī)次數(shù)據的(de)基礎上(shàng)，通÷β∏(tōng)過數(shù)據加工(gōng)×®活動形成的(de)二次或三次數(shù)據，數(shù)據産品的(de)特點包括：高(g↕α¥āo)層次性，其一(yī)般為(wèi)二次數(shù)據或三次數(shù)據；成品性，$γ 數(shù)據産品往往不(bù)需要(yào)（或不(bù)需要(yào)大(dà)量的(∏ σ₹de)）進一(yī)步處理(lǐ)即可(kě)直接應用(yòn$£εg)；商品性，數(shù)據産品可(kě)以直₹↓€接用(yòng)于銷售或交易；易于定價，相(xiàng)對(duì)于原始數(shù)據α♣，數(shù)據産品的(de)定價更為(wèi)容易。

圖1 數(shù)據柔術(shù)

（3）數(shù)據改寫（data mungin$€≈εg）：帶有(yǒu)一(yī)定的(de)創造力和(hé★αβ)想象力的(de)數(shù)據再加工(gōλ©↓ng)行(xíng)為(wèi)，主要(yào)涉及數(sh↕♥ù)據的(de)解析（parsing）、提煉α"$（scraping）、格式化(huà)（f& ormatting）和(hé)形式化(huà)（formalization）β✔δσ處理(lǐ)。與一(yī)般數(shù)據處理(lǐ)不(bù)同的(de)是(shì)，數(✔←αshù)據再加工(gōng)強調的(de)是(sΩ₽α$hì)數(shù)據加工(gōng)過程中的(de)創造β≤£力和(hé)想象力。

（4）數(shù)據打磨（data wrangling）：采用(yòng)全手工(gōng)或半自₽→(zì)動化(huà)的(de)方式，通(tōng)過γ↕多(duō)次反複調整與優化(huà)過程，即将$☆原始數(shù)據轉換為(wèi)一(yī)次數(shù)據（或二次數(shù)據）的(de)過程↑♣。其特殊性表現(xiàn)在不(bù)是(shì)÷→完全自(zì)動化(huà)方式實現(xiàn)，一(yī)般用(yòng)手工(gōng)或半自 ≈‍£(zì)動化(huà)工(gōng)具；不(bù)是(shì)一(yī)次即可(kě)完成，需要(÷‍↕ yào)多(duō)次反複調整與優化(hΩ↕₽‌uà)。

（5）數(shù)據分(fēn)析式思維模式（data-analytic thi&♥≥≥nking）：一(yī)種從(cóng)數(shù)據視(shì)角分(fēn)析問(wèn)題↓∑，并基于數(shù)據來(lái)解決問(wèn)題的(de)思維模式。✘™π數(shù)據分(fēn)析思維模式與傳統思維模式☆¥★ 不(bù)同。前者，主要(yào)從(cóng)數(shù)據入手，最終改變業(yè)務；後者從✘→(cóng)業(yè)務或決策等要(yào)'¥♠∞素入手，最終改變數(shù)據。從(cóng)分(fēn)析對(duì)象和(hé)目的(dλδ♥φe)看(kàn)，數(shù)據分(fēn)析可(kě)以分(fēn)為(wèiλ↓✘®)3個(gè)不(bù)同層次，如(rú)圖2所示。

圖2 數(shù)據分(fēn)析的(de)層次

（6）描述性分(fēn)析( descriptive an✘®↕alysis)：采用(yòng)數(shù)據統計(jì)中的(de)描述統計(jì$≠★λ)量、數(shù)據可(kě)視(shì)化÷∏↑ε(huà)等方法描述數(shù)據的(de)基本特征，如(rú)總和(hé)、均值↕₽、标準差等。描述性分(fēn)析可(kě)以σ€§實現(xiàn)從(cóng)數(shù)據到(dào)信息的(de)轉化(huà)。

（7）預測性分(fēn)析（predictive analysis）：通(tōng)過因果分(fēn)析、相(xiàng)關Ω$分(fēn)析等方法，基于過去(qù)/當前的(β&de)數(shù)據得(de)出潛在模式、共性規律或未來(lái)趨勢。預測性分(fēn)析可(©"★kě)以實現(xiàn)從(cóng)信息到(dào)知(zhī)識的(deφ•)轉化(huà)。

（8）規範性分(fēn)析（normative analysis）：不(bù)僅要(yào)利用(yòng)當前和(hé)過去(qù)的<™(de)數(shù)據，而且還(hái)會(huì)綜合考慮期望"★≈結果、所處環境、資源條件(jiàn)等更多(duō)影(α≥₩yǐng)響因素，在對(duì)比分(fēn"≠)析所有(yǒu)可(kě)能(néng)方案的(de)基礎上(shàng)，提出可(kě)以直δ∑↔接用(yòng)于決策的(de)建議(yì)或♥ελ方案。規範性分(fēn)析可(kě)實現(xiàn)從(cóng)知(zhī)識到(d↑∏¥ào)智慧的(de)轉變。

（9）數(shù)據洞見(jiàn)（data insigh•±ts）：采用(yòng)機(jī)器(qì)學習(x÷≤↕í)、數(shù)據統計(jì)和(hé)數(shù)據可≤≤∞(kě)視(shì)化(huà)等方法從(cónαπ•γg)海(hǎi)量數(shù)據中找到(dào)人(rén)們并未發現(xi<π★àn)的(de)且有(yǒu)價值的(de)信息的(de≠♣)能(néng)力。數(shù)據科(kē)學強調的(de)是(shì)數(s£>>Ωhù)據洞見(jiàn)——發現(xià>Ω n)數(shù)據背後的(de)信息、知(zhī)識和(♦πhé)智慧以及找到(dào)“被淹沒在海(hǎi)量 ↑數(shù)據中的(de)未知(zhī)數(shù)據”。與數(shù)據挖掘不(bε¶δγù)同的(de)是(shì)，數(shù)據科(kē)學項目的(de)成果可(kě)以直接用→∞(yòng)于決策支持。數(shù)據洞見(jiàn)力的(de)高(gāo)低(dī)♦∑主要(yào)取決于主體(tǐ)的(de)<÷≠數(shù)據意識、經驗積累和(hé)分(fēn)析處理(lǐ)能(néng)力。•↔

（10）數(shù)據驅動（data-driven）：是(shì)相(xiàng)對(duì)于決策驅動、目标驅動、業(yè)務驅動和(hé)模型驅動∑£ 的(de)一(yī)種提法。數(shù)據驅動主要(yào)以數(shù)>✘Ω據為(wèi)觸發器(qì)（出發點）、視(shì)& ‌‌角和(hé)依據，進行(xíng)觀測、控制(zhì)、調整和(hé)整合其他(tā)要(yào)♦≈>♣素——決策、目标、業(yè)務和(hé)模型等，如(rú♠‍ )圖3所示。數(shù)據驅動是(shì)大(dà)數(shù)據時(shí)代的(de)一(yī≥≠∏‍)種重要(yào)思維模式，也(yě)是(shì)業(yè)務數(shù)據化(huà)‌•之後實現(xiàn)數(shù)據業(yè)務化(huà)的(de)關<©ε₹鍵所在。

圖3 常用(yòng)的(de)驅動方式

（11）數(shù)據密集型（data-intensive）σ••應用(yòng)：是(shì)相(xiàng)對(duì)于計(jì)算(¶★suàn)密集型應用(yòng)、I/O密集型應用(yòng)的(de)一(yī)種提法，如(rú'₽)圖4所示。也(yě)就(jiù)是(shì)說(shuō)，數(shù)據密集型應用(yòng÷‍¥)中數(shù)據成為(wèi)應用(yòng)系統研發的(₽ ♦de)主要(yào)焦點和(hé)挑戰。通(tōng)常，數(shù)據密集型應用(yòng)的(≠★de)計(jì)算(suàn)比較容易，但(dàn)數(shù)據具有(yǒu)顯著的(de)複‍∏¶雜(zá)性（異構、動态、跨域和(hé)海(hǎδ₹πi)量等）和(hé)海(hǎi)量性。例如(rú)，當對(duì)PB級複 ₩®★雜(zá)性數(shù)據進行(xíng)簡單查詢時®'(shí)，計(jì)算(suàn)不(↑≠<bù)再是(shì)最主要(yào)的(de)挑戰，而最主要(yào)挑戰來(lái)☆€σ•自(zì)于數(shù)據本身(shēn)₹ 的(de)複雜(zá)性。

圖4 計(jì)算(suàn)密集型應用(yòng)與數(shù)據♦☆σ密集型應用(yòng)的(de)區(qū)别

（12）數(shù)據空(kōng)間(↕≥•jiān)（data space）：主體(tǐ)的(de)數(shù)據空(kōng)間(jiλφān)——與主體(tǐ)相(xiàng)★$ε關的(de)數(shù)據及其關系的(de)集合。主體(tǐ)相(xiàng)關性和(₹₩↔hé)可(kě)控性是(shì)數(shù)據空(kōng)間(→≥∑jiān)中數(shù)據項的(de)基本屬性。

（13）關聯數(shù)據（linked dataπ¶）：一(yī)種數(shù)據發布和(hé)關聯的(de)→♣π≈方法。其中，數(shù)據發布是(shì)指采用(yòng)資源描述框架(r←>>esource definition framework，Ω÷RDF)和(hé)超文(wén)本傳輸協議(yì)(hypertext transfer pφΩ→≥rotocol，HTTP)技(jì)術(shù)÷>¶♥在Web上(shàng)發布結構化(huà)信息；數(shù♥<)據關聯是(shì)指采用(yòng)RDF鏈接技(jì)術(shù)在不(bù)同數(shù)據Ω™©α源中的(de)數(shù)據之間(jiān)建立計(jì)算(suàn)機(jī)可(k"ε✔'ě)理(lǐ)解的(de)互連關系。

2006年(nián), Tim Berners Lee首次提出了(l≠αe)關聯數(shù)據的(de)理(lǐ)念，目的(de)在€₽于不(bù)同資源之間(jiān)建立計(jì)算(suàn)機(jī)可(kě)理(lǐ)解的↑®"(de)關聯信息，最終形成全球性大(dà)數(s↑≤ ≈hù)據空(kōng)間(jiān)。Tim Berners Lee進一(y"↑ī)步明(míng)确提出了(le)關聯數(shù₹ Ω)據技(jì)術(shù)中的(de)數(shù)據發布和(hé)數(shù)據關聯的(↔'₹♠de)4項原則：采用(yòng)統一(yī)資源标識符（uniform resour<γ↑ce identifier, URI）技(jì)術(shù)統一(yī)标識§ 事(shì)物(wù)；通(tōng)過≥✘HTTP URI訪問(wèn)URI标識；當URI被訪問(w≥£×èn)時(shí)，采用(yòng)RDF和(hé)SPAR↓‌♦QL（Simple Protocol and RDF Query Language）标準，提供有§∑(yǒu)用(yòng)信息；提供信息時(shí♣>↔ )，也(yě)提供指向其他(tā)事(shì)物( δ♥wù)的(de)URI，以便發現(xiàn)更多(duō)事(s≈♥hì)物(wù)。

除了(le)上(shàng)述概念之外(wài)，還(hái‌≤)有(yǒu)數(shù)據消減(data reduct↑>ion)、數(shù)據新聞（data journalism）、數(₹‍shù)據的(de)開(kāi)放(fàng≈>✘)獲取（open access）、數(shù)據質量、特征提取等♥£傳統概念也(yě)重新備受關注。

5. 大(dà)數(shù)據生(shēng)命周期管理(lǐ)

在大(dà)數(shù)據平台下(xià)，預處理(lǐ)的($←de)數(shù)據量非常大(dà)，而處理(lǐ)後的(de)有₽§€‍(yǒu)效數(shù)據量往往比較小(xiǎo)，因此，數(shù)據的(Ω>✘de)生(shēng)命周期管理(lǐ)顯得(de)非常重要(y₩↑βào)。

數(shù)據生(shēng)命周期管理(lǐ)（data life-cy§©≠£cle management，DLM）是(shì)一(yī)種基于策略的(de)方β♥¥∑法，用(yòng)于管理(lǐ)信息系統的(de♥α•©)數(shù)據在整個(gè)生(shēng>♦× )命周期內(nèi)的(de)流動：從(cóng)創建和(hé)初始存儲，到(♦&←∏dào)它過時(shí)被删除。（圖5）

圖5 大(dà)數(shù)據生(shēng)命周期管理(lǐ)λ€•概述圖

DLM産品将涉及的(de)過程自(zì)動化(huà)，通(tōng)常根據指定的(de)策略将數'←(shù)據組織成各個(gè)不(bù)同的(de)層，并基于那(nà)'‍☆些(xiē)關鍵條件(jiàn)自(zì)動地(dì)将數(shù)據從(cóng)一(yī)♣ ≥個(gè)層移動到(dào)另一(yī)個(gè)層。作(zuò)為(wèi)∞♣一(yī)項規則，較新的(de)數(shù)據和(hé)那(nà)些(xiē)很φ£§"(hěn)可(kě)能(néng)被更加頻(p δín)繁訪問(wèn)的(de)數(shù)據，應該存儲在更快(kuài)的(de)，并且更昂↑π 貴的(de)存儲媒介上(shàng)，而那(nà)些σ✔×(xiē)不(bù)是(shì)很(hěn)重要(yào)的(de¶£'')數(shù)據則存儲在比較便宜的(de)，稍微(wēi)慢(màn)些(¥ ♣xiē)的(de)媒介上(shàng)。

數(shù)據生(shēng)命周期管理(lǐ)的(de)總體(tǐ)原則在數(shù)據的(de)整個(g↓™ è)生(shēng)命周期中，不(bù)同階段≠₽的(de)數(shù)據其性能(néng)、可(kě)用(yòn£∑g)性、保存等要(yào)求也(yě)不(bù)一(yīε<<)樣。通(tōng)常情況下(xià)，在其生(shēng)命周期初期，數(shù)據的®≤(de)使用(yòng)頻(pín)率較高(gāo)，需要(yào)使用(yòng)高(gā÷‌"÷o)速存儲，确保數(shù)據的(de)高(gāo)可(kě)用(y>λ₹®òng)性。随著(zhe)時(shí)間(jiān)的(∞'de)推移，數(shù)據重要(yào)性會(huì)逐漸φ♣<₽降低(dī),使用(yòng)頻(pín)率會(huì)随之下(xià)降，應将數(shù≤π)據進行(xíng)不(bù)同級别的(de)存儲,為(wèi)其提供适當的(de)可(kě)用€•§‍(yòng)性、存儲空(kōng)間(jiān→♠↓☆)，以降低(dī)管理(lǐ)成本和(hé♦→£)資源開(kāi)銷。最終大(dà)部分(fēn)數(shù)據将不(b×♦‌ ù)再會(huì)被使用(yòng)，可(kě)以将數(shù)據清理(lǐ)後歸檔保存，以備臨®₽§≈時(shí)需要(yào)時(shí)使用(yòng)。（本文(w÷ε≈én)完）

“蘇州月熊信息科技有限公司↑©♦±（簡稱：仁創科(kē)技(jì)）2011年(nián)成立，注冊于蘇州工(gōn₽₹↓g)業(yè)園區(qū)，是(shì)省高(gāo)新₽"$>技(jì)術(shù)企業(yè)、國(gu↓↑₹÷ó)家(jiā)級雙軟認定企業(yè)，♦¥¶©“公司成立伊始就(jiù)緻力于為(wèi)金(jλ"īn)融、電(diàn)信、政府、教育、房(fáng)地(dì≈✘)産、汽車(chē)、電(diàn)子(zǐ)和(hé)制(zhì)造業(yè)等領域提供具∞∏↑有(yǒu)針對(duì)性的(de)企業(yè)管理(lǐ)軟件(ji÷§àn)解決方案，基于先進的(de)條碼技(jì)術₩∞(shù)、PDA/RFID技(jì)術(shù)實現(xiàn×Ω♥©)各類應用(yòng)系統的(de)研發和(hé)項目實施等。 &©在發展過程中，公司與阿爾卡特、Trimble、太古集團（Swire）、M ✔etaldyne、SAP、國(guó)家(jiā)電‍∞₽(diàn)網、蘇州園區(qū)設計(jì)院等 "&國(guó)內(nèi)外(wài)知(zhī)名公司保持著(zhe)緊密的(de)合作(∑βzuò)關系，作(zuò)為(wèi)他(tā)們的(de)戰略核心合作(zuò)夥伴δ∞，我們建立了(le)穩定而強大(dà)的(de)技(jì)術(shù)支持團隊和(hé€ ₩)售後服務隊伍。”随著(zhe)公司業(y‍↓è)務不(bù)斷發展，管理(lǐ)水(shuǐ)平不(bù)斷提>™$高(gāo)，仁創人(rén)持續為(wèi☆←π)客戶提供高(gāo)标準的(de)服務。

公司融© 合軟件(jiàn)系統需求策劃分(fēn)析、軟件(jiàn)系統需求設計(jì)、軟 "≈件(jiàn)系統架構設計(jì)、軟件(jiàn)π♣×λ系統開(kāi)發、軟件(jiàn)系統實施于一(yī)體(tǐ)，以專• 業(yè)的(de)技(jì)術(shù)、國(guó)際水(sh≈¶uǐ)準的(de)設計(jì)理(lǐ)念、突破性的(de)創意思維和(hé)豐富的(✘≥de)設計(jì)經驗與邏輯思維，為(wèπ ÷✘i)客戶提供最佳的(de)軟件(jiàn)系統解決方案。公司服務£™±包括企業(yè)信息化(huà)建設，生(shēng)産執行(xíφ ¶ ng)系統建設，經銷商管理(lǐ)系統建設，采購(gòu)與供應鏈系統實施，客¶Ω戶關系管理(lǐ)系統開(kāi)發，電(diàn)子(☆₽zǐ)商務系統開(kāi)發，移動應用(yòng)軟件(jiàn)開(kā♦ε♠i)發，軟件(jiàn)定制(zhì)化(huà)開(kāi)發'β ©等服務。

上(shàng)一(yī)篇下(xià)一(yī)篇

電(diàn) 話(huà)：	0512-62861650
傳真：	0512-62861651
郵箱：	sales@rench.cn
郵編：	215000
地(dì) 址：	蘇州市(shì)工(gōng)業(yè)園區(qū)獨墅湖(hú)高(gāo)教區(qū)仁★≠₽γ愛(ài)路(lù)166号中國(guó)科(kē)學技(jì)↔£'←術(shù)大(dà)學