• <xmp id="wgksg"><samp id="wgksg"></samp>
  • <blockquote id="wgksg"></blockquote>
  • 400-650-7353

    精品課程

    您所在的位置:首頁 > IT干貨資料 > 大數據 > 【大數據基礎知識】Hadoop之HDFS概述

    【大數據基礎知識】Hadoop之HDFS概述

    • 發布: 大數據培訓
    • 來源:大數據干貨資料
    • 2021-03-03 10:44:32
    • 閱讀()
    • 分享
    • 手機端入口

    隨著我們業務數據量越來越大,在一個操作系統管轄的范圍內存不下了,那么就需要分配到更多的操作系統管理的磁盤中。但是這給我們帶來的一個問題就是,更多的操作系統非常不方便集中管理和維護。這時迫切需要一種系統來管理多臺機器上的文件,這就產生了分布式文件管理系統。HDFS只是分布式文件管理系統中的一種。

    HDFS(Hadoop Distributed File System),它是一個分布式文件管理系統。一是,用于存儲文件,通過目錄樹來定位文件;其次,它是分布式的,由很多服務器聯合起來實現其功能,并且集群中的服務器有各自的角色。集群不一定是分布式的,但是分布式一定是集群。HDFS的設計適合一次寫入,多次讀出的場景,但不支持文件的修改。HDFS適合用來做數據分析,并不適合用來做網盤應用。

    下面我們來看下HDFS的優缺點吧。

    HDFS優點:

    (1) 高容錯性

    a)每份數據都自動保存多個副本。HDFS正是通過增加副本的的方式來提高容錯性;

    b)如果某個副本丟失,HDFS還可以自動恢復。

    (2) 適合大數據處理

    (a)數據規模:能夠處理數據規模達到GB、TB、甚至PB級別的數據;

    (b)文件規模:能夠處理百萬規模以上的文件數量,數量相當之大。

    (3) 流式數據訪問,它能保證數據的一致性。

    (4) 可構建在廉價機器上,通過多副本機制,提高可靠性。這一點也是HDFS的突出優勢,高性能的集群無需采用價格高昂的服務器,而是構建在廉價的機器上呢。

    HDFS缺點:

    (1) 不適合低延時數據訪問,比如毫秒級的存儲數據,是做不到的。

    (2) 無法高效的對大量小文件進行存儲。

    a) 存儲大量小文件的話,它會占用NameNode大量的內存來存儲文件、目錄和塊信息。這樣是不可取的,因為NameNode的內存畢竟是有限的。

    b) 小文件存儲的尋址時間會超過讀取時間,它違反了HDFS的設計目標。

    (3) 不支持并發寫入、文件隨機修改。

    a) 一個文件只能有一個寫,不允許多個線程同時寫;

    b) 僅支持數據append(追加),不支持文件的隨機修改。

    課程好禮申請領取
    您的姓名
    您的電話
    意向課程
     

    中公優就業

    官方QQ

    掃描上方二維碼或點擊一鍵加群,免費領取價值599元網課,加群暗號:599。 一鍵加群

    >>本文地址:
    注:本站稿件未經許可不得轉載,轉載請保留出處及源文件地址。

    推薦閱讀

    優就業:ujiuye

    關注中公優就業官方微信

    • 關注微信回復關鍵詞“大禮包”,領80G學習資料
    QQ交流群
    領取免費網課
    (加群備注“網站”)
    IT培訓交流群 加入群聊 +
    軟件測試 加入群聊 +
    全鏈路UI/UE設計 加入群聊 +
    Python+人工智能 加入群聊 +
    互聯網營銷 加入群聊 +
    Java開發 加入群聊 +
    PHP開發 加入群聊 +
    VR/AR游戲開發 加入群聊 +
    大前端 加入群聊 +
    大數據 加入群聊 +
    Linux云計算 加入群聊 +
    優就業官方微信
    掃碼回復關鍵詞“大禮包”
    領取80G學習資料

    測一測
    你適合學哪門IT技術?

    1 您的年齡

    2 您的學歷

    3 您更想做哪個方向的工作?

    獲取測試結果
     
    課程資料、活動優惠 領取通道
     
     
    A级毛片毛片免费观看久,A毛看片免费观看视频,毛片曰本女人牲交视频视频