<span id="h9j9p"><th id="h9j9p"><th id="h9j9p"></th></th></span>
<sub id="h9j9p"><listing id="h9j9p"></listing></sub>

    <noframes id="h9j9p"><form id="h9j9p"></form>
    <form id="h9j9p"></form>
      <sub id="h9j9p"><dfn id="h9j9p"><menuitem id="h9j9p"></menuitem></dfn></sub>

      <form id="h9j9p"><nobr id="h9j9p"><meter id="h9j9p"></meter></nobr></form>
        400-650-7353

        精品課程

        您所在的位置:首頁 > IT干貨資料 > 大數據 > 【大數據基礎知識】Hadoop之HDFS概述

        【大數據基礎知識】Hadoop之HDFS概述

        • 發布: 大數據培訓
        • 來源:大數據干貨資料
        • 2021-03-03 10:44:32
        • 閱讀()
        • 分享
        • 手機端入口

        隨著我們業務數據量越來越大,在一個操作系統管轄的范圍內存不下了,那么就需要分配到更多的操作系統管理的磁盤中。但是這給我們帶來的一個問題就是,更多的操作系統非常不方便集中管理和維護。這時迫切需要一種系統來管理多臺機器上的文件,這就產生了分布式文件管理系統。HDFS只是分布式文件管理系統中的一種。

        HDFS(Hadoop Distributed File System),它是一個分布式文件管理系統。一是,用于存儲文件,通過目錄樹來定位文件;其次,它是分布式的,由很多服務器聯合起來實現其功能,并且集群中的服務器有各自的角色。集群不一定是分布式的,但是分布式一定是集群。HDFS的設計適合一次寫入,多次讀出的場景,但不支持文件的修改。HDFS適合用來做數據分析,并不適合用來做網盤應用。

        下面我們來看下HDFS的優缺點吧。

        HDFS優點:

        (1) 高容錯性

        a)每份數據都自動保存多個副本。HDFS正是通過增加副本的的方式來提高容錯性;

        b)如果某個副本丟失,HDFS還可以自動恢復。

        (2) 適合大數據處理

        (a)數據規模:能夠處理數據規模達到GB、TB、甚至PB級別的數據;

        (b)文件規模:能夠處理百萬規模以上的文件數量,數量相當之大。

        (3) 流式數據訪問,它能保證數據的一致性。

        (4) 可構建在廉價機器上,通過多副本機制,提高可靠性。這一點也是HDFS的突出優勢,高性能的集群無需采用價格高昂的服務器,而是構建在廉價的機器上呢。

        HDFS缺點:

        (1) 不適合低延時數據訪問,比如毫秒級的存儲數據,是做不到的。

        (2) 無法高效的對大量小文件進行存儲。

        a) 存儲大量小文件的話,它會占用NameNode大量的內存來存儲文件、目錄和塊信息。這樣是不可取的,因為NameNode的內存畢竟是有限的。

        b) 小文件存儲的尋址時間會超過讀取時間,它違反了HDFS的設計目標。

        (3) 不支持并發寫入、文件隨機修改。

        a) 一個文件只能有一個寫,不允許多個線程同時寫;

        b) 僅支持數據append(追加),不支持文件的隨機修改。

        學習疑問申請解答
        您的姓名
        您的電話
        意向課程
         

        中公優就業

        IT小助手

        掃描上方二維碼添加好友,請備注:599,享學習福利。

        >>本文地址:
        注:本站稿件未經許可不得轉載,轉載請保留出處及源文件地址。

        推薦閱讀

        優就業:ujiuye

        關注中公優就業官方微信

        • 關注微信回復關鍵詞“大禮包”,享學習福利
        QQ交流群
        在線疑問解答
        (加群備注“網站”)
        IT培訓交流群 加入群聊 +
        軟件測試 加入群聊 +
        全鏈路UI/UE設計 加入群聊 +
        Python+人工智能 加入群聊 +
        互聯網營銷 加入群聊 +
        Java開發 加入群聊 +
        PHP開發 加入群聊 +
        VR/AR游戲開發 加入群聊 +
        大前端 加入群聊 +
        大數據 加入群聊 +
        Linux云計算 加入群聊 +
        優就業官方微信
        掃碼回復關鍵詞“大禮包”
        享學習福利

        測一測
        你適合學哪門IT技術?

        1 您的年齡

        2 您的學歷

        3 您更想做哪個方向的工作?

        獲取測試結果
         
        課程資料、活動優惠 領取通道
         
         
        亚洲日韩中文字幕一区
        <span id="h9j9p"><th id="h9j9p"><th id="h9j9p"></th></th></span>
        <sub id="h9j9p"><listing id="h9j9p"></listing></sub>

          <noframes id="h9j9p"><form id="h9j9p"></form>
          <form id="h9j9p"></form>
            <sub id="h9j9p"><dfn id="h9j9p"><menuitem id="h9j9p"></menuitem></dfn></sub>

            <form id="h9j9p"><nobr id="h9j9p"><meter id="h9j9p"></meter></nobr></form>