軟件定義時代,存儲行業的“百家爭鳴”(上)

0 評論 1786 瀏覽 6 收藏 25 分鐘

全球軟件定義存儲市場年復合增長率逐漸上升,市場規模逐漸擴大,并且將持續保持高速增長,其中北美仍是軟件定義存儲的主要市場,全行業都表現為軟件定義存儲的發展趨勢,呈現出“百家爭鳴”的格局。這篇文章就讓我們一起來深入了解一下存儲行業的軟件定義時代吧。

數據容量的持續增加、應用場景的不斷豐富、AI的滲透,是存儲行業長久增長的核心驅動。

具體來說,存儲的發展涉及到硬件介質、通信、傳輸、協議、接口、軟件等組成部分的持續演進,其中,針對海量數據存儲要求的大容量、高性能、智能化處理,為軟件廠商帶來更多競爭角度和機會;軟件定義存儲,一方面是定義功能,另一方面是定義性能,既有面向硬件的持續優化,也有面向場景的無限延伸,因此從供給來看,廠商也呈現出“百家爭鳴”的格局。

在此格局之下,“小場景,大行業”的差異化競爭策略成為重要的路線選擇,為未來增長和競爭持續助力。

本報告由勢乘資本和光錐智能聯合發布,目錄如下:

軟件定義時代,存儲行業的“百家爭鳴”|深度研報

核心觀點:

1. 存儲技術從介質、傳輸、協議、接口、軟件等呈現持續快速迭代的趨勢,每個構成部分的發展速度不一,數據孤島、煙囪式擴容、被硬件廠商綁定帶來的成本高企等成為大數據量企業格外顯著的痛點,穩定性、擴展性、成本、與業務時效要求相匹配的性能都成為客戶的選型指標,針對歷史體量和增量的數據需求,以及被硬件廠商持續綁定的局面,給軟件定義與超融合帶來持續的機會。

存儲整體技術革新方向:

軟件定義時代,存儲行業的“百家爭鳴”|深度研報

2. 極致成本與極致性能是典型的業務走向,全面閃存化大勢所趨,深刻影響分布式存儲的技術方向。

3. 存儲與PaaS層連接緊密,市場集中度高,如華為擁有背景、行業沉淀和生態,在獲客能力和生態合作上擁有絕對優勢,初創廠商要生存,需要找到和巨頭競爭的點。

4. 軟件定義細分的技術方向不同,適用的場景和各自優勢不同,細分技術適用性+場景需求匹配可以驅動廠商快速增長;基于開源技術的迭代和優化,工程化及軟件成熟度有一定保證,相當于站在巨人的肩膀上,對于研發進度、交付成本等的優化會更好,因此起量會相對較快。

5. 競爭激烈將導致毛利率下降,產品化程度需要高或者面向行業找到核心抓手,守住自身護城河;但同時收入增長快、毛利率下降的現狀也同時說明產業在快速增長和競爭。

a.基礎要求:穩定性、可靠性、性能、易用性。

6. 初創廠商鲇魚效應:現階段傳統存儲基于傳統架構的強綁定銷售是增收的來源,軟件定義存儲帶來的格局重塑倒逼巨頭的布局,因此會根據市場動態調整自身策略;初創廠商沒有歷史包袱,因此可以大力創新。

7. 數據智能時代需要廠商具備全生命周期的賦能,需要持續迭代功能,面向創新需要更加開放;比如圖像識別、挖掘學習、私有云、容器等新技術的場景。

a.數據的生命周期分為采集、傳輸、存儲、處理、交換和銷毀六個階段,在各個階段對于核心技術能力訴求不一,但客戶以一般以整體需求為導向,因此需要一定程度的外圍組件研發工作和流程上的延伸。

8. 廠商需面向客戶持續提供核心價值:可靠性-丟包、斷掉、讀??;性能;豐富的功能:可以存什么東西,匹配什么場景,具備什么功能,用戶有自身選擇;新興初創廠商取勝關鍵唯有創新,但是持續研發和迭代無止境,基于標準化和通用化場景的研發虧損巨大。

9. 初創廠商基于創新的發展道路短期無法盈虧平衡,需要在收入和產品上給予更多關注,如客戶場景不能測試,唯有依靠自身部署機器測試,采購+測試+研發+交付,整體成本高昂,帶給存儲廠商現金流和虧損壓力,融資要跟上;要配置研發的團隊,有標準的內部測試流程和外部獲客策略,積累足夠的測試用例是產品自信的有效途徑。

a.發展路徑:高度產品化、可靠的方案、長期的價值、具備可挖掘的能力。

10. 軟件成長之路依靠巨大資金投入與人力投入,以及周期,性能和功能優化是系統工程,軟件可以克服硬件的邊界,豐富功能和應用,但是軟件功能完整、成熟,私有云普及之前,依然要依靠高性能介質硬件等,因此SSD和新一代存儲介質目前依然會快速增長,性能和方案穩定等的保證方面,主控芯片仍然會占主流。但與此同時,存儲層面需求總體來說較為簡單,軟件的優勢在于可以持續做漸進式的演變,疊加功能和方案,集成硬件出貨,因此起量比其他infra公司會更有保證。

一、海量數據+豐富場景是長久驅動

(一)數據規模擴大引起存儲擴容的需求

據互聯網數據中心(IDC)預測,全球數據量將從2018年的33ZB增至2025年的175ZB,增長超過5倍;中國平均增速快于全球3%,預計到2025年將增至48.6ZB,占全球數據量的比例由23.4%提升至27.8%。其中,中國企業級數據量將從2015年占中國數據量的49%增長到2025年的69%。

軟件定義時代,存儲行業的“百家爭鳴”|深度研報

(二)非結構化數據成為數據增長主流

互聯網興起,數據創造的主體由企業逐漸轉向個人用戶,個人所產生的絕大部分數據均為圖片、文檔、視頻等非結構化數據,企業辦公流程更多通過網絡實現,表單、票據等都實現了以非結構化為主的數字化存檔。到2023年,中國的數據量超過80%是非結構化數據,成為數據主流。

場景創新帶來更多業務數據,比如自動駕駛、超高清、IOT等業務場景將帶來更多數據;以大視頻、備份歸檔為代表的業務,數據量大,價值密度相對較低,發展趨勢為高密度、低成本介質,追求極致成本與極致性能是典型的業務走向;以自動駕駛為例,研發過程中,每一輛測試車輛每天產生的數據在10TB到64TB之間,而這些數據需要在24小時之內完成分析,并且研發過程累積的數百PB數據需要保存30年以上。

(三)數據存儲的要求:長期保存、持久化保存、分門別類地治理。

數據分析和處理產生的倍增數據存儲需求;隨著數據大集中、數據挖掘、商業智能、協同作業等大數據處理技術的日趨成熟,數據價值呈指數上升趨勢。

軟件定義時代,存儲行業的“百家爭鳴”|深度研報

資料來源:HGST

大數據技術發展變革,隨數據量增長與分析的需求,伴隨更多的技術演進趨勢與公司出現。

軟件定義時代,存儲行業的“百家爭鳴”|深度研報

資料來源:中國信通院

(四)自主可控相關政策將驅動2023-2027年存儲行業高增長

2022年,9月底下發的79號文,全面指導國資信創產業發展和進度,要求所有央企+地方國企落實信創全替代,受益于信創概念,市場普遍認為,未來五年是“大信創”發展的關鍵時期,發展空間廣闊。

79號文的核心內容歸納如下:

  1. 全面替換(OA、門戶、郵箱、紀檢、黨建、檔案管理);
  2. 應替就替(戰略決策、ERP、風控管理、CRM經營管理系統);
  3. 能替就替(生產制造、研發系統);
  4. 2027年100%完成。

信創為全產業鏈廠商帶來發展機遇;硬件、軟件、安全均為企業整體替換方案的重要組成。

軟件定義時代,存儲行業的“百家爭鳴”|深度研報

數據來源:眾誠智庫、天風證券

二、存儲重要性闡述:存儲系統是IT系統中的核心

數據智能時代,數據存儲的三大需求:EB級容量、億級IOPS(每秒進行讀寫操作的次數,Input/Output Operations Per Second)和智能管理。

  1. 存儲是計算和通信的起點。存儲系統的穩定性將影響到整個業務系統的正常運營,存儲系統如出現數據丟失、宕機將對業務系統連續性產生致命影響。
  2. 存儲系統的性能將影響到整個業務系統的效率,存儲系統的讀取速度將決定數據存儲與提取效率,直接影響業務系統的效率。
  3. 存儲系統的擴展能力將決定整個業務系統的擴展性,隨著大數據時代到來,數據量爆發也對存儲系統的可擴展性提出了更高要求,擴展能力將成為存儲設備能夠支撐數據生產型業務的必要指標之一。

三、存儲系統構成

軟件定義時代,存儲行業的“百家爭鳴”|深度研報

(一)存儲部件-硬件

1.存儲介質:

依據存儲介質不同,存儲系統可分為磁盤存儲、全閃存儲、混閃存儲、磁帶庫、光盤庫等。最常見的是以HDD和SSD為介質的存儲系統。HDD為磁頭、磁盤、馬達組成的機械結構,SSD主要以閃存為存儲介質。

(1)存儲介質性能衡量基準:存儲性能委員會(SPC)的SPC-1基準。

(2)全閃存儲為存儲行業的技術發展方向:更低的時延、更低的功耗、更低的故障率。

軟件定義時代,存儲行業的“百家爭鳴”|深度研報

(3)SSD固態硬盤結構及功能:

軟件定義時代,存儲行業的“百家爭鳴”|深度研報

資料來源:華西證券

全閃存儲(AFA):指全部以固態硬盤為永久存儲介質的存儲;全閃存儲性能優異,但價格也較高,同時呈現連年下降趨勢。

軟件定義時代,存儲行業的“百家爭鳴”|深度研報

  1. SSD需要高性能,定制化需求提升;客戶特殊需求體現在固件和控制器上。
  2. 前期普及的閃存主要應用于核心業務場景,提升業務響應效率。
  3. SSD其他相關廠商:得一微電子、國科微、聯蕓科技、點序科技、憶芯科技、英韌等。

混閃存儲(HFA):指永久存儲介質同時含有磁盤和閃存盤的存儲;與全閃存儲相比,混閃存儲在性能和價格上進行了一定折中。

磁帶庫和光盤庫:指以磁帶或光盤為存儲介質,由驅動器及其控制器組成的存儲設備;單位存儲空間
價格較低,支持冷數據的長期保存,但讀寫性能不高。

EDSFF(Enterprise&Data Center SSD Form Factor,企業和數據中心固態硬盤規格)以高密度、易管理、高效率的優勢成為固態硬盤外觀發展的新趨勢。EDSFF 是面向云服務、企業數據中心的NVMe SSD新形態標準,與傳統SSD相比具備高吞吐、低延遲、強擴展性的特性。同時在性能、散熱、功耗等方面都做統一的改進,更易適用于大容量、高密度的全閃存儲陣列。

(1)2020年Q1-Q3中國存儲市場中全閃存儲占比18.2%,且全閃存存儲的增速較快,較2019年Q1-Q3同比增長20%。

軟件定義時代,存儲行業的“百家爭鳴”|深度研報

(二)接口&協議

1.帶寬增加,延時降低,高性能和低延時需求促使NVMe協議應運而生。

早期HDD屬于慢速設備,具有順序讀寫的特點,主機和HDD和早期SSD之間通過單隊列進行數據交互,傳輸協議一般采用AHCI(高級主機控制器接口,Advanced Host Controller Interface)。

隨著存儲介質的演進,SSD可以同時從多個不同位置讀取數據,具有高并發性,SSD盤的IO帶寬越來越大,訪問延時越來越低。AHCI協議已經不能滿足高性能和低延時SSD的需求,因此,存儲系統迫切需要更快、更高效的協議和接口,NVMe(NVM Express)協議應運而生。

  1. NVMe協議具備高吞吐、高IOPS以及低延遲的優勢。在吞吐量方面,基于NVMe的驅動器的吞吐量可實現高達16Gbps,未來32Gbps或更高吞吐量產品的應用將成為未來發展的主流趨勢。
  2. 在IO方面,許多基于NVMe的驅動器,其IOPS可以超過50萬,部分可提供150萬、200萬甚至1000萬IOPS。在低延時方面,許多驅動器的延遲低于20微秒,部分低于10微秒。因此,NVMe SSD憑借卓越的性能,在2018到2023年之間以38%的復合增長率加速增長,成為云客戶、OEM廠商和企業存儲數據的首選設備。
  3. 目前SSD產品主要使用的接口模塊大多適用SATA及PCIe,部分使用SAS接口。其中PCIe具備更好的帶寬速度,SATA接口+AHCI協議被PCIe接口+NVMe協議逐步取代是技術趨勢。
  4. PCIe(Peripheral Component Interconnect Express)是繼ISA和PCI總線之后的第三代I/O總線,是一種設備高速連接標準,具備數據傳輸速率高,抗干擾能力強,傳輸距離遠,功耗低等優點。

軟件定義時代,存儲行業的“百家爭鳴”|深度研報

PCIe的不斷提速,對于數據中心、工控等各個領域影響非同一般,但在功能實現上需要考慮的問題也很多,包括散熱、供電等方面的考慮。

(三)組網(傳輸介質)

組網類型:IP組網仍然是最主流的組網類型,組網類型的選用取決于成本和效率的綜合平衡。

主要硬件設備:交換機、路由器,新華三、華為等市場份額較高,成熟公司為主。

  1. IP組網存儲:指采用以太網技術進行組網的存儲設備,常見速率包括1Gb、10Gb、25Gb、100bG等;IP組網的兼容性較好,建設成本較低。
  2. FC組網存儲:指采用FC光纖技術進行組網的存儲設備,常見速率包括8Gb、16Gb、32Gb等;FC組網的效率較高,但采購成本和維護難度也相對較高,普及率不及IP。
  3. IB組網存儲:指采用InfiniBand技術進行組網的存儲設備,常見速率包括40Gb、56Gb、100Gb、200Gb等;IB組網的延遲較低、速率較高,但采購成本相對較高,組網的擴展性也較弱。

當前的主流的數據中心網絡都是要解決多個異構系統的互聯問題,即使是單一的大規模應用場景,包括云計算、大數據等,主流也都是以高吞吐量場景,也就是多個節點做多個事情,對節點之間的通信延遲沒有很高的要求,更看重的是靈活的接入與擴容。

所以這些場景用以太網就非常合適。目前IP組網屬于非常成熟和可靠的技術,應用廣泛,面向大中小型客戶,屬于占到90%以上的主流組網方式。

(四)存儲類型

  • 文件存儲:指自身構建文件系統后,通過互通的網絡提供給服務器或應用軟件使用,支持數據文件讀寫和文件共享服務的存儲設備。文件存儲的常用協議包括NFS、CIFS、FTP等。
  • 塊存儲:指將物理存儲介質上的物理空間按照固定大小的塊組成邏輯盤,并直接映射空間給服務器使用的存儲設備。塊存儲的常用協議包括SCSI、iSCSI、NVMe等。
  • 對象存儲:指采用扁平化結構,將文件和元數據包裝成對象,并抽象成網絡URL(統一資源定位器,Uniform Resource Locator),通過HTTP(超文本傳輸協議,Hypertext Transfer Protocol)協議直接訪問的存儲設備。對象存儲的常用協議包括S3、SWIFT等。
  • 其它存儲協議:包括在大數據存儲中廣泛使用的HDFS協議,以及表存儲協議等。

軟件定義時代,存儲行業的“百家爭鳴”|深度研報

(五)軟件定義存儲-早期主流技術路線對比

主要軟件對比:

FC SAN、IP SAN都要有存儲管理軟件(如卷管理、數據的快照、鏡像、備份、恢復、歸檔等等)。

軟件定義時代,存儲行業的“百家爭鳴”|深度研報

數據來源:51CTO

主要廠商:

國內SDS產品基于開源路線為主,Ceph占絕對多數,其他有Gluster和BeeGFS。發展到現在,針對場景的代碼沉淀逐漸增加,自研程度持續提升,滿足自主可控的訴求。

(1)巨頭企業

  • 華為:FusionStorage(參考Ceph,塊存儲)、OecanStor 9000(參考Ceph,文件存儲)
  • 浪潮:AS13000(開源Ceph,重點是文件存儲)
  • 新華三:OneStor(開源Ceph,塊和對象存儲)
  • 曙光:Parastor(自研,文件系統,HPC場景)
  • 深信服:EDS(開源Gluster+Ceph,塊存儲、文件和對象存儲)

(2)初創廠商

  • TaoCloud:XDFS(開源Gluster,以文件存儲為主),FASS(自研,新一代全閃塊存儲)
  • XSKY星辰天合:SDS系列產品(開源Ceph,塊和對象存儲)
  • 杉巖:SDS系列產品(開源Ceph,塊和對象存儲)
  • 鵬云:ZettaStor DBS(自研,塊存儲)
  • 霄云:BOSS(自研,統一存儲)
  • 焱融:YRCloudFile(自研,文件存儲)
  • 龍存:Loong系列(自研,文件系統,HPC場景)

附:關于Ceph

存儲根據其類型,可分為塊存儲,對象存儲和文件存儲。在主流的分布式存儲技術中,HDFS/GPFS/GFS屬于文件存儲,Swift屬于對象存儲,而Ceph可支持塊存儲、對象存儲和文件存儲,故稱為統一存儲。Ceph也是應用最廣泛的開源分布式存儲平臺。

  • Ceph的優點:存儲功能;利用存儲節點的計算能力,在存儲每一個數據時,都會通過計算得出該數據存儲的位置,盡量將數據分布均衡;由于采用了CRUSH、HASH等算法,使得它不存在傳統的單點故障,且隨著規模的擴大,性能并不會受到影響。
  • Ceph的主要架構:

軟件定義時代,存儲行業的“百家爭鳴”|深度研報

資料來源:InfoQ

  • Ceph最初的功能模塊:

軟件定義時代,存儲行業的“百家爭鳴”|深度研報

  • Client客戶端:負責存儲協議的接入,節點負載均衡。
  • MON監控服務:負責監控整個集群,維護集群的健康狀態,維護展示集群狀態的各種圖表,如OSD Map、Monitor Map、PG Map和CRUSH Map。
  • MDS元數據服務:負責保存文件系統的元數據,管理目錄結構。
  • OSD存儲服務:主要功能是存儲數據、復制數據、平衡數據、恢復數據,以及與其它OSD間進行心跳檢查等。一般情況下一塊硬盤對應一個OSD。

作者:王圓珍

來源公眾號:光錐智能(ID:guangzhui-tech),前沿科技,數智經濟。

本文由人人都是產品經理合作媒體 @光錐智能 授權發布,未經許可,禁止轉載。

題圖來自Unsplash,基于 CC0 協議。

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!