奔騰的AGI時(shí)代，每一顆數(shù)據(jù)都值得被尊重。

尤其在金融領(lǐng)域，改變已經(jīng)發(fā)生。數(shù)據(jù)在AGI的加持下，正在重構(gòu)風(fēng)險(xiǎn)管理、投資決策、元宇宙營(yíng)銷等場(chǎng)景，也正在重新定義智能投顧、智能投研、客戶服務(wù)等場(chǎng)景。

但前提是，數(shù)據(jù)留得住、用得好。這既要能做到“顆粒歸倉(cāng)”，將金融票據(jù)影像所產(chǎn)生的數(shù)百億“小文件”數(shù)據(jù)，一個(gè)不少地顆粒歸倉(cāng)；又要能響應(yīng)業(yè)務(wù)需求，1秒鐘內(nèi)就找到并取出指定的數(shù)據(jù)。

目前，金融機(jī)構(gòu)在信貸、承保、理賠等各種業(yè)務(wù)中正源源不斷的產(chǎn)生各種數(shù)據(jù)，其中80%以上是非結(jié)構(gòu)化數(shù)據(jù)，包括：票據(jù)掃描件、憑證掃描件、身份證掃描件、錄音文件、錄像文件、照片、開戶文件等等；而根據(jù)金融行業(yè)法規(guī)要求，銀行錄音錄像資料，至少保留到產(chǎn)品終止日后的6個(gè)月。銀行、保險(xiǎn)的票據(jù)掃描件，需保留15年以上。證券期貨行業(yè)的要求更為嚴(yán)格，相關(guān)資料的保存期限不得少于20年。

長(zhǎng)期以來，金融機(jī)構(gòu)一直采用傳統(tǒng)NAS文件存儲(chǔ)來保存和管理這些影像數(shù)據(jù)，然而，當(dāng)這些影像數(shù)據(jù)不斷爆炸式增長(zhǎng)的時(shí)候，海量影像非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)對(duì)傳統(tǒng)NAS文件存儲(chǔ)架構(gòu)帶來前所未有的挑戰(zhàn)。

挑戰(zhàn)一：海量小文件并發(fā)讀寫響應(yīng)超時(shí)

金融行業(yè)的海量影像數(shù)據(jù)絕大部分是幾十KB或幾百KB的小文件。例如客戶人像（JPEG圖像），大小約15KB，協(xié)議原始文件（PDF文件），每頁約80KB，15秒的簽字錄像文件（AVI視頻），也就900KB。

NAS的傳統(tǒng)樹狀目錄結(jié)構(gòu)在小文件讀寫過程中，存在肉眼可見的天花板，存儲(chǔ)性能隨著文件數(shù)量和目錄層級(jí)的增加逐步下降，文件訪問時(shí)延超過秒級(jí)、甚至查詢卡死。與此同時(shí)，金融行業(yè)對(duì)于數(shù)據(jù)讀寫訪問時(shí)延極為苛刻，眾多保險(xiǎn)公司要求核保的延時(shí)不能超過1秒，眾多證券公司要求查詢文件時(shí)間小于3秒。因此，傳統(tǒng)NAS文件存儲(chǔ)架構(gòu)與金融行業(yè)苛刻的性能要求形成矛盾。

挑戰(zhàn)二：擴(kuò)展能力受限管理復(fù)雜

金融機(jī)構(gòu)海量影像數(shù)據(jù)總量往往增長(zhǎng)迅猛，一個(gè)國(guó)有銀行較大的分行，每天要產(chǎn)生30萬張以上的各類型交易票據(jù)，保險(xiǎn)公司每天可能生成200萬個(gè)以上的電子化文檔，這就涉及數(shù)以億計(jì)，甚至百億計(jì)的海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)。

傳統(tǒng)NAS系統(tǒng)擴(kuò)展能力有限，無法支撐億級(jí)海量文件數(shù)據(jù)的存儲(chǔ)與訪問。只能支撐豎井式的單一業(yè)務(wù)系統(tǒng)，這樣就在系統(tǒng)中產(chǎn)生了不同的數(shù)據(jù)孤島，相互之間數(shù)據(jù)難以流動(dòng)，導(dǎo)致后臺(tái)數(shù)據(jù)管理極其復(fù)雜。

挑戰(zhàn)三：合規(guī)與業(yè)務(wù)連續(xù)性挑戰(zhàn)

金融行業(yè)的合規(guī)性要求影像文件存儲(chǔ)系統(tǒng)提供較高的系統(tǒng)可靠性和數(shù)據(jù)可用性，保障前端業(yè)務(wù)系統(tǒng)連續(xù)運(yùn)營(yíng)。根據(jù)《商業(yè)銀行業(yè)務(wù)連續(xù)性監(jiān)管指引》，金融機(jī)構(gòu)重要業(yè)務(wù)RTO不得大于4小時(shí)，重要業(yè)務(wù)RPO不得大于半小時(shí)。

對(duì)象存儲(chǔ)應(yīng)對(duì)海量數(shù)據(jù)挑戰(zhàn)

老問題打開新思路

對(duì)象存儲(chǔ)完美解決了傳統(tǒng)NAS文件存儲(chǔ)在應(yīng)對(duì)海量文件數(shù)據(jù)存儲(chǔ)遇到的難題。對(duì)象存儲(chǔ)以對(duì)象（Object）的方式來管理數(shù)據(jù)，每個(gè)對(duì)象包括數(shù)據(jù)本身、元數(shù)據(jù)和一個(gè)全局唯一的標(biāo)識(shí)符，對(duì)象存儲(chǔ)通過扁平化的結(jié)構(gòu)設(shè)計(jì)，替代傳統(tǒng)的文件系統(tǒng)層次，大大提升了海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和管理效率。

基于對(duì)象存儲(chǔ)的金融影像數(shù)據(jù)存儲(chǔ)方案，構(gòu)建了一個(gè)可無縫擴(kuò)展至海量數(shù)據(jù)規(guī)模的海量影像數(shù)據(jù)存儲(chǔ)池，性能穩(wěn)定可無縫擴(kuò)展，還可實(shí)現(xiàn)方便的統(tǒng)一管理。通過對(duì)象存儲(chǔ)對(duì)接金融影像數(shù)據(jù)平臺(tái)，輕松應(yīng)對(duì)影像數(shù)據(jù)的存檔、搜索、分類、處理、安全保密和歸檔保存等一系列工作。

但是，當(dāng)文件數(shù)量極速增長(zhǎng)，對(duì)象存儲(chǔ)單桶對(duì)象數(shù)往往會(huì)超過千億規(guī)模，對(duì)象存儲(chǔ)元數(shù)據(jù)的管理就會(huì)變得極其復(fù)雜，這時(shí)對(duì)象存儲(chǔ)同樣會(huì)面臨性能下降的問題。新華三又是怎樣解決對(duì)象存儲(chǔ)的性能瓶頸問題呢？

                                                                                                              系統(tǒng)優(yōu)化提升性能

                                                                                                              新華三的獨(dú)門秘籍

基于行業(yè)領(lǐng)先的分布式對(duì)象存儲(chǔ)技術(shù)，新華三金融行業(yè)票據(jù)影像場(chǎng)景化方案，可滿足金融用戶海量小文件存取、海量文件查詢、備份以及管理需求。其優(yōu)勢(shì)如下：

海量小文件毫秒級(jí)讀?。?/p>

X10000可通過高速緩存池大幅提升元數(shù)據(jù)訪問性能，從而提升整體系統(tǒng)性能。同時(shí)，在小文件數(shù)據(jù)寫入的時(shí)候，可將4K、8K、64K小文件IO聚合成為大IO，一次性順序?qū)懭氲絊SD，減少了糾刪碼場(chǎng)景下的寫懲罰和數(shù)據(jù)落盤次數(shù)，從而大幅提升小文件讀寫性能。此外，全局順序?qū)憣⒚恳粋€(gè)新數(shù)據(jù)都追加寫到硬盤的空閑空間，最大程度避免了SSD數(shù)據(jù)改寫時(shí)造成的寫放大，實(shí)現(xiàn)全局SSD盤的磨損均衡提升使用壽命。

經(jīng)過優(yōu)化后的X10000對(duì)象存儲(chǔ)，64k小對(duì)象上傳和下載性能，均提升300%以上；且單桶對(duì)象存儲(chǔ)規(guī)模達(dá)到百億級(jí)別，性能波動(dòng)小于10%。

SOM管理芯片提升系統(tǒng)穩(wěn)定性：

傳統(tǒng)分布式存儲(chǔ)集群一般采用心跳報(bào)文的機(jī)制進(jìn)行故障檢測(cè)，一個(gè)節(jié)點(diǎn)出現(xiàn)故障，需要多數(shù)節(jié)點(diǎn)都有所感知，并“舉手表決”，才能將其剔除隔離，存在較嚴(yán)重的延時(shí)和不確定的情況。

新華三最新X10000 G6系統(tǒng)上集成了一塊SOM嵌入式設(shè)備管理芯片，通過SOM與其他節(jié)點(diǎn)進(jìn)行通訊，以中斷的方式快速感知節(jié)點(diǎn)故障，將被動(dòng)的超時(shí)隔離機(jī)制調(diào)整為主動(dòng)的中斷上報(bào)機(jī)制，從而快速完成節(jié)點(diǎn)故障隔離，節(jié)點(diǎn)故障隔離的時(shí)間可以縮短到5s以內(nèi)，實(shí)現(xiàn)極致穩(wěn)定。

多站點(diǎn)方案保障業(yè)務(wù)連續(xù)性：

除此之外，新華三多站點(diǎn)方案還可滿足業(yè)務(wù)連續(xù)性要求——支持異地多活；支持以桶為粒度控制對(duì)象存儲(chǔ)數(shù)據(jù)的同步策略。而且生產(chǎn)存儲(chǔ)故障，業(yè)務(wù)可自動(dòng)切換至容災(zāi)站點(diǎn)，RPO縮短至分鐘級(jí)（RPO最低1min，容災(zāi)等級(jí)達(dá)到level 4級(jí)別）。

                                                                                                              助力AGI時(shí)代

                                                                                                           智慧金融高速發(fā)展

新華三金融行業(yè)票據(jù)影像場(chǎng)景化方案，正憑借高擴(kuò)展性、高性能、高可用、操作簡(jiǎn)單、成本低廉等優(yōu)勢(shì)，幫助用戶擺脫“拼湊”式的傳統(tǒng)技術(shù)架構(gòu)，徹底解決非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)問題。其正在為金融科技的場(chǎng)景創(chuàng)新奠定數(shù)據(jù)基礎(chǔ)，也正為金融服務(wù)的高速發(fā)展注入AGI基因。

• 上一篇：H3C智算，AI大方向落地
• 下一篇：盒式園區(qū)S交換機(jī)尺寸規(guī)格與掛耳情況