一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

“技術(shù)故障”背刺巴菲特,金融大模型到底靠不靠譜?

愛云資訊 ? 2024-06-28 23:05 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

一個“技術(shù)問題”,導(dǎo)致巴菲特的伯克希爾-哈撒韋公司股價暴跌近100%。

想必很多小伙伴已經(jīng)感受過了這則鋪天蓋地的消息,所帶來的億點點震撼。

而根據(jù)事后的消息來看,這個大故障是紐交所的合并報價系統(tǒng)(CTA)在更新軟件時出現(xiàn)了問題。

許多專家都對此做了分析,有人認為是CTA軟件在進行版本更新時出現(xiàn)了數(shù)據(jù)一致性問題;也有人提出最大的問題應(yīng)該是出現(xiàn)在了數(shù)據(jù)庫。

但總而言之,這并非是紐交所今年來第一次出現(xiàn)的故障,而是眾多里的一個:

wKgaomZ-0TeACn4EAAEmBP8e0N8243.jpg

甚至某開源數(shù)據(jù)庫聯(lián)合創(chuàng)始人Jason直言不諱地表示:

>紐交所在CTA軟件上相關(guān)的IT水平還不及中國的大型金融機構(gòu)和互聯(lián)網(wǎng)公司,在中國已經(jīng)很少會發(fā)生這種低級錯誤了。

即便如此,這也不禁令人產(chǎn)生更大的顧慮和擔憂——

傳統(tǒng)軟件問題尚能引發(fā)如此大的問題,那么站在大模型時代當下,AI+金融,是否又能做到準確可信?

正所謂實踐是檢驗真理唯一標準,要回答的這個問題,我們不妨了解一下已經(jīng)在金融領(lǐng)域“上崗”了的AI大模型。

大模型上崗金融,都在做什么?

誠然AI大模型的發(fā)展已然呈現(xiàn)勢不可擋的趨勢,但在金融領(lǐng)域真正應(yīng)用的時候,依舊存在一些顯著的困難和挑戰(zhàn)。

例如數(shù)據(jù)隱私和安全方面,金融數(shù)據(jù)往往高度敏感,涉及個人和企業(yè)的財務(wù)信息,確保數(shù)據(jù)隱私和安全是首要挑戰(zhàn)之一。

并且這些數(shù)據(jù)具有多源和異構(gòu)的特點,需要進行有效的整合和處理,才能確保它們的準確性和完整性。

再如模型本身,大模型往往被視為“黑箱”,因為其內(nèi)部決策過程難以解釋;在金融領(lǐng)域,尤其是涉及風險管理和監(jiān)管合規(guī)時,可解釋性和決策透明性是非常重要的。

還有在實時性和資源消耗方面,金融市場瞬息萬變,需要實時數(shù)據(jù)處理和決策支持,大模型的推理涉及到大量的矩陣乘法計算,對硬件的矩陣乘法計算能力提出較高要求,計算復(fù)雜性可能導(dǎo)致響應(yīng)時間延遲,不利于實時應(yīng)用。

加之大模型訓(xùn)練和推理過程需要大量的計算資源和能量消耗,這對企業(yè)的成本和環(huán)保要求提出了挑戰(zhàn)。

而成立于1998年的老牌金融科技公司金證,面對上述固有的重重困難,卻有著自己的一套解法。

wKgZomZ-0TeAJp2cAAFDO-sRQeY985.png

在金證看來,大模型的優(yōu)勢在于文本及非結(jié)構(gòu)化數(shù)據(jù)處理能力、人機交互能力、生成能力和邏輯推理能力較強。

而相比小模型而言,大模型也存在明顯的劣勢,例如大模型“幻覺”問題(即大模型答非所問),大模型的部署算力要求高造成算力資源浪費,部署成本高等問題。

因此,金證的解法就是——通過組合式AI,即大模型+小模型+工具,以此來支撐各個業(yè)務(wù)場景AI需求。

大模型方面,包含金證去年年底推出的K-GPT以及業(yè)內(nèi)眾多頂流的大模型,在特定的金融任務(wù)中發(fā)揮大模型的特長。

小模型則是指諸如OCR、NLP、人臉識別、文字識別、財務(wù)分析等傳統(tǒng)模型,可以細分任務(wù)做到快準狠地處理。

至于工具,則是指地圖、天氣、CRM、郵件、OA等。

wKgaomZ-0TeAIrAMAAHw_41kwRs418.png

一言蔽之,在某個金融領(lǐng)域任務(wù)中,這種模式可以讓大模型、小模型和工具做到“專業(yè)的人干專業(yè)事”,尤其能極大地提高效率。

值得一提的是,相比于通用大模型,金證的K-GPT在數(shù)據(jù)查詢的準確性方面表現(xiàn)更佳,能夠更好地理解金融術(shù)語,提供專業(yè)且數(shù)據(jù)扎實的回復(fù)。

wKgaomZ-0TeAbJMxAAN3GjksO_0717.png

據(jù)了解,K-GPT 還支持查看引用的知識源,并具備與實時數(shù)據(jù)和模塊化集成的能力,可以調(diào)取實時數(shù)據(jù)和組件。

依托龐大的金融知識庫,K-GPT專為金融場景服務(wù),其核心優(yōu)勢在于對金融的深入理解、數(shù)據(jù)準確、可驗證性以及支持調(diào)用Agent功能。

從效果上不難看出,金證已然讓大模型在金融領(lǐng)域中合格地上崗,那么針對成本和資源上的痛點,金證又是如何解決的呢?

背后是高帶寬內(nèi)存(HBM)的至強處理器在發(fā)力

金證K-GPT方案中,還有一點比較特別:與英特爾合作,采用了基于CPU的大模型推理方案。

據(jù)了解,他們主要是看中的是英特爾? 至強? CPU Max 系列處理器。

這是英特爾唯一一款基于x86架構(gòu)并采用高帶寬內(nèi)存(HBM)的CPU系列,采用了片上HBM設(shè)計,內(nèi)存帶寬高達4TB/s。和傳統(tǒng)DDR5內(nèi)存相比,HBM具有更多的訪存通道和更長的讀取位寬,理論帶寬可達DDR5的4倍之多。

要知道,大模型推理涉及大量的權(quán)重數(shù)據(jù)讀取,對硬件平臺的內(nèi)存訪問帶寬提出了很高的要求。

至強? CPU Max具有64GB HBM,每個內(nèi)核可以分攤到超過1GB的內(nèi)存,對于包括大模型推理任務(wù)在內(nèi)的絕大多數(shù)計算任務(wù),HBM都可以容納全部的權(quán)重數(shù)據(jù)。

內(nèi)存帶寬還不是金證選擇這款CPU的全部理由。

英特爾? 至強? CPU Max系列還內(nèi)置了英特爾? 高級矩陣擴展 (英特爾?? AMX)引擎,大幅提升了大規(guī)模矩陣乘法運算性能。

金證K-GPT基于Transformer架構(gòu),其核心特點包括多頭注意力機制和前饋神經(jīng)網(wǎng)絡(luò)層,這其中都包含大量矩陣運算,而英特爾? AMX通過1024位TMUL指令和8個獨立的矩陣計算單元,可以每時鐘周期執(zhí)行8次獨立的矩陣乘累加操作,為這些運算提供強大的加速能力。

如此一來,大模型推理的效果如何呢?

在只用單顆 CPU 的情況下,推理130億參數(shù)大模型,首個詞元生成時間就能壓到1秒左右,模型推理TPS超過10 tokens/s,用戶提問后約2秒內(nèi)就能得到響應(yīng)。

別忘了遇到負載高峰等情況,還可以同時啟用2顆CPU,性能還能提升將近一倍,可以說足以滿足金融場景的大部分應(yīng)用需求了。

除了硬件層面的突破,英特爾還提供了經(jīng)過優(yōu)化的軟件工具來挖掘硬件潛力。

比如廣泛使用的OpenVINO? 工具套件,就被用來專門調(diào)優(yōu)加速模型的Embedding處理進行。

金融場景涉及大量專業(yè)文檔的輸入任務(wù),Emedding正是把文本從離散變量轉(zhuǎn)變?yōu)檫B續(xù)向量的過程,好讓AI能夠理解。

經(jīng)過OpenVINO? 工具套件優(yōu)化后,K-GPT大模型的批量Embedding性能提升到3倍之多。

wKgZomZ-0TeASawVAACknFlOGVI410.png

圖注:OpenVINO? 工具套件優(yōu)化前后 Embedding 性能比較

再比如金證與K-GPT配合使用的開源向量數(shù)據(jù)庫Faiss,英特爾也提供了優(yōu)化版本,以提升在至強? CPU Max上的模型推理性能。

在大規(guī)模向量相似性檢索任務(wù)中,經(jīng)英特爾優(yōu)化過的版本性能可提升至4倍左右。

wKgaomZ-0TeAGbgoAACgiTxIsqI523.png

圖注:英特爾優(yōu)化版 Faiss 與原始 Faiss 性能對比(越高越好)

除了性能方面之外,金證選擇英特爾? 至強? CPU Max系列作為算力底座還帶來其他方面的優(yōu)勢:

首先是靈活性。由于與主流的 x86 架構(gòu)完全兼容,金證可以繼續(xù)使用原有的機器,靈活搭配適合自身業(yè)務(wù)的配置。而且 CPU 能同時應(yīng)對推理和通用計算,可根據(jù)負載情況隨時調(diào)配資源。

第二是總擁有成本 (TCO)。從長遠來看,CPU路線能以更低的部署和維護開銷,實現(xiàn)與專用加速器相媲美的性能。這對于需要控制預(yù)算的金融機構(gòu)來說至關(guān)重要。

綜合看下來,英特爾? 至強? CPU Max系列處理器在硬件能力、軟件優(yōu)化、生態(tài)適配、總擁有成本優(yōu)勢等方面都與金融場景非常契合,不失為業(yè)界大模型落地的一種新思路。

如何評價?

隨著數(shù)字化轉(zhuǎn)型的不斷深入,大模型為金融行業(yè)帶來的機遇與挑戰(zhàn)并存。

越來越多的金融機構(gòu)開始探索如何將 AIGC 技術(shù)與實際業(yè)務(wù)相結(jié)合,在提質(zhì)增效的同時控制成本。但總的來說,大模型在金融行業(yè)的應(yīng)用仍處于初步探索階段。

金證攜手英特爾打造的這套大模型推理方案,可謂是應(yīng)用層、模型層、算力層的深度融合,為業(yè)界樹立了標桿。

不久前舉辦的金證科技節(jié),就吸引了眾多金融機構(gòu)前來"取經(jīng)"。

作為連接金融與科技的重要平臺,金證科技節(jié)吸引了眾多來自銀行、證券、保險等領(lǐng)域的金融行業(yè)玩家參與,共同探討 AI 技術(shù)在金融領(lǐng)域的應(yīng)用前景與優(yōu)質(zhì)實踐。

可以預(yù)見,在英特爾的算力加持下,金證將在大模型技術(shù)上不斷突破,助力更多金融機構(gòu)實現(xiàn)數(shù)字化轉(zhuǎn)型,為用戶帶來更智能、高效的服務(wù)體驗。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 處理器
    +關(guān)注

    關(guān)注

    68

    文章

    19896

    瀏覽量

    235348
  • AI
    AI
    +關(guān)注

    關(guān)注

    88

    文章

    35168

    瀏覽量

    280107
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    3147

    瀏覽量

    4078
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    的SMT貼片加工廠有哪些技巧?

    在電子制造行業(yè),SMT貼片加工是產(chǎn)品生產(chǎn)過程中極為關(guān)鍵的一環(huán),其質(zhì)量與效率直接影響著最終產(chǎn)品的性能與市場競爭力。然而,市場上SMT貼片加工廠數(shù)量眾多,質(zhì)量參差不齊,如何找到一家的加工廠,成為
    的頭像 發(fā)表于 04-21 15:24 ?334次閱讀
    找<b class='flag-5'>靠</b><b class='flag-5'>譜</b>的SMT貼片加工廠有哪些技巧?

    【國產(chǎn)信創(chuàng)CPU全攻略】分享國產(chǎn)CPU品牌排行榜!從排名到避坑!

    最近收到不少粉絲留言:“想換國產(chǎn)電腦,但國產(chǎn)CPU品牌太多,完全不知道怎么選!”“信創(chuàng)CPU排名到底不靠?”今天咱們就來嘮嘮這個話題——國產(chǎn)CPU品牌有哪些?信創(chuàng)CPU怎么挑?附上
    的頭像 發(fā)表于 04-14 14:34 ?1757次閱讀
    【國產(chǎn)信創(chuàng)CPU全攻略】分享國產(chǎn)CPU品牌排行榜!從排名到避坑!

    螺栓在線監(jiān)測裝置:電網(wǎng)的應(yīng)用

    螺栓在線監(jiān)測裝置:電網(wǎng)的應(yīng)用 輸電線路鐵塔作為電力傳輸?shù)年P(guān)鍵設(shè)施,其結(jié)構(gòu)的穩(wěn)定性和安全性直接關(guān)系到整個電網(wǎng)的運行狀況。螺栓作為鐵塔結(jié)構(gòu)中不可或缺的部件,其狀態(tài)的好壞直接關(guān)乎鐵塔的整體穩(wěn)定性。然而
    的頭像 發(fā)表于 02-21 09:25 ?432次閱讀

    的高防cdn費用高嗎?

    系統(tǒng),技術(shù)門檻和運維成本較高。因此,其基礎(chǔ)定價通常比傳統(tǒng)CDN高30%-50%,以下是UU云小編將詳細介紹的高防cdn費用具體構(gòu)成:
    的頭像 發(fā)表于 02-05 11:06 ?384次閱讀

    云電腦嗎,云電腦如何使用?

    ? ? 在數(shù)字化轉(zhuǎn)型的洪流中,公司對遠程連接電腦的需求日益凸顯。無論是跨越地域的團隊協(xié)作,還是遠程提供技術(shù)支持,都是非常好用的。今天小編給大家分享云電腦如何使用。 ? ?云電腦是的,它提供了安全
    的頭像 發(fā)表于 01-21 13:34 ?814次閱讀
    云電腦<b class='flag-5'>靠</b><b class='flag-5'>譜</b>嗎,云電腦如何使用?

    地板 “發(fā)電” 這事兒嗎?

    “ 最近抖音和B站上有一個地板發(fā)電的視頻很火:只要在步行道上鋪設(shè)地板,每當有人經(jīng)過,就可以源源不斷地產(chǎn)生電能。走路越多,發(fā)電量越大。今天就給大家扒一下,這事兒究竟是否。 ” 帶有 “黑
    的頭像 發(fā)表于 01-06 11:20 ?564次閱讀

    GLM-Zero深度推理模型預(yù)覽版正式上線

    近日,智公司宣布其深度推理模型GLM-Zero的初代版本——GLM-Zero-Preview已正式上線。這款模型是智首個基于擴展強化學習技術(shù)
    的頭像 發(fā)表于 01-02 10:55 ?529次閱讀

    鉆設(shè)計與生產(chǎn):技術(shù)解析及應(yīng)用

    鉆是一種特殊的控深鉆技術(shù),用于多層PCB板的制造。例如,在12層板中,如果需要將第1層連接到第9層,通常會先進行一次鉆孔(通孔)并沉銅,這樣會導(dǎo)致第1層直接連接到第12層。實際上,我們只需要第1層
    發(fā)表于 12-24 18:12

    DAC7554模擬與數(shù)字混用,輸出的信號質(zhì)量嗎?

    想用DAC7554,但是發(fā)現(xiàn)它不區(qū)分模擬與數(shù)字部分。 注意到,涉及電源的端口只有VDD與GND,這意味該芯片的輸出VOUTA~D都是基于數(shù)字地GND的模擬信號,像這樣模擬與數(shù)字混用,輸出的信號質(zhì)量嗎?
    發(fā)表于 12-10 06:12

    常見氦質(zhì)檢漏儀故障及解決方法

    氦質(zhì)檢漏儀是180°磁偏轉(zhuǎn)型的質(zhì)譜分析計,其基本原理是根據(jù)離子在磁場中運動時,不同質(zhì)荷比的離子具有不同的偏轉(zhuǎn)半徑來實現(xiàn)不同種類離子的分離。檢漏儀主要由質(zhì)室、真空系統(tǒng)及電氣控制部分組成。常見氦質(zhì)
    的頭像 發(fā)表于 11-26 15:10 ?3103次閱讀

    巴菲特賣掉1億股蘋果股票

    據(jù)外媒報道“股神”巴菲特所領(lǐng)導(dǎo)的伯克希爾-哈撒韋在2024年第三季度大幅減持了蘋果公司的股票。據(jù)持倉統(tǒng)計數(shù)據(jù)顯示,伯克希爾-哈撒韋已連續(xù)四個季度減持。在第三季度減持了大約25%的蘋果股票(1億股蘋果
    的頭像 發(fā)表于 11-04 14:59 ?648次閱讀

    榮耀與智攜手共建AI大模型聯(lián)合實驗室

    近日,榮耀終端有限公司與北京智華章科技有限公司正式攜手,共同宣布成立AI大模型技術(shù)聯(lián)合實驗室,并簽署了戰(zhàn)略合作協(xié)議。此次合作標志著雙方在人工智能領(lǐng)域的深度合作邁入新階段,共同致力于為用戶帶來前所未有的智能體驗。
    的頭像 發(fā)表于 09-03 18:15 ?1337次閱讀

    低費用外國云服務(wù)器嗎?

    低費用外國云服務(wù)器在特定條件下可以考慮為,但需要用戶綜合考慮多個因素,以確保選擇的服務(wù)器既能滿足需求又能保證性價比。低費用外國云服務(wù)器具有其獨特的優(yōu)勢,如成本較低、選擇性豐富等,但也伴隨著一定的風險和不足。
    的頭像 發(fā)表于 08-30 11:19 ?495次閱讀

    巴菲特再套現(xiàn)9.8億美元

    近期我們看到股神巴菲特大手筆拋售蘋果公司的股票,根據(jù)巴菲特旗下伯克希爾-哈撒韋公司公布的2024年二季度財報數(shù)據(jù)顯示;伯克希爾-哈撒韋公司在二季度將其持有的蘋果公司的股票大幅拋售;持倉已經(jīng)從一
    的頭像 發(fā)表于 08-29 14:50 ?678次閱讀

    AI宣布GLM-4-Flash大模型免費開放

    AI近日宣布了一項重大舉措,其自主研發(fā)的GLM-4-Flash大模型正式向公眾免費開放,用戶可通過智AI大模型開放平臺輕松調(diào)用。這款大模型
    的頭像 發(fā)表于 08-28 17:41 ?1217次閱讀