創(chuàng)澤機器人
CHUANGZE ROBOT
當前位置:首頁 > 新聞資訊 > ai智能 > 2024年AI大模型技術(shù)變遷情況回溯:技術(shù)演進方向,推動機器人場景應(yīng)用落地,AI應(yīng)用商業(yè)化

2024年AI大模型技術(shù)變遷情況回溯:技術(shù)演進方向,推動機器人場景應(yīng)用落地,AI應(yīng)用商業(yè)化

來源:中國移動智慧家庭運營中心     編輯:創(chuàng)澤   時間:2025/1/2   主題:其他 [加盟]

2024 年大模型技術(shù)快速演進,相較于 2023 年的大小模型之 爭,技術(shù)的進步方向逐步向應(yīng)用落地方向傾斜,降低端側(cè)模型 部署門檻,縮短模型推理時延,提升模型交互能力,大模型的 發(fā)展迎來了新的變化。本文將從技術(shù)視角梳理 2024 年以來大模 型各個領(lǐng)域發(fā)生的變化,以行業(yè)領(lǐng)先實踐為佐證,提出大模型技術(shù)演進方向。語言大模型發(fā)展迎來新范式,通過強化學習優(yōu) 化內(nèi)部思維鏈策略,以提升復(fù)雜邏輯推理能力。多模態(tài)大模型架構(gòu)正向端到端演進,決策準確性和靈敏度提升推動機器人場景應(yīng)用落地。在視頻生成領(lǐng)域,DiTs 架構(gòu)的可擴展性優(yōu)勢顯現(xiàn), 推動 AI應(yīng)用商業(yè)化。在硬件部署方面,模型壓縮、安全控制等 技術(shù)正降低部署門檻。在智能體實踐方面,垂類大模型開始在 智能終端環(huán)境應(yīng)用。在合成數(shù)據(jù)策略方面,自我獎勵語言模型 生成合成數(shù)據(jù),試圖打破數(shù)據(jù)瓶頸。

一、語言大模型的新范式:強化學習優(yōu)化思維鏈

規(guī)模定律的延伸

在2024年之前,語言大模型的“規(guī)模定律”已經(jīng)得到了業(yè)界的廣泛認可。模型參數(shù)的擴展、數(shù)據(jù)集質(zhì)量的提升以及人工微調(diào),使得語言模型展現(xiàn)出了前所未有的泛化能力和通用能力。然而,2024年的技術(shù)進步,將這一定律延伸至后訓(xùn)練階段。

OpenAI的o1推理大模型

今年9月,OpenAI公開發(fā)布的o1推理大模型,通過強化學習優(yōu)化模型內(nèi)部思維鏈推理邏輯步驟,模擬人的思考過程,加深對問題的理解程度,從而提升處理復(fù)雜推理任務(wù)的能力。這一技術(shù)突破,標志著語言大模型的發(fā)展迎來了新范式。

強化學習的威力

通過強化學習,模型學會了精煉思維鏈并優(yōu)化所用策略,識別并糾正錯誤,將復(fù)雜步驟分解為更簡單的部分,并在當前方法無效時嘗試不同的途徑。這一過程顯著提升了模型的推理能力,在多個高難度推理基準測試中,o1的表現(xiàn)超越了人類專家和GPT-4o,展示了其強大的推理能力和專業(yè)知識。

二、多模態(tài)大模型:端到端架構(gòu)的演進

跨模態(tài)到端到端的轉(zhuǎn)變

過去,多模態(tài)大模型多采用基于語言模型為主干的跨模態(tài)架構(gòu),通過模態(tài)特定的編碼器轉(zhuǎn)化為統(tǒng)一的向量表示后再輸入語言模型。但這樣的架構(gòu)帶來了任務(wù)響應(yīng)時間長、模態(tài)間交互細節(jié)損失的問題。

端到端架構(gòu)的優(yōu)勢

2024年以來,以GPT-4o、Gemini為代表的多模態(tài)大模型開始使用端到端支持多種模態(tài)統(tǒng)一輸入輸出的模型架構(gòu)。這一架構(gòu)通過簡化模型的輸入接口,減少模態(tài)間的信息損失,提升了模型處理即時任務(wù)的響應(yīng)時間。

英偉達的GR00T項目

在2024GTC大會上,英偉達發(fā)布了人形機器人項目GR00T,基于控制、執(zhí)行和決策三個層級分層實現(xiàn)模型的端到端訓(xùn)練學習,通過合并反向反饋得到精準輸出結(jié)果,大幅提升了機器人處理復(fù)雜任務(wù)的精度、高效性以及靈活性。

三、視頻生成領(lǐng)域的突破:DiTs架構(gòu)的可擴展性

DiTs架構(gòu)的優(yōu)勢

2024年以來,國內(nèi)外科技大廠發(fā)布的視頻生成模型多以DiTs為基礎(chǔ),基于Transformer架構(gòu)的擴散模型在視頻生成任務(wù)中可擴展性優(yōu)勢凸顯。相較于原先的U-Net卷積網(wǎng)絡(luò)架構(gòu),Transformer骨干架構(gòu)可以提供基于參數(shù)規(guī)模和訓(xùn)練數(shù)據(jù)量提升而帶來更優(yōu)越的性能。

OpenAI的Sora視頻生成模型

OpenAI發(fā)布的視頻生成模型Sora基于DiTs架構(gòu),在生成視頻的像素穩(wěn)定性、前后邏輯連續(xù)性以及信息丟失等方面有大幅提升。Sora在數(shù)據(jù)處理和視頻標注領(lǐng)域做了創(chuàng)新,基于視頻編碼器將樣本空間數(shù)據(jù)進行時間空間維度壓縮和Patch化處理,再通過相應(yīng)解碼器實現(xiàn)隱空間向視頻像素空間的映射,以訓(xùn)練新的視頻壓縮網(wǎng)絡(luò)實現(xiàn)長視頻生成的能力。

Meta Movie Gen視頻生成模型

Meta Movie Gen視頻生成模型發(fā)布,其在原先視頻生成模型架構(gòu)的基礎(chǔ)上,疊加了一個13B參數(shù)轉(zhuǎn)換器模型Meta Gen Audio,通過數(shù)百萬個小時的音頻參考數(shù)據(jù)的對比總結(jié),Meta Gen Audio可精準匹配聲音和畫面之間的對應(yīng)關(guān)系,根據(jù)不同情緒和環(huán)境的提示詞,找到與畫面完美契合的音樂。

四、硬件部署實踐:端云結(jié)合架構(gòu)的創(chuàng)新

蘋果的Apple Intelligence

蘋果在2024年6月發(fā)布的Apple Intelligence為大模型硬件部署實踐提供了很好的指引。Apple Intelligence采用端云結(jié)合方案,分別在設(shè)備端和服務(wù)器端部署大小語言模型(AFM-on-device和AFM-server),不同應(yīng)用可以通過統(tǒng)一的語義索引、意圖檢測等工具調(diào)用AFM模型。

量化壓縮疊加適配器架構(gòu)

為保障在端側(cè)設(shè)備上運行模型同時避免精度上損失,蘋果創(chuàng)新推出量化壓縮疊加適配器的架構(gòu),一方面采用量化壓縮的方法降低模型大小,同時通過LoRA適配器來恢復(fù)量化模型的精度。

Responsible AI原則

蘋果制定了Responsible AI原則,包括用戶賦能、代表全球、謹慎設(shè)計、隱私保護四大原則,被整合到基礎(chǔ)模型開發(fā)的每一個環(huán)節(jié)中,包括數(shù)據(jù)的收集與處理、模型訓(xùn)練、模型評估、用戶反饋等。

LLM-in-a-flash技術(shù)

蘋果研發(fā)了LLM-in-a-flash技術(shù),讓大模型可以不受限于DRAM的限制,在推理時將參數(shù)加載至閃存中來輔助完成計算,分擔存儲壓力,從而降低端側(cè)設(shè)備部署大模型門檻。


附件:2024年AI大模型技術(shù)變遷情況回溯:技術(shù)演進方向,推動機器人場景應(yīng)用落地,AI應(yīng)用商業(yè)化






超擬人大模型的情緒價值體驗:八大安全場景對大模型進行針對性升級

針對八大安全場景(政治敏感、犯罪違法、心理健康、 歧視/偏見、倫理道德等)對大模型進行針對性升級。使模型具備基本的安全性,能夠在遇到安全問題時給予正確的回復(fù)策略

教育大模型:AI賦能智能教育,塑造未來學習新生態(tài),分為通用大模型教育應(yīng)用和教育專有大模型

教育大模型是基于人工智能技術(shù)和海量教育數(shù)據(jù)構(gòu)建的深度學習模型,可分為通用大模型教育應(yīng)用和教育專有大模型,2019 - 2024年市場規(guī)模增長,預(yù)計2025 - 2028年繼續(xù)增長

中國AI+營銷趨勢洞察與企業(yè)落地建議:成本有效的實現(xiàn)規(guī);瘮U張,提升用戶體驗和滿意度

企業(yè)數(shù)字營銷部門應(yīng)積極擁抱這一趨勢,將 AI 技術(shù)深度融入到營銷工作流程中,實現(xiàn)營銷的智能化,自動化和個性化;企業(yè)可以為每個消費提供更加精準的產(chǎn)品推薦和服務(wù)

2024AI教育硬件全景報告:市場規(guī)模將達到165億元,2028有望接近900億

AI學習機、AI詞典筆、AI聽力寶成為消費級AI教育硬件的三大主流品類;C端產(chǎn)品以其龐大的市場規(guī)模和增長潛力,成為了市場的主力軍,市場規(guī)模將達到165億元,到2028年,這一數(shù)字有望接近900億

端側(cè)智能行業(yè)-人工智能重要應(yīng)用產(chǎn)品落地爆發(fā)在即,落地場景包括 AI PC、AI 手機、AI 可穿戴設(shè)備、AI 智能家居、AI 智能汽車、AI 工業(yè)設(shè)備

端側(cè)智能是在終端設(shè)備一側(cè)進行智能化處理和決策,其優(yōu)勢包括增效,降本,個性化等,把握生成式 AI 同終端產(chǎn)品深度結(jié)合的創(chuàng)新浪潮,在端側(cè)智能方面保持開放生態(tài)

2024年中國生成式AI行業(yè)月度觀察報告技術(shù)深化領(lǐng)域融合持續(xù)增長的AI市場:文心一言月度UV突破2000萬,移動端豆包MAU已達2700萬

Web端行業(yè)應(yīng)用UV超過1.5億次,移動端全行業(yè)獨立應(yīng)用滲透率已超過20%,MAU超過7000萬,數(shù)據(jù)不僅展示了AI應(yīng)用的廣泛普及,也預(yù)示著AI技術(shù)正逐步成為人們生活的一部分

2024年AI Agent實施的明路應(yīng)用實踐報告-三個核心能力進行任務(wù)規(guī)劃和問題拆解,場景的智能化解決方案

低運營成本已成為企業(yè)用戶落地大模型的首要目標,這些場景的智能化解決方案,無一例外地指向了 AI Agent,為企業(yè)用戶提供落地 AI Agent 項目時的策略指導(dǎo)和實踐洞見

科研智能(AI4R&D) 人工智能驅(qū)動的研發(fā)新范式:描繪生態(tài)全景,為制定產(chǎn)業(yè)政策、指導(dǎo)項目布局提供參考

旨在描繪科研智能領(lǐng)域的生態(tài)全景,為政府部門制定產(chǎn)業(yè)政策、指導(dǎo)項目布局提供參考,為研究機構(gòu)、科技企業(yè)把握 技術(shù)方向、開拓應(yīng)用場景提供借鑒,加速該領(lǐng)域的技術(shù)創(chuàng)新和應(yīng)用 實踐,為我國在該領(lǐng)域搶占發(fā)展先機提供助力

2024AIGC創(chuàng)新應(yīng)用洞察報告:市場規(guī)模達到360.6億美金,增長率達到46.5%

MoE與思維鏈助力大模型技術(shù)路線破局:MoE模型提升效果顯著,擁有人類“慢思考”的特質(zhì)

MoE 框架是對 Transformer 架構(gòu)的優(yōu)化,在 NLP、CV、語音識別以及機器人等領(lǐng)域表現(xiàn)出色;基于“思維鏈”的創(chuàng)新推理模式,學會人類“慢思考”

中國文娛行業(yè)人工智能行業(yè)應(yīng)用發(fā)展圖譜:市場規(guī)模將達到1.21萬億,側(cè)重IP版權(quán)交易與多元化開發(fā)

市場規(guī)模將達到1.21萬億,且增速拉回20%增長通道;3D在游戲行業(yè)美術(shù)成本當中大致占比超過50%比重,美術(shù)生產(chǎn)力仍然具備可觀的提升空間

在線教育龍頭多鄰國啟示錄商業(yè)模式珠玉在前AI技術(shù)助力突破國內(nèi)在線教育星辰大海,市場規(guī)模已達到1665.5億美元

全球在線教育市場規(guī)模已達到1665.5億美元,其中在線語言學習應(yīng)用的收入更是達到了10.87億美元,探索AI技術(shù)如何助力國內(nèi)在線教育市場突破重圍
資料獲取
ai智能
== 最新資訊 ==
2024年AI大模型技術(shù)變遷情況回溯:技
智能迎賓機器人關(guān)鍵技術(shù):運控算法
仿人形機器人產(chǎn)業(yè)鏈空間廣闊,未來或達到萬
2024具身智能科技前沿熱點:智能靈巧操
2024年企業(yè)AI大模型應(yīng)用落地白皮書-
2024年AI大模型賦能智能座艙研究報告
Graph AI:大模型浪潮下的圖計算白
2024年AI大模型對我國勞動力市場潛在
2024年中國人工智能系列白皮書-元宇宙
2024年中國人工智能系列白皮書-體育人
深圳市打造人工智能先鋒城市的若干措施[深
2024年人形機器人新質(zhì)生產(chǎn)力商業(yè)化十大
2024年人形機器人新質(zhì)生產(chǎn)力創(chuàng)新十大榜
2024年人形機器人新質(zhì)生產(chǎn)力上市企業(yè)十
2024年人形機器人新質(zhì)生產(chǎn)力關(guān)鍵技術(shù)十
== 機器人推薦 ==
迎賓講解服務(wù)機器人

服務(wù)機器人(迎賓、講解、導(dǎo)診...)

智能消毒機器人

智能消毒機器人

機器人開發(fā)平臺

機器人開發(fā)平臺


機器人底盤 Disinfection Robot 消毒機器人  講解機器人  迎賓機器人  移動機器人底盤  商用機器人  智能垃圾站  智能服務(wù)機器人  大屏機器人  霧化消毒機器人  紫外線消毒機器人  消毒機器人價格  展廳機器人  服務(wù)機器人底盤  核酸采樣機器人  智能配送機器人  導(dǎo)覽機器人 
版權(quán)所有 創(chuàng)澤智能機器人集團股份有限公司 中國運營中心:北京 清華科技園九號樓5層 中國生產(chǎn)中心:山東日照太原路71號
銷售1:4006-935-088 銷售2:4006-937-088 客服電話: 4008-128-728