語言大模型能力提升主要體現(xiàn)為四方面:上下文窗口,知識密度增強和強化學習等

OpenAI 等基于大量工程實驗和反復驗 證提出縮放定律，揭示了模型能力與計算能力、參數(shù)量和數(shù)據(jù)量間 的定量關(guān)系，業(yè)界也遵循該定律指導資源要素投入、推動模型創(chuàng)新 發(fā)展，近年來在模型技術(shù)能力、通用泛化水平等方面取得一系列突 破性進展。目前，大模型支持模態(tài)已逐步從自然語言處理拓展到多 模態(tài)理解和生成等場景。

從 2023 年至今的基準測試結(jié)果來看，全球大模型能力已經(jīng)出現(xiàn) 階躍式提升。語言大模型能力提升主要體現(xiàn)為以下四方面。

一是上下文窗口長度擴展，提升全局能力。大模型的上下文窗口長度是指 模型在執(zhí)行文本生成任務時，能夠處理的前置文本的數(shù)量或長度， 決定了模型對信息的理解深度和廣度，對于理解和生成連貫、一致 且準確的文本具有重要意義。當前，國內(nèi)外主流大語言模型均具備 128k 以上的上下文長度處理能力，可一次性處理數(shù)十萬單詞或漢字。

二是知識密度增強，儲存更多知識。隨著數(shù)據(jù)、算力、算法協(xié)同發(fā) 展，大模型知識密度持續(xù)增強，平均每 8 個月翻一番。2020 年 6 月 發(fā)布的 GPT-3 大模型有 1750 億個參數(shù)，2024 年 2 月面壁智能發(fā)布 MiniCPM-2.4B 模型在實現(xiàn)同等性能的同時，參數(shù)規(guī)模降至 24 億， 相當于知識密度提高了約 86 倍。

三是 MoE 混合專家架構(gòu)能夠容納更多知識，精準刻畫任務。MoE 稀疏激活多個專家子模型支路，加權(quán) 融合多個子模型結(jié)果，實現(xiàn)更加準確的輸出，提高推理計算效率。 目前，谷歌的 Gemini-1.5 Pro、Mistral AI 的 8x7B 與 8x22B、阿里云 Qwen-1.5 MoE、階躍星辰 Step-2 等頭部大模型均采用 MoE 架構(gòu)， 已 成 為 當 前 大 模 型 的 重 要 演 進 趨 勢 。

四 是通過強化學習 （Reinforcement Learning，RL）將思維鏈（Chain of Thought，CoT） 內(nèi)化進模型，提升復雜推理能力。2024 年 9 月 OpenAI 發(fā)布的 o1 系 列模型在后訓練（Post-Training）階段采用強化學習和思維鏈的技術(shù)方案，不僅在“慢思考”后回答復雜問題的表現(xiàn)優(yōu)異（尤其是在 STEM 領(lǐng)域的推理能力顯著增強），還具有了自我反思與錯誤修正能力， 使自博弈強化學習有望成為提升語言大模型邏輯推理能力的技術(shù)新范式。