国产精品一区二区av片,亚洲午夜综合网,91亚洲欧洲日产国码精品,国产午夜福利精品一区二区三区,91精品啪在线观看国产色,精品国产美女福到在线直播,久久露脸国产精品,国产另类ts人妖一区二区,国产性一交一乱一伦一色一情 ,国产对白国语对白

關于ZAKER 合作
雷鋒網(wǎng) 2小時前

螞蟻發(fā)布并開源萬億參數(shù)思考模型 Ring-1T,綜合能力逼近 GPT-5

10 月 14 日凌晨,螞蟻集團正式推出萬億參數(shù)思考模型 Ring-1T,并全面開源模型權重、訓練配方。Ring-1T 在 9 月 30 日開源的預覽版 Ring-1T-preview 基礎上,持續(xù)擴展大規(guī)??沈炞C獎勵強化學習(RLVR)訓練,進一步激發(fā)萬億基座的自然語言推理能力,并通過 RLHF 訓練完善模型通用能力,在各項任務榜單上表現(xiàn)更加均衡。

為了持續(xù)激發(fā) Ring-1T 的數(shù)學等復雜推理能力,此次百靈團隊挑戰(zhàn)了難度更高的 IMO2025(國際數(shù)學奧利匹克)賽題,將 Ring-1T 接入多智能體框架 AWorld,使用純自然語言推理進行解題。實驗結(jié)果顯示,Ring-1T 僅用一次解出了第 1、3、4、5 題,相當于 IMO 銀牌水平,成為首個能拿 IMO 國際奧數(shù)獎的開源系統(tǒng)。Ring-1T 在第三次嘗試 IMO 時對第 2 題幾何證明也給出了接近滿分的證明過程,在頂流大模型幾乎全軍覆沒的第六題中將答案收斂到與 Gemini 2.5 Pro 相同的 "4048"(正確答案為 2112)。作為一款思考模型,Ring-1T 也表現(xiàn)出了極佳的通用能力,在 " 人類偏好對齊 " 測試 Arena-Hard V2 中,Ring-1T 以 81.59 的成功率居于開源模型榜首,逼近 GPT-5-Thinking ( High ) 82.91 的成績。在面向嚴謹領域的醫(yī)療問答 HealthBench 測評中,Ring-1T 也以最高分取得開源領域最佳。

(Ring-1T 與業(yè)界代表性思考模型的性能橫評)

萬億參數(shù)思考模型訓練最大難題是訓推精度差異,即訓練階段與推理階段因?qū)崿F(xiàn)細節(jié)差異導致的訓練和推理精度不一致,進而導致訓練崩潰。在 Ring-1T 模型中,螞蟻采用了自研的 " 棒冰(icepop)" 算法來應對這項行業(yè)難題,即用帶掩碼的雙向截斷技術把訓練 - 推理分布差異凍結(jié)在低水位,確保長序列、長周期訓練不崩。此外,應對萬億參數(shù)模型強化學習訓練,螞蟻還自研了高性能強化學習系統(tǒng) ASystem ( 其中包含已開源的高性能強化學習框架 AReaL ) ,特別針對萬億參數(shù)模型的顯存管理和訓推權重交換問題做了精細的優(yōu)化,實現(xiàn)了單機顯存碎片秒級回收、權重零冗余交換,把大規(guī)模 RL 訓練穩(wěn)定跑成日常。

(圖左:GRPO 訓推差異隨著訓練成指數(shù)上升,icepop 較為平穩(wěn);圖右:訓推差異最大值,GRPO 隨著訓練上升非常明顯,icepop 維持在較低水位)

此外,本次發(fā)布的 Ring-1T 模型繼續(xù)采用 Ling 2.0 架構的 1T base 模型做后訓練,Ling 2.0 采用了包括高度稀疏的 MoE 架構,1/32 的專家激活比、FP8 混合精度、MTP 等諸多特性實現(xiàn)高效訓練與推理。在后訓練階段,螞蟻百靈團隊通過 LongCoT-SFT + RLVR + RLHF 多階段訓練,顯著提升了模型的復雜推理能力以及指令跟隨和創(chuàng)意寫作等通用能力。

據(jù)百靈團隊透露,Ring-1T 模型是其在萬億思考模型上的首次嘗試,螞蟻百靈團隊會在后續(xù)的版本中繼續(xù)完善模型性能。目前,用戶可通過 HuggingFace、魔搭社區(qū)下載模型,并通過螞蟻百寶箱等平臺在線體驗。

據(jù)了解,截止目前螞蟻百靈大模型已經(jīng)發(fā)布 18 款模型,已形成從 160 億總參數(shù)到 1 萬億總參數(shù)的大語言模型產(chǎn)品矩陣,其中兩款萬億參數(shù)模型—萬億參數(shù)通用大語言模型 Ling-1T、萬億參數(shù)思考模型 Ring-1T。隨著兩款萬億參數(shù)模型的發(fā)布,百靈大模型也正式步入 2.0 階段。

相關閱讀

最新評論

沒有更多評論了
无码国产69精品久久久久网站| 欧美 日韩 中文字幕 国产| 日韩经典午夜福利发布| 国产 日韩 欧美 第二页| 黑粗硬大欧美在线播放| 精品亚洲AⅤ无码午夜在线| 欧美丝袜高跟鞋一区二区| 国产精品无码无卡在线观看久| 国产中年熟女大集合| 亚洲中文字幕日产无码2021| 亚洲三级片在线看| 亚洲国产成人av在线观看| 制服jk白丝h无内视频网站| 日本熟妇一区二区三区| 欧美槡bbbb槡bbb少妇| 视频一区二区国产盗摄| 亚洲国产精品自产拍久久蜜AV| 无码不卡一区二区三区在线观看| 久久精品国产福利国产秒拍| 中文一区二区视频| 日韩人妻无码精品久久| 国产精品欧美一区二区三区不卡| 丝袜 亚洲 另类 欧美| 国产福利日本一区二区三区| 久久精品国产亚洲av热一区 | 国产日韩一区二区天美麻豆| 毛片久久网站小视频| 国产精品亚洲专区无码牛牛 | 久久久老熟女一区二区三区| 91中文字幕一区二区| 亚洲中文日韩一区二区三区 | 日韩毛片在线视频x| 亚洲午夜理论片在线观看| 国产成人一区二区不卡| 久久精品综合国产二区| 奇米影视888欧美在线观看| 欧美福利在线| 人妻少妇精品系列一区二区 | 卡1卡2卡3精品接入口| 国产无遮挡又黄又爽又色| 麻豆a级片|