騰訊混元自研深度思考模型 T1 發(fā)布:吐字快、能秒回,擅長(zhǎng)超長(zhǎng)文處理
本站 3 月 21 日消息,本站從騰訊混元微信公眾號(hào)獲悉,今日騰訊混元正式推出自研深度思考模型混元 T1 正式版。
據(jù)官方介紹,「T1」吐字快、能秒回,還擅長(zhǎng)超長(zhǎng)文處理,是騰訊自研的強(qiáng)推理模型。通過(guò)大規(guī)模強(qiáng)化學(xué)習(xí),并結(jié)合數(shù)學(xué)、邏輯推理、科學(xué)和代碼等理科難題的專(zhuān)項(xiàng)優(yōu)化,混元 T1 正式版進(jìn)一步提升了推理能力。
在體現(xiàn)推理模型基礎(chǔ)能力的常見(jiàn) benchmark 上,如大語(yǔ)言模型評(píng)估增強(qiáng)數(shù)據(jù)集 MMLU-PRO 中,混元 T1 取得 87.2 分,僅次于 o1。在 CEval、AIME、Zebra Logic 等中英文知識(shí)及競(jìng)賽級(jí)數(shù)學(xué)、邏輯推理的公開(kāi)基準(zhǔn)測(cè)試中,混元 T1 的成績(jī)也達(dá)到業(yè)界領(lǐng)先推理模型的水平。
「T1」還在多項(xiàng)對(duì)齊任務(wù)、指令跟隨任務(wù)和工具利用任務(wù)中展現(xiàn)出了非常強(qiáng)的適應(yīng)性。
官方稱,混元 T1 正式版沿用了混元 Turbo S 的創(chuàng)新架構(gòu),采用 Hybrid-Mamba-Transformer 融合模式。這是工業(yè)界首次將混合 Mamba 架構(gòu)無(wú)損應(yīng)用于超大型推理模型。這一架構(gòu)有效降低了傳統(tǒng) Transformer 結(jié)構(gòu)的計(jì)算復(fù)雜度,減少了 KV-Cache 的內(nèi)存占用,從而顯著降低了訓(xùn)練和推理成本。
官方還稱,混元 T1 在超長(zhǎng)文本推理領(lǐng)域也展現(xiàn)出獨(dú)特優(yōu)勢(shì)?;诔錾拈L(zhǎng)文捕捉能力,混元 T1 能有效解決長(zhǎng)文推理中常見(jiàn)的上下文丟失和長(zhǎng)距離信息依賴問(wèn)題。同時(shí),混合 Mamba 架構(gòu)針對(duì)長(zhǎng)序列處理進(jìn)行了專(zhuān)項(xiàng)優(yōu)化,通過(guò)高效的計(jì)算方式,在確保長(zhǎng)文本信息捕捉能力的同時(shí)大幅降低資源消耗,在相近的激活參數(shù)量下,實(shí)現(xiàn)了解碼速度提升 2 倍。
騰訊混元 T1 目前已經(jīng)上線:https://llm.hunyuan.tencent.com/#/chat/ hy-t1
API 使用方面,混元 T1 已在騰訊云官網(wǎng)上線,輸入價(jià)格為每百萬(wàn) tokens 1 元,輸出價(jià)格為每百萬(wàn) tokens 4 元。
發(fā)表評(píng)論
還沒(méi)有評(píng)論,來(lái)說(shuō)兩句吧...