英偉達推全新視覺(jué)AI語(yǔ)音模型 可以直接看圖聊天

如今AI大時(shí)代，英偉語(yǔ)音世界各大巨頭都有自己的達推特色AI產(chǎn)品計劃，日前據英偉達官方消息，全新英偉達聯(lián)合 Georgia Tech、視覺(jué)UMD 和 HKPU 的模型研究團隊推出了全新的視覺(jué)語(yǔ)言模型 ——NVEagle。

據悉，可直NVEagle 能夠理解復雜的圖聊天現實(shí)場(chǎng)景，通過(guò)視覺(jué)輸入進(jìn)行更好的英偉語(yǔ)音解讀和回應。它的達推設計核心在于將圖像轉化為視覺(jué)標記，再與文本嵌入相結合，全新進(jìn)而提升了對視覺(jué)信息的視覺(jué)理解。

NVEagle包括了三個(gè)版本:Eagle-X5-7B、模型Eagle-X5-13B 以及 Eagle-X5-13B-Chat?？芍逼渲?，圖聊天7B 和13B 版本主要用于一般的英偉語(yǔ)音視覺(jué)語(yǔ)言任務(wù)，而13B-Chat 版本則專(zhuān)門(mén)針對對話(huà)式 AI 進(jìn)行了微調，能夠更好地進(jìn)行基于視覺(jué)輸入的互動(dòng)。

NVEagle 的一個(gè)亮點(diǎn)在于采用了混合專(zhuān)家（MoE）機制，能夠根據不同任務(wù)動(dòng)態(tài)選擇最合適的視覺(jué)編碼器，這極大提升了對復雜視覺(jué)信息的處理能力。該模型已在 Hugging Face 上發(fā)布，方便研究人員和開(kāi)發(fā)者使用。