近日，騰訊科技(深圳)有限公司在大語言模型訓(xùn)練領(lǐng)域取得了新的技術(shù)突破，并成功申請了一項(xiàng)名為“大語言模型的訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)”的專利。

據(jù)天眼查App顯示，該專利摘要詳細(xì)介紹了騰訊在大語言模型訓(xùn)練過程中的創(chuàng)新方法。具體而言，騰訊引入了第一摘要文本和第二摘要文本，為模型訓(xùn)練提供了更為豐富的學(xué)習(xí)信息。這兩個(gè)摘要文本所包含的信息量不同，且第一摘要文本中既包含正確語句也包含錯(cuò)誤語句。

在訓(xùn)練過程中，騰訊通過對比學(xué)習(xí)同一樣本文本的兩個(gè)不同摘要文本，并區(qū)分學(xué)習(xí)第一摘要文本中的正確語句和錯(cuò)誤語句，從而避免了由于摘要文本單一而導(dǎo)致的模型過擬合和生成不準(zhǔn)確等問題。這種創(chuàng)新性的訓(xùn)練方法不僅有助于提升模型的泛化性能，還能顯著提高模型的準(zhǔn)確性。

騰訊的這一新專利無疑為其在大語言模型訓(xùn)練領(lǐng)域樹立了新的技術(shù)標(biāo)桿。通過不斷優(yōu)化和升級訓(xùn)練技術(shù)，騰訊有望為用戶提供更加智能、準(zhǔn)確的大語言模型服務(wù)。