近日，中國電信宣布開源其星辰語義大模型TeleChat-12B的最新版本。此外，預(yù)計今年內(nèi)，中國電信還將推出千億級參數(shù)大模型。

據(jù)報道，與之前1月份發(fā)布的7B版相比，12B版本在多個維度上有顯著改進，例如數(shù)據(jù)容量提升3倍，性能提高30％，在處理安全問題等技術(shù)領(lǐng)域更是超過了40%。這一新進步使其在在C-eval、MMLU、AGIEVAL等國際知名排行榜中位列國內(nèi)同等參數(shù)水平開源模型之首。這無疑將有助于推動大模型開源生態(tài)的繁榮，并助力人工智能行業(yè)實現(xiàn)更高質(zhì)量的發(fā)展。

TeleChat-12B在數(shù)據(jù)處理方面進行了深度優(yōu)化，包括擴大訓練數(shù)據(jù)至3T，改善數(shù)據(jù)清洗和標注策略，構(gòu)建專項任務(wù)SFT（監(jiān)督微調(diào)）數(shù)據(jù)，優(yōu)化數(shù)據(jù)構(gòu)建規(guī)范，從而大幅提升數(shù)據(jù)質(zhì)量。此外，該模型還利用電信星辰大模型用戶的真實反饋數(shù)據(jù)，對獎勵模型和強化學習模型進行了優(yōu)化，以提升模型的問答效果。

本次開源提供了基礎(chǔ)模型及其對應(yīng)的對話模型，不僅支持傳統(tǒng)的全量參數(shù)更新，也支持LoRA等僅需更新部分參數(shù)的高效微調(diào)方式，以及Deepspeed微調(diào)、int8、int4量化和國產(chǎn)芯片訓練推理等功能，推動了大模型的國產(chǎn)化進程。

值得注意的是，星辰大模型已經(jīng)在各行各業(yè)得到廣泛應(yīng)用，為企業(yè)的數(shù)字化轉(zhuǎn)型提供了強大動力。例如，客服大模型已在全國范圍內(nèi)的18個服務(wù)場景中投入使用，全面賦能智慧客服和數(shù)字人，進一步深化了智能化運營。