通義千問近日開源了其首個千億級參數(shù)模型Qwen1.5-110B，這是其全系列中首個達(dá)到千億級別的開源模型。Qwen1.5-110B模型繼承了Qwen1.5系列的Transformer解碼器架構(gòu)，并在技術(shù)上引入了分組查詢注意力方法（GQA），極大地提升了模型在推理時(shí)的效率。

這款擁有1100億參數(shù)的模型支持高達(dá)32K的上下文長度，同時(shí)展現(xiàn)出了卓越的多語言能力。無論是中文、英文、法語、德語、西班牙語、俄語，還是日語、韓語、越南語和阿拉伯語等，Qwen1.5-110B都能提供精準(zhǔn)、流暢的語言處理體驗(yàn)。這一里程碑式的開源模型，無疑將為AI領(lǐng)域的科研人員、開發(fā)者和愛好者提供更為強(qiáng)大、靈活的工具。