1999年，當(dāng)時還叫OICQ的聊天軟件發(fā)布了一個新版本，語音通話功能被正式加入，隨后，視頻通話也被加入。18年后的今天，QQ的月活躍用戶已經(jīng)超過8億，一個更驚人的數(shù)字是，最多的時候，QQ用戶每天的音視頻通話時長達12億分鐘。

在QQ發(fā)展過程中，其背后的音視頻通信技術(shù)也經(jīng)歷了對外采購，到成立QQ音視頻技術(shù)中心，自研引擎，再發(fā)展壯大為騰訊音視頻實驗室，開放自研的SPEAR音視頻引擎的過程?，F(xiàn)在，隨著全民直播時代的到來，騰訊又研發(fā)并開放了一體化的直播解決方案，并將騰訊直播SDK應(yīng)用于斗魚、虎牙、快手等頂級的直播平臺。這背后，技術(shù)、經(jīng)驗上的不斷進步和積累，也有騰訊對中國復(fù)雜的網(wǎng)絡(luò)狀況的智能處理。

日前，騰訊音視頻實驗室負責(zé)人劉曉宇接受了雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))的采訪，聊了聊這些問題，并向我們介紹了精細化運營及5G技術(shù)來臨之際，直播會有哪些更新鮮的玩法。遙遠的斯坦福校園內(nèi)，一位機器學(xué)習(xí)教授上課的場景被高清攝像機捕捉的畫面，通過編碼器壓縮，以分段發(fā)送的方式，通過互聯(lián)網(wǎng)傳輸?shù)侥愕?a target="_blank">電腦上，再由播放器進行實時解壓縮處理，你就能學(xué)習(xí)到最前沿的課程。

流媒體技術(shù)給互聯(lián)網(wǎng)帶來了無限的活力，而當(dāng)場景變成音視頻通訊時，背后的技術(shù)就不止復(fù)雜了一倍。除了雙向的反饋，實時通訊對延遲的要求也變得非常高；另外，回聲處理也成了新的問題，“我聽到你的聲音出來了，我也要說話，這個過程中麥克風(fēng)是一直開著的，假如不處理回聲，你的聲音會被再次采集進去，播到你那邊。”

在騰訊大廈的騰訊音視頻實驗室內(nèi)，劉曉宇向雷鋒網(wǎng)做了一個小科普。2005年，他加入騰訊，負責(zé)QQ應(yīng)用層的架構(gòu)設(shè)計，“除了底層的公共組件，好友面板、消息窗口，包括空間、音樂、郵箱等插件化功能，可以理解為你能看到的QQ界面展示出的東西，都是我們開發(fā)的。”

2011年，騰訊正式成立了音視頻中心，劉曉宇被任命為負責(zé)人。盡管QQ在1999年就有了音視頻通話功能，但很長一段時間，騰訊都依靠騰訊研究院和第三方技術(shù)提供商，沒有獨立的團隊負責(zé)音視頻通訊。

成立音視頻中心，是因為騰訊覺得音視頻會是未來的一個爆發(fā)點，還有一個重要原因，當(dāng)時采購自GIPS（后被Google收購）的技術(shù)方案，是一個“黑盒子”，出現(xiàn)問題時自己無法找出原因，GIPS又不夠重視，這堅定了騰訊技術(shù)自研的決心。

劉曉宇介紹，在音視頻通訊中，網(wǎng)絡(luò)問題一直是一個技術(shù)難點。檢測網(wǎng)絡(luò)帶寬，以平衡視頻質(zhì)量和傳輸速度的帶寬探測，處理丟包、抖動，都需要很深的技術(shù)積累。另外，隨著移動互聯(lián)網(wǎng)的發(fā)展，設(shè)備碎片化越來越嚴(yán)重，適配不同的設(shè)備又成了巨大的問題，“我們經(jīng)常要適配系統(tǒng)的問題，有時候會出現(xiàn)很戲劇化的事情。”有一個版本的QQ，騰訊特意為適配不好的小米手機做了優(yōu)化，但版本還沒發(fā)布，小米就發(fā)現(xiàn)了問題，自己率先做了優(yōu)化。互相適應(yīng)，結(jié)果又有問題了。

音視頻中心的發(fā)展壯大，推動了QQ音視頻通話功能的不斷革新。現(xiàn)在，QQ用戶每天的音視頻通話時長達12億分鐘。2015年11月，騰訊正式開放自研的SPEAR音視頻引擎，將包括流控策略控制云端化、通道智能化/多通道備份機制、分布式混音和云混音、跨平臺通信協(xié)議設(shè)計、提供跨平臺客戶端引擎SDK、預(yù)連接設(shè)計、雙人/多人通話平滑切換、通話客觀質(zhì)量評測體系等特性帶給更多的開發(fā)者。

2016年，騰訊音視頻實驗室正式成立，最初成立時只有7個人的音視頻中心，如今已有80多人。除了繼續(xù)保障QQ的音視頻通話，將它的能力開放出來，在企業(yè)級市場上有所作為，也成了音視頻實驗室的新任務(wù)。2015年，隨著4G和智能手機的普及，移動直播開始成為一個新的熱點。其實在技術(shù)上，直播并不是一個新興的東西，早在2008年前后，六間房就開始嘗試使用Flash的技術(shù)進行網(wǎng)頁直播。

從網(wǎng)頁直播到移動直播，用戶的需求沒變，但使用的網(wǎng)絡(luò)環(huán)境、設(shè)備、直播環(huán)境都在發(fā)生變化。例如，移動直播要解決Wi-Fi、移動網(wǎng)絡(luò)的切換問題；而在不同的空間里，保證音質(zhì)、視頻流暢以及光線平衡，又對技術(shù)提出了新的挑戰(zhàn)。劉曉宇向雷鋒網(wǎng)舉了個例子，最早做音視頻通訊時，騰訊向GIPS采購的音視頻通話方案經(jīng)常會遇到投訴，其中的一個重要原因是中國復(fù)雜的網(wǎng)絡(luò)環(huán)境，比如南北通問題、用戶糟糕的網(wǎng)絡(luò)連接等。

在應(yīng)對移動直播時，類似的問題同樣存在，這就需要移動技術(shù)提供商針對不同的環(huán)境進行優(yōu)化，其中弱網(wǎng)專項優(yōu)化、搶帶寬的能力、手機性能優(yōu)化、機型適配、后臺轉(zhuǎn)碼能力等，都會直接影響直播間穩(wěn)定、清晰度，連麥的實時性和溝通的順暢。

另外，據(jù)劉曉宇介紹，因為用戶觀看直播的微妙習(xí)慣，技術(shù)策略上也要做相應(yīng)的調(diào)整。例如，在以前的視頻通話中，用戶的主要需求是低延時，所以當(dāng)網(wǎng)絡(luò)不好時，系統(tǒng)會自動降低視頻清晰度。但是在直播中則完全相反，“寧可卡一點，延遲稍微大一點，也不要把分辨率降下來”；在研究中，劉曉宇的團隊還發(fā)現(xiàn)，用戶在觀看直播時非常隨性，會習(xí)慣性地滑到下一個直播，這就需要系統(tǒng)提前緩存畫面，讓用戶快速切換直播。

現(xiàn)在，騰訊已經(jīng)有了一整套的直播技術(shù)解決方案，只需要幾行代碼，就可以讓企業(yè)接入騰訊直播模塊，擁有騰訊的直播技術(shù)支持。

這套音視頻直播AVL（Audio Video Live）方案，依托騰訊的SPEAR音視頻通信引擎，通過騰訊直播SDK可打造跨平臺一對多、多對多的超清酷炫直播場景。除了能夠提供基礎(chǔ)的高清、秒開、高音質(zhì)、轉(zhuǎn)碼、鑒黃能力外，還具備連麥、實時錄制、音頻直播、美顏、水印、混音、IM等特色能力。同時兼具旁路直播、屏幕分享、人臉識別、濾鏡、掛件等“冷僻”能力，全部能力達到17項之多，是目前能力覆蓋最全的主流直播SDK。其流暢度、音質(zhì)、低延遲、下行抗丟包4項指標(biāo)位居行業(yè)第一，其他核心數(shù)據(jù)也接近行業(yè)最佳。

音視頻直播AVL 的一個重要應(yīng)用是直播中的連麥，現(xiàn)在，斗魚、虎牙和快手，都使用了這個服務(wù)。斗魚直播產(chǎn)品規(guī)劃經(jīng)理汪楚峰也接受了雷鋒網(wǎng)的采訪，據(jù)他介紹，成立于2014年的斗魚，現(xiàn)在每天開播的直播間數(shù)量超過4萬，每天的活躍用戶超過2000萬。

2015年，斗魚開始使用騰訊提供的直播連麥功能，除了低延遲，騰訊還提供了虛擬裝扮、主播變聲等特色功能，另外在音樂場景中，騰訊對麥克風(fēng)收音和音質(zhì)提高上也有深入的優(yōu)化。今年初的春節(jié)期間QQ視頻通話里做了一個視頻表情彩蛋的玩法，說出“么么噠”屏幕上會出現(xiàn)紅唇表情，說“新年快樂”、“恭喜發(fā)財”也會有對應(yīng)的驚喜表情。這只是語音識別在視頻通話上的初步應(yīng)用。直播平臺的競爭已經(jīng)出現(xiàn)“大魚吃小魚”的態(tài)勢，在劉曉宇看來，技術(shù)將成為直播平臺差異化的一個突破點。

今年，NOW直播已經(jīng)開始測試綠幕直播，當(dāng)用戶在直播過程中，環(huán)境背景為指定綠色時，可替換任意手機相冊內(nèi)的照片或視頻。這種應(yīng)用在電影制作中的技術(shù)，可以讓直播有更創(chuàng)新的玩法，有分析人士認為，它可以應(yīng)用于二次元主題直播。接下來騰訊也會將該能力集成到直播SDK中去，開放給更多直播平臺使用。

現(xiàn)在的直播，秀場和游戲直播占了絕大多數(shù)，但同時，也開始出現(xiàn)越來越多的垂直場景，如金融、教育類直播，在這類場景中，除了主播和觀眾，還涉及到屏幕，現(xiàn)在，騰訊的直播技術(shù)已經(jīng)能解決三方同步、滿足屏幕解碼和CPU控制的問題。

另外，VR直播曾經(jīng)被高度看好，劉曉宇告訴雷鋒網(wǎng)，目前VR直播的技術(shù)障礙主要在于，要保證多人同時觀看的沉浸式體驗，直播源就要傳輸360度的全量數(shù)據(jù)，而這個數(shù)據(jù)量是非常龐大的；另外，在采集全景視頻時，畫面疊加部分的拼接、分割，鏡頭的矯正都還有很長一段路要走。

不過，科技行業(yè)永遠是進步最快的領(lǐng)域，根據(jù)工信部和三大運營商的規(guī)劃，2020年，中國5G將正式商用，劉曉宇說，“和4G相比，5G會是一種質(zhì)變，我們會時刻關(guān)注這里的技術(shù)發(fā)展?！?/p>