這個(gè)冬奧季，即便你在冰雪之外，也能透過播報(bào)感受同在。這就是互動(dòng)虛擬演播技術(shù)帶來(lái)的。

“虛擬演播廳”在東京奧運(yùn)會(huì)就曾進(jìn)入奧運(yùn)村，而在2022冬奧期，其技術(shù)方案全面升級(jí)，達(dá)到廣電級(jí)導(dǎo)播效果的同時(shí)，接入門檻極大降低，大大拓展了該技術(shù)的應(yīng)用場(chǎng)景。同時(shí)在鏈路上打通RTC和GRTN網(wǎng)絡(luò)，將多機(jī)位、多視角實(shí)時(shí)同步技術(shù)能力，與RTC實(shí)時(shí)連麥、異地開播能力結(jié)合，可實(shí)現(xiàn)主播、嘉賓的多層虛擬背景等能力疊加，提升沉浸式直播體驗(yàn)，在互動(dòng)效果上全面提升到新境界，助力打造北京冬奧賽事的沉浸式報(bào)道。

百年奧運(yùn)首次啟用互動(dòng)虛擬演播 —打造沉浸式報(bào)道

2022北京冬奧雖于冰雪之際，但觀眾高燃的熱情像一場(chǎng)冰與火之歌。對(duì)于賽場(chǎng)上的矚目之星，我們都很期待聽到、看到、感受到他們?cè)谫惡笳鎸?shí)的聲音、風(fēng)采和談吐之相。

于是，早在冬奧會(huì)前期，CGTN（China Global Television Network）就在策劃制作全球冬奧運(yùn)動(dòng)員、冰雪明星的系列采訪報(bào)道，期望實(shí)時(shí)而精彩地呈現(xiàn)運(yùn)動(dòng)員的賽事采訪，而互動(dòng)虛擬演播技術(shù)的全新突破，正是CGTN此次落實(shí)冬奧采訪項(xiàng)目的最佳選擇。

通常而言，媒體異地采訪需要連線App，且運(yùn)動(dòng)員的受訪環(huán)境很不可控，于是，想展現(xiàn)好的人物采訪畫面效果，需要實(shí)景摳像再合成于虛擬直播間，同時(shí)還要達(dá)到賽事結(jié)束后采訪的實(shí)時(shí)傳播效果，這對(duì)技術(shù)提出很大的挑戰(zhàn)。于是，阿里云視頻云全新升級(jí)的“互動(dòng)虛擬演播“技術(shù)在2022冬奧會(huì)就此登場(chǎng)，解決了這一難題。

作為全新的云導(dǎo)播實(shí)時(shí)互動(dòng)虛擬演播技術(shù)，這是奧運(yùn)會(huì)第一次啟用，為CGTN在北京冬奧會(huì)的記者連線報(bào)道場(chǎng)景中充分應(yīng)用，打造了此次奧運(yùn)賽事報(bào)道的沉浸式體驗(yàn)。

該項(xiàng)技術(shù)在冬奧會(huì)期間全程助力CGTN進(jìn)行了賽事異地采訪、實(shí)景摳像合成的虛擬直播，打造了異地互動(dòng)的新形態(tài)播報(bào)，實(shí)現(xiàn)全鏈路制播上云，對(duì)傳統(tǒng)新聞節(jié)目制作打造了全新場(chǎng)景。

同時(shí)，通過在音視頻互動(dòng)APP上實(shí)時(shí)連線，實(shí)現(xiàn)了導(dǎo)播人員和記者異地實(shí)時(shí)通訊，第一時(shí)間將新聞報(bào)道傳遞給觀眾。通過云導(dǎo)播與RTC（音視頻通信）的全面打通，可自動(dòng)獲取連線直播間流，實(shí)現(xiàn)新聞采訪與直播觀看同步進(jìn)行。此外，通過云端實(shí)景摳像算法技術(shù)能力，達(dá)到了極致精細(xì)的摳像合成效果。

這是百年奧運(yùn)首次使用“互動(dòng)虛擬演播廳”進(jìn)行沉浸式賽事報(bào)道，改變了傳統(tǒng)電視臺(tái)記者的采訪形式，再也無(wú)需記者攜攝像團(tuán)隊(duì)，載著沉重設(shè)備到處奔波，更無(wú)需以往一定要將記者與受訪者設(shè)置于同一現(xiàn)場(chǎng)的固封模式。只要通過阿里云視頻云互動(dòng)虛擬演播產(chǎn)品，采訪任務(wù)僅需“兩部手機(jī)+一臺(tái)電腦”，即可隨時(shí)隨地展開采訪直播與轉(zhuǎn)播，從而革新了媒體生產(chǎn)與傳播的技術(shù)鏈路，實(shí)現(xiàn)全鏈路制播上云的同時(shí)，也讓賽事觀眾體驗(yàn)到更沉浸的播報(bào)視感。

“互動(dòng)虛擬演播廳”示意圖

三項(xiàng)國(guó)內(nèi)首個(gè)突破性超級(jí)能力 —業(yè)界尖端技術(shù)

能夠在此次冬奧會(huì)實(shí)現(xiàn)創(chuàng)新方案落地，打造實(shí)時(shí)互動(dòng)的沉浸式賽事報(bào)道，源于阿里云視頻云在虛擬演播廳產(chǎn)品上的深度打磨和三點(diǎn)戰(zhàn)略性的技術(shù)突破：

國(guó)內(nèi)首個(gè)純?cè)贫藢?shí)景摳像合流技術(shù)

此次的互動(dòng)虛擬演播方案，是針對(duì)冬奧會(huì)打磨的新實(shí)景摳像算法與引擎能力，它第一次采用實(shí)景預(yù)設(shè)背景摳像，第一次采用多機(jī)位切換摳像，第一次采用4路摳像源（綠幕+實(shí)景）同時(shí)實(shí)時(shí)摳像處理。

眾多“第一次”帶來(lái)的價(jià)值是，滿足了冬奧會(huì)級(jí)別的世界頂級(jí)賽事直播要求，將實(shí)景摳像效果達(dá)到業(yè)內(nèi)天花板水平。

對(duì)標(biāo)廣電級(jí)別的節(jié)目要求，阿里云視頻云正是利用算法打破技術(shù)壁壘，通過嘗試多種算法和工程模型，一次次突破自我，提升實(shí)景摳像的效果和性能。在各種采訪環(huán)境不可控的雜亂背景下，技術(shù)均可處理得非常完美，讓冬奧的賽外內(nèi)容播報(bào)體驗(yàn)極大提升。

國(guó)內(nèi)首家“端云無(wú)縫銜接”的導(dǎo)播平臺(tái)

在此次冬奧會(huì)中，互動(dòng)虛擬演播廳首次打通了RTC和GRTN 網(wǎng)絡(luò)，將多機(jī)位、多視角實(shí)時(shí)同步技術(shù)能力，與RTC實(shí)時(shí)連麥、異地開播能力進(jìn)行結(jié)合。

一般情況下，導(dǎo)播臺(tái)是一直缺乏端側(cè)能力的，于是無(wú)法實(shí)現(xiàn)實(shí)時(shí)互動(dòng)場(chǎng)景，雖然也可以嘗試和內(nèi)外部各種App應(yīng)用聯(lián)合，但因?yàn)榉N種原因很難真正落地。

此次阿里云視頻云RTC技術(shù)結(jié)合了導(dǎo)播臺(tái)，進(jìn)行虛擬演播廳產(chǎn)品的深度改造和聯(lián)動(dòng)，并且對(duì)App端的界面效果和性能完成全面優(yōu)化，為普通用戶提供了簡(jiǎn)單、穩(wěn)定的連線功能，真正實(shí)現(xiàn)了“互動(dòng)虛擬”演播能力。

業(yè)界廣電級(jí)導(dǎo)播能力

全新的互動(dòng)虛擬演播廳，全面滿足超低延時(shí)、超穩(wěn)定、超高并發(fā)的特性，達(dá)到廣電級(jí)導(dǎo)播能力。

從連麥App端到導(dǎo)播合流輸出全鏈路超低延時(shí)，實(shí)現(xiàn)連麥端實(shí)時(shí)通訊、導(dǎo)播臺(tái)“摳像+合成渲染輸出”，最快2-3S內(nèi)即可完成所有流程。在多人、多地同時(shí)開播、長(zhǎng)時(shí)間連線開播情況下，對(duì)多背景摳圖的處理場(chǎng)景可以達(dá)到穩(wěn)定處理零斷流的效果。整個(gè)方案落地，可經(jīng)受住大規(guī)模的分發(fā)、觀看的考驗(yàn)，對(duì)超高并發(fā)依舊穩(wěn)定出色。

“互動(dòng)虛擬演播廳”制作全鏈路

技術(shù)升級(jí)，先后助力兩屆奧運(yùn)會(huì) —?jiǎng)?chuàng)造奧運(yùn)新紀(jì)元

在東京冬奧會(huì)，阿里云視頻云的虛擬演播廳就曾進(jìn)入奧運(yùn)村。當(dāng)時(shí)，身處日本東京和中國(guó)北京兩地的企業(yè)代表，通過云導(dǎo)播臺(tái)的虛擬演播廳、實(shí)時(shí)字幕等能力，順暢完成沉浸式直播連線。

2020東京奧運(yùn)會(huì) 虛擬演播廳讓兩地“同現(xiàn)”奧運(yùn)村

本次2022北京冬奧，為了結(jié)合CGTN的記者采訪和報(bào)道場(chǎng)景，同時(shí)滿足央視記者深度沉浸式報(bào)道的觀感，阿里云視頻云重點(diǎn)對(duì)互動(dòng)虛擬演播方案，進(jìn)行幾個(gè)方面的深度升級(jí)：

第一，重點(diǎn)對(duì)實(shí)景摳像打造了新的算法引擎和極致效果，解決了實(shí)景摳像邊緣粗糙，抖動(dòng)等問題，摳像效果精細(xì)到人物發(fā)絲，真實(shí)細(xì)膩的效果促進(jìn)了產(chǎn)品的可應(yīng)用性，打破行業(yè)實(shí)景摳像壁壘。

第二，豐富了云導(dǎo)播在場(chǎng)景端側(cè)的接入能力，實(shí)現(xiàn)“實(shí)時(shí)互動(dòng)+導(dǎo)播”的完整方案，打造了“實(shí)時(shí)互動(dòng)”場(chǎng)景，并且，通過App端簡(jiǎn)單便捷的開播，讓使用門檻非常之低，從而高度滿足了電視臺(tái)記者群體的使用訴求。虛擬演播廳強(qiáng)化增補(bǔ)了前鏈路的推流互動(dòng)環(huán)節(jié)，更進(jìn)一步實(shí)現(xiàn)了沉浸、實(shí)時(shí)的直播體驗(yàn)。

第三，全面升級(jí)導(dǎo)播穩(wěn)定性、超長(zhǎng)時(shí)間連麥穩(wěn)定性、摳像穩(wěn)定性、音視頻互動(dòng)App性能等，從而全方位滿足異地、多人、多場(chǎng)景、超長(zhǎng)時(shí)間的連麥和直播需求，對(duì)于復(fù)雜的多場(chǎng)景（單人/雙人、遠(yuǎn)景/近景、直播中插墊片）實(shí)現(xiàn)無(wú)縫切換，真正達(dá)到廣電級(jí)別的節(jié)目制作水準(zhǔn)。

全面的技術(shù)升級(jí)，將“虛擬演播廳”升級(jí)為具有實(shí)時(shí)互動(dòng)沉浸效果的“互動(dòng)虛擬演播廳“產(chǎn)品方案，從而為2022冬奧會(huì)帶來(lái)賽事報(bào)道的全新體驗(yàn)。

互動(dòng)虛擬演播的更多空間—更多場(chǎng)景價(jià)值

北京冬奧會(huì)即將謝幕，互動(dòng)虛擬演播還將繼續(xù)支持殘奧會(huì)的實(shí)時(shí)沉浸連線播報(bào)。奧運(yùn)會(huì)這樣的超級(jí)賽事打磨了技術(shù)方案，讓其不僅服務(wù)于此。

作為全新的云導(dǎo)播實(shí)時(shí)互動(dòng)虛擬演播技術(shù)，互動(dòng)虛擬演播廳可以通過低門檻地使用音視頻互動(dòng)App，以發(fā)起直播與實(shí)時(shí)連線互動(dòng)，同時(shí)，基于云端摳像與虛擬背景合成的能力，提供“端到云到端”的虛擬演播解決方案，從而打造沉浸式直播體驗(yàn)。

它是專門為遠(yuǎn)程互動(dòng)打造，實(shí)現(xiàn)虛擬直播間的沉浸體驗(yàn)。此外，也為遠(yuǎn)程制作、異地互動(dòng)直播的場(chǎng)景提供解決方案，如身處在滑雪場(chǎng)的運(yùn)動(dòng)員可以和新聞中心的主持人進(jìn)行異地的虛擬合屏，并可進(jìn)行實(shí)時(shí)互動(dòng)采訪。

從實(shí)際的應(yīng)用場(chǎng)域，不僅支撐體育競(jìng)技、國(guó)內(nèi)外賽事類的現(xiàn)場(chǎng)轉(zhuǎn)播、遠(yuǎn)程解說(shuō)、多主持人模式等場(chǎng)景，互動(dòng)虛擬演播廳還可落地于更多行業(yè)場(chǎng)景，如電商與活動(dòng)的直播支持、會(huì)議的多模式轉(zhuǎn)播，以及各種類型的異地連線與虛擬訪談，場(chǎng)景廣泛，能力豐富，均可實(shí)現(xiàn)。

總言之，實(shí)踐與沉淀于2022北京冬奧會(huì)，阿里云視頻云會(huì)將互動(dòng)虛擬演播解決方案進(jìn)一步深化為更強(qiáng)的產(chǎn)品力輸出，面向涉及直播場(chǎng)景的各行業(yè)提供遠(yuǎn)程開播、虛擬直播間的解決方案。

從后繼發(fā)展來(lái)看，在技術(shù)升級(jí)和產(chǎn)品優(yōu)化上，“互動(dòng)虛擬演播”會(huì)圍繞三個(gè)方向繼續(xù)演進(jìn)突破：

首先，在實(shí)現(xiàn)了低門檻接入之后，更強(qiáng)調(diào)實(shí)現(xiàn)持續(xù)降本，提升整個(gè)產(chǎn)品性價(jià)比和競(jìng)爭(zhēng)力；再者，加強(qiáng)完善端側(cè)布局，豐富導(dǎo)播互動(dòng)能力（如觀眾端播放畫面的返送等），從而提供更完善的互動(dòng)虛擬演播方案。在此之外，在物理與虛擬世界穿梭構(gòu)建的大趨勢(shì)之下，將深度結(jié)合“虛擬演播廳”的概念，探索虛擬人、3D背景等能力的結(jié)合與落地，打造虛擬直播間的更多可能。

未來(lái)的互動(dòng)虛擬演播，技術(shù)更前瞻，門檻更低簡(jiǎn)，場(chǎng)景更豐富，互動(dòng)更多元，效果更沉浸。借冬奧之光，技術(shù)普惠就在眼前。