第2期 2022/02/28
還在「問號臉」？科技陪你「看懂」冰雪賽事
冰雪運動曾是先民們賴以生存的技能，如今成了對人類極限的更徹底超越。
在極寒、極冷的條件下，完成空中翻騰、轉體、落地，加速、超越、沖刺等一系列高難度動作，在雪地上空和光滑冰面畫出一道道優美弧線——這便是冰雪運動魅力。
剛剛閉幕的2022年北京冬奧會，讓我們認識了谷愛凌、蘇翊鳴這樣的體育新生代，讓武大靖、徐夢桃、隋韓組合這些老將的名字變得廣為人知，同時，也讓更多「普通人」愛上了冰雪體育。
但是，對于大多數人來說，觀賽的過程除了高呼一聲「牛X」， 還有更多的時刻其實都是「問號臉」——什么是1620？什么是bFFF？什么是540抓板？——這些花樣百出的項目技巧名稱從解說員的嘴里傳到我們耳邊，就好像被消了音，剛想仔細看看運動員炫酷的空中動作，他們就已經在高速狀態下落地。最后，留在腦子里的唯一信息，只有XXX拿了冠軍。
雖然冰雪賽事的觀賞性很強，「看不懂」比賽卻又令很多人對它的拒之門外。為此，在今年的冬奧會期間，百度智能云用一套「3D+AI」的組合技術搞定了這個難題。
「時空定格術」. 冠軍的「大招」輕松get
通過對同一個物體進行多次拍攝，或者把多個不同物體拍攝在同一畫面，形成對象的有機合成，在攝影攝像中，這被稱為「多次曝光」。參照這一手法，百度呈現了一種全新的特技效果——叫做「時間切片」。
冰雪項目的得分高低往往取決于動作難度、速度和穩度，而在高速狀態下，不只是大眾，哪怕專業的冰雪愛好者也很難憑借肉眼看清其中的技術細節。而為了看清，就要進行「時空定格」。但另一個問題是，在體育比賽中，運動員的生物信息不允許被采集。
針對這些問題，百度智能云采用了「3D+AI」雙管齊下的技術路線——先做輪廓識別，由AI學習處理，然后進行三維恢復和虛擬疊加呈現。
更形象來說，這就像是一個3D版的「頻閃照相機」，可以通過多次頻閃捕捉高速且連續的運動軌跡，然后把時序動作定格到360度的3D空間。再配上專業解說的技術分解，觀眾就可以非常直觀、全面地看懂選手的每一個動作細節和得扣分點，真正get到谷愛凌的1620到底有多颯。
與此同時，基于「3D+AI」打造的「同場競技」系統還能把不同選手的時序動作放到同一個畫面中，把單人賽事直接變成「多人比賽」，孰優孰劣，也顯而易見。
而對于置身其中的運動員來說，當所有動作都被量化，滑行速度、騰空高度、落地遠度、旋轉角度等一系列運動數據和原始畫面疊加起來，就可以反復回看視頻的動作還原，以便及時發現技巧問題，并在賽后不斷完善動作細節。
可靠的技術呈現必然依賴于長期的技術積累。冰雪競技講求「快、穩、準、美、難」，這要求捕捉運動員畫面的「攝像機系統」更聰明、更快捷——比如，需要計算機對運動員比賽動作成千上萬次的學習，才能把人和滑雪板的輪廓精準識別出來；需要高效的信息處理能力，才能保持在平均15秒內把相關數據快速提取出來，以適應比賽直播的快節奏——雖然技術難度不低，但百度智能云算是提交了一份漂亮的答卷。
即便是在疫情影響下，很多觀眾無法親臨今年的冬奧會現場，但是，借助于百度智能云的這一套「大動作」，觀眾們的遠程觀賽體驗一點也沒有「減分」。
據了解，除了對運動員進行「虛擬化」，為了給觀眾帶來極致沉浸式的「現場感」，百度智能云還利用虛擬現實技術對首鋼大跳臺進行了三維重建和虛擬還原，打造除了1：1的場館3D 模型。
通過3D場景漫游的形式，觀眾可以從遠景、全景、近景等多角度自由視角觀賞大跳臺，并且，還可以切換日景、夜景、水景等不同的視覺效果，周圍環境、跳臺弧度、賽道難度通通一覽無余。
「AI手語主播」. 殘障人士打開冬奧的專享方式
當我們漫游于這樣一個特別的「虛擬賽場」時，還有2700多萬的聽障同胞也在透過百度的「黑科技」領略著極限運動之美。
北京冬奧會期間，同樣由百度智能云打造的AI手語主播，在央視新聞正式「上崗」，提供24小時不間斷的手語服務。這給觀賽體驗提供了另一種打開方式，讓聽障人士也能融入感受冬奧的「速度與激情」，「看懂」體育賽事。
據了解，雖然現在很多賽事轉播都有字幕，但是由于聽覺與文字學習具有關聯性，很多聽障人士常常伴隨著文字閱讀障礙，手語對他們而言是更共情的語言表達。然而，相較于龐大的聽障人群，國內具有專業手語翻譯資格的人員卻非常稀少。
數字人的出現，正在填補這樣的缺口。只不過在這個過程中，還有很多技術難題需要克服。比如，和日常的文本轉換、文本語音轉換不同，手語數字人需要經過從語音到文本、從文本到手語符號、再到數字人動作轉換的漫長「養成」過程，才能蛻變出「聽得清、會翻譯、會表達」三大能力。這三個能力，在技術細節上分別對應著三類AI模型——
其一，ASR語音識別模型技術，它解決的是「聽得清」的問題。據說基于這一模型，百度AI手語主播的翻譯準確性能達到98%以上，并且無論是中英文混雜、生僻字還是方言，她都能搞定。在此前網上流傳的一個視頻中，百度AI手語主播就與央視段子手朱廣權「同臺」，面對專業人士的神級語速，她完全輕松「拿捏」；
其二，手語翻譯模型，它解決的是「會翻譯」的問題，而且是精準的信息凝練和低時延的翻譯效果。據說為了做到足夠的精準和精簡，百度團隊堅持選擇了「自然手語語料」，并聯手天津理工大學請來了上百位聽障學生對語料進行數據標注，從而保障算法背后的數據的高質量和可靠性。在此基礎上，再結合百度積累多年的神經網絡翻譯技術，團隊設計了從中文文本到手語符號的翻譯方法，并對模型進行了反復訓練，在不到兩個月時間里，進行了6次大版本迭代，最終使得手語翻譯的可懂度達到了85%以上；
其三，動作生成模型，它解決的是「會表達」的問題，即關于手勢、口型和表情的塑造。拿手勢問題來說，百度運用了人體動作的視覺識別技術，也就是通過機器學習手語視頻，再由二維骨骼點轉化驅動三維數字人的動作表達。而在口型和表情方面，百度智能云則首創了4D掃描數據進行訓練的方法，通過對超10萬個全身多邊形面、超1萬個臉部面、超240個面部表情行變基、超100個身體骨骼節點的掃描，不僅能讓數字人做出微笑、開心笑、甚至是wink、白眼等表情，口型生成的準確度還超過了98.5%。
「AI訓練系統」. 「夢之隊」背后的「神秘人」
事實上，這并不是百度的「黑科技」第一次應用在體育賽場，或者更確切來說，這并不是它第一次出現在奧運賽場。
早在去年的東京夏季奧運會期間，百度智能云就已經大顯身手，為我們的跳水「夢之隊」量身定制了一套「3D+AI」跳水輔助訓練系統。
跳水和冰雪項目由很多共同之處，比如速度快、技巧復雜等等。運動員從起跳到落水，一般只有短短的2秒鐘，甚至更短。所以，在傳統訓練過程中，教練幫運動員摳動作細節必須要「眼力驚人」。
為此，百度智能云為中國跳水隊的賽前訓練打造了國內首個「云-邊-端」軟硬一體的 AI 輔助訓練系統。通過攝像機采集跳水畫面，然后利用三維視覺技術和AI分析，對訓練視頻進行摘要、動作抽取、姿勢糾正等處理，快速歸納整理——如此一來，就可以把運動員幾秒鐘內的復雜動作，進行精準的量化評估，并比照完美動作智能打分，直觀地呈現給教練和運動員。
和肉眼相比，這個系統就像是一個「火眼金睛」+「最強大腦」。高速攝像機一秒鐘能拍幾萬張照片，而且能360度全方位采集畫面，3秒鐘內立即反饋給教練，從而提高運動員的訓練效率和效果。并且，即使在教練員出差的情況下，也能在線看到現場訓練情況，遠程給運動員摳細節，不錯過每一次訓練指導。
據了解，該系統在經過大量的數據分析后，將把教練和運動員的專業技能數字化，實現經驗的分享和復用，不僅能推廣到省隊、市隊，甚至還能普及給普通的體育愛好者，讓更多人享受到國家隊教練的專業指導。
跳水隊之外，我國的另一個「夢之隊」也很快加入了AI訓練之列。在去年年底剛剛舉行的百度Create2021大會上，前國家乒乓球領隊姚振緒、北京大學體育教研部副主任吳飛分享了與百度合作的「人工智能乒乓球動作定位與行為識別研究項目」。
在這個項目中，AI解決的是乒乓球動作速度快、隱蔽性強、回合數多的問題。過去，所有數據都只能由人工手動記錄和統計，非常耗費精力。而利用AI進行大數據處理、智能分析、輔助決策，既可以提高效率，還能通過直觀的數據展現，為隊員的科學訓練提供依據。
據了解，這套智能乒乓系統通過超500GB 比賽的標準訓練數據集，目前已經可以識別出是否發球、拉、擺短等8個大類動作。其中起止回合準確率超過97%，動作識別也超過了80%。重點解決了隊員日常統計訓練數據和優化比賽裁決的問題。
「科技體育覺醒」. 故事剛剛開始
伴隨著「大雪花」中心的生活緩緩熄滅，北京冬奧會完美落下帷幕。在半個月的時間里，我們或許都深有感觸——體育賽事比任何時候都與科技走得更近。
轉而又想起2月初，在北京冬奧會正式開幕前的圣火傳遞階段，有一個特別的「火炬手」——它在全世界的見證下，沿著動力東街、五一劇場路、群明湖大街、五一劇場南路環繞了一圈，完成了火炬傳遞的任務——它不是人類，而是來自百度的Apollo 的汽車機器人。
作為一個縮影，這位「汽車人」的出現，預告式地向世界展示了北京冬奧會的「科技冬奧」理念。在之后的奧運比賽時間里，全世界接連不斷地見證著科技體育的覺醒。
其中，百度的一系列「黑科技」是無疑是搶眼的；與此同時，我們也相信，在體育賽場內外，百度的故事還會繼續書寫。
本文章選自《AI啟示錄》雜志，閱讀更多雜志內容，請掃描下方二維碼
