2021年12月，IP內容實驗室（IP Lab）為解決細小道具及反光道具無法順利產製的困境，進一步達到助攻業者任務，特別引進「Vicon光學式動作捕捉攝影設備與同步系統」，並提供業者結合4DViews使用。自此，「動作捕捉技術」創新應用情形，亦為IP Lab關注議題。例如近年來日本放送協會（NHK）便藉助動作捕捉及人工智慧（AI）技術，打造懂得打手語的虛擬CG人物，為聽障人士的資訊平權貢獻一份心力。

依據 NHK 「STRL OPEN HOUSE 2022」官方報導，他們希望能透過輸入日文，讓CG人物以手語形式，針對訊息進行轉譯，使聽障者能更容易理解。由於手語沒有書面文化，將其轉換成CG動畫時，某些元素便顯得非常重要，以詞語順序來說，日文句子是由各個時間軸的字詞組成，但在手語中，左右手是可以同時表達不同詞語的；更別說手語還有許多獨特的表達方式，比如指向、點頭、搖頭、傾斜頭部等，每種都有自己的含意。除了以上兩種之外，還有節奏快慢、手部結合臉部動作改變語意等問題。這些在現有語言中，都沒有直接的對應翻譯，所以要格外留意。據報導，研究人員起初嘗試將許多句子的手語翻譯進行動作捕捉，過程中會設定好對話模式，接著再將需要的動作合成為樣本；但不幸的是，若給予的文本提示與動作捕捉的內容差異太大，單靠手語表達幾乎是不太可能的。

為了解決這個問題，NHK技研團隊便研究了某種動畫生成技術，該技術蒐集了NHK手語新聞十幾年來的日文及手語翻譯，並儲存在資料庫中（現已有15萬組句子），包括地區、天氣、溫度、日期、時間、數字等，再提供這兩種翻譯數據給 AI 學習與訓練，如此一來AI模型便能搭配先前所做的動作捕捉，將日文轉譯成一系列的手語辭彙。最後，CG人物會根據指令，無縫地將相對應的手語表達出來，這就是整個動畫生成的過程。

目前，此技術陸續應用在日本氣象廳所發布的氣象預報、體育賽事評論等領域。NHK更持續擴增手語資料庫規模，期為更多聽障者提供更多元領域的手語主播服務。我國政府近年推動打造友善、多元的社會環境，或許可以參考日本NHK技研作法，利用科技力建置臺灣手語資料庫，加速我國邁向沒有障礙的社會。

參考資料：

1. NHK 「STRL OPEN HOUSE 2022」官方報導：https://www.nhk.or.jp/strl/english/open2022/tenji/15/index.html

圖一、手語CG轉譯過程概念圖

圖二、NHK透過技術所生成的CG虛擬人物