布袋戲隨著移民傳入臺灣，歷經許多變化，發展出屬於臺灣的文化特色。「金光布袋戲」結合豐富的聲光效果與舞台機關等技術成為知名的布袋戲IP。國科會「科技藝術跨域融合與創新研究計畫」中的《未來布袋戲劇場：人機互動、混合現實與操偶美學》計畫，則以多種科技操偶方式，挑戰對未來布袋戲表演的想像。國立臺灣藝術大學多媒體動畫系系主任李俊逸擔任子計畫《功名掌上尋》主持人，探討「動態捕捉操偶」技術，將傳統表演藝術結合科技應用，開創美學新境界。

《功名掌上尋》取材自布袋戲起源傳說《功名歸掌上》，結合現場操偶、虛擬偶戲和肢體表演，透過全息投影，以虛實互動辯證文本主題。演員模擬布袋戲偶在操偶師手掌上翻飛的型態，而虛擬的戲偶也藉由動作捕捉技術，呈現出真人表演的動作質感。團隊邀請擁有多年戲曲編導經驗的表演者劉富丞合作，在生、淨、旦、虎多角之間操控變換，不但考驗演員功力，也展現科技應用介面的效能。在初步劇本和角色設定成型後，臺藝大多媒動畫藝術學系的學生們以Blender和Substance Painter進行角色概念和場景設計、3D建模，並運用Unity與演員一同開發、測試骨架轉換系統，最終再由導演整合系統，並加入操偶師現場演出，經過兩年打磨，最終完成豐富、順暢的作品。

在《功名掌上尋》中，團隊利用慣性動態捕捉系統Xsens motion capture，即時建立動作資料。Xsens motion capture以感測器組捕捉動作，表演者可以自由移動，不須受標記點或攝影機視角限制，隱藏在衣服內的動捕裝置也讓服裝造型更有彈性。為了將捕捉到的人體骨架完美轉換到布袋戲偶身上，他們也開發了人體骨架轉換系統VRM ，讓虛擬布袋戲偶可以在模擬手掌骨架操偶的結構下進行表演律動。

然而，Xsens和Unity軟體內的Humanoid本身有特定的骨架結構，無法支援特定3D軟體的特殊功能，此外，若演出中感測器偏移或斷訊，也只能仰賴演員的臨場反應，到幕間才能調整。演員們也表示，穿著動捕設備表演時，需要控制肢體角度避免模型穿模，需要控制肢體角度避免模型穿模，演繹虛擬角色更是一大挑戰，必須多加揣摩。

《功名掌上尋》於2023年11月在臺藝大科技藝術實驗劇場呈現，並以錄像形式在高雄市立美術館展出，近期獲得2024美國謬思創意大獎金獎。《功名掌上尋》是臺灣第一齣融入戲曲、布袋戲及動態捕捉技術的科技藝術表演，讓實體演員、虛擬與實體布袋戲偶三方進行跨域對話，富有傳統文化與新型態表演結合的意涵。藉由科技技術的介入及表演形式的融合，帶給觀眾不同於以往的布袋戲表演樣貌及想像。

參考資料：

1. 謬思設計獎：https://reurl.cc/0dMnqk

2. 科技藝術跨域融合與創新研究計畫：https://nstc-artstech.net/project/future-puppet-show-zh

圖一、結合虛擬與實體布袋戲偶、真人演出三方進行對話

圖二、布袋戲3D投影依循表演者動態共同演出

圖三、演員與實體布袋戲偶互動