林沛怡指出，音响与视觉效果输出的构想还有待开发。关键还是在于交互系统的设计，传感器的设定，如何处理和编辑捕捉到的数据。“当这个技术框架逐步稳定成熟之后，我们就可以和更多艺术家坐在一起探讨更多应用的可能性。”
本地创意科技公司Avventura今年初发布DanceXR项目，是与新加坡华族舞蹈剧场、玛雅舞蹈剧场（Maya Dance Theatre）和巴斯卡尔艺术学院（Bhaskar’s Arts Academy）合作制作的一系列VR舞蹈电影。其中《翔》和《轻声树语》都是新加坡华族舞蹈剧场曾经登台的作品，特别为VR制作调整编舞。
“Augmented Harmony”购票链接：bit.ly/augmented-harmony-launch。
林沛怡所提到的“沉浸式体验”的确是现今影音产品发展的一大趋势，从电影到游戏，虚拟现实（Virtual Reality，VR）技术的应用已不再新奇。然而在传统艺术领域，VR创作还是一片蓝海。
李楚人的合作者、创意科技设计师（creative technologist）魏晋今介绍，过去实现AR效果需要下载特别的应用软件扫描QR码，而这次她将采用WebAR技术，观众使用网页浏览器即可体验AR效果。她也使用近场通信（Near-field communication，NFC）技术，在现场布置多触发点，在音乐会的进程中触发特效。NFC通过手机内置芯片实现，如今普及的“payWave”等非接触式支付方式即是应用之一。魏晋今不久前创办Lay Wei Media公司，希望借助科技赋能，让更多艺术形式更富表现力。
交互设计师林沛怡说：“一开始我们构想把肢体动作解构为12个类别，比如平面移动、旋转、摆动等。但团队中的舞蹈艺术家卓子豪认为，舞台动作并不完全是机械性的，其中也包含空间感和情绪表达。因此我们重新规划为五个维度，分别是点、线、面、体积及情绪感知。”
“人们走进黑箱剧场时，会发现我躺在钢琴底下。如果他们拿出手机对着我，则会看到我被红绳捆绑着。”李楚人说：“自由与束缚，是我这部创作的核心主题。华人文化中有月下老人牵红绳的传说，当两个人步入婚姻，也是将彼此的命运捆绑在一起。当然每个人都有各自的文化视角，也许他们会有其他解读，但透过虚拟视觉效果，一定会激发人们更多维度的想象。即便是对古典音乐了解不多的观众，也能在这种沉浸式环境中，体会音乐传达的多层含义。”
相较于应用科技实现特定舞台体验的“Dots 2.0”，另一团队研究的“Theories of Motion”（动态的理论）则更像是一门开放性技术，通过传感器对表演者的肢体动作进行解构和数据分析，为更多舞台工作者提供新的可能。
为VR制作调整编舞
舞蹈剧场艺术总监梁杰旎说：“《翔》和《轻声树语》分别是360度和180度的VR视频，通过佩戴VR眼镜，观众有如置身舞台中央观赏舞蹈。因此编舞和布景也有调整，比如用手遮挡镜头切换场景等。VR创意诞生于疫情期间，当时现场演出受到很大限制。通过这种技术，更能让观众身临其境地体验舞蹈艺术。这也是我们对于融入数码时代的一种探索。”
“我很推崇德国作曲家瓦格纳的整体艺术（Gesamtkunstwerk）概念并深受启发，他主张将音乐、戏剧、视觉艺术等多种艺术形式融合为统一的整体。”李楚人说：“这并不是说我要一直做跨界融合、多媒体音乐会，科技终究是工具，帮助我接近艺术的真谛。在我看来，艺术的真谛就是表达生而为人的意义。”
她进一步说明，通过双臂和上肢佩戴的八个传感器，电脑捕捉到舞者动作的位移和速度。“比如子豪在空中做出一个‘劈开’的动作，便可被捕捉为‘面’的纬度。体积是前三个维度的集合，而情绪感知则建立在这一维度之上。比如当你难过哭泣的时候，你的身体自然是收缩而不是扩展的。包括静态，也蕴藏着丰富的情绪。”
DanceXR系列的四部视频已经在Meta TV、YouTube和DeoVR等平台发布，拥有VR眼镜设备的观众可以免费观赏。若没有VR眼镜，也可在手机屏幕上通过转动方向观看全景舞蹈，只是观赏效果大打折扣。
邬秀丽说：“这个故事给我们很多启发，不仅是艺术创作方面，而是在任何一件事上，都要相信积跬步以至千里的道理。因此我们想做一个项目，激励孩子们相信自己，并在任何事情上迈出第一步。”
音乐、舞蹈、戏剧等传统表演艺术，不仅是人类文明的艺术结晶，更是千百年来人们表达情感的重要手段。尽管从一方面看，近百年来兴起的电视、网络视频等大众传媒分散了人们文娱生活的注意力，更快捷的消费方式减少了人们走进剧场的频率，给传统舞台的经营模式带来挑战，但对于勇于拥抱变革的艺术工作者，科技也为艺术创作和表达带来新的机遇。未来的传统表演艺术，可能并没有你想象的那么“传统”。
听一场AR钢琴音乐会，戴着VR眼镜观看舞蹈，将是怎样的一种体验？儿童舞动身体便可“作画”；通过传感器解构舞蹈，输出影音效果……一些艺术家放眼未来，提前进场，探索科技与舞台表演融合的可能性。
“我们的构想是利用这些数据，输出与舞蹈对应的音响或视觉效果，从而创造更加沉浸式的舞台体验。”林沛怡说：“在成果展示会上，我们对子豪的肢体动作进行了实时的音响处理，在场观众也感受到声音造型与动作的互通性。”
“Dots 2.0”是由戏剧工作者詹文倩和邬秀丽以儿童绘本读物“The Dot”为脚本创作的剧场作品，讲述一个小女孩从自我怀疑中走出，激发创造力的故事。小女孩最初以为自己不会画画，只在纸上画一个点，但老师给了她很多鼓励，从那个点开始，她开始尝试不同的颜色、不同的形状、不同的大小，逐渐发展成更大的图案，最后甚至在画廊举办了自己的展览。
在“Dots 2.0”工作坊上，儿童对着摄像头舞动身体，便可“画出”五彩缤纷的图案和线条。担任技术开发的林伟豪介绍：“这主要是借助视觉传感和投影技术，摄像头捕捉儿童的肢体动作，再通过计算处理把图像投影到四周的墙壁上。目前视觉传感技术在自动驾驶汽车等领域已经非常成熟，我们的互动体验正是建立在这项技术的基础上。”
解构舞台动作 化为影音效果
作为国家艺术理事会2023年至2027年的“新加坡艺术拓展蓝图”（Our SG Arts Plan）的部分内容，Performing Arts x Tech Lab（表演艺术 x 科技实验室）是由艺理会和滨海艺术中心合作展开的孵化项目。入选的六个团队，分别在动作传感、投影技术、数据处理、人机交互和人工智能生成等方向，探索科技与舞台表演融合的可能性。
Avventura创办人周启明说：“早在十年前，就有外国艺术团体尝试探索用VR技术制作节目。如今不仅技术更成熟，拍摄成本也更低。不过在本地，这方面的应用还不足。一方面是传统艺术团体的接受度不够，另一方面是VR眼镜的普及率不够高。”
或许出于VR设备普及率的原因，视频发布后的浏览量并不高，但周启明和梁杰旎认为随着时间的发展，未来人们会像看YouTube一样，大量消费VR内容，因此提早入场，是未雨绸缪的先行准备。梁杰旎说：“对于表演艺术家来说，科技是个机遇，提供全新的表演平台和创作空间。虽然可能会增加一些成本，但这也是为了适应数码化时代的潮流，并为传统艺术注入新活力，以便在未来能够更好地传承和发展。”
本地首个AR钢琴音乐会
作为一名新锐钢琴家，李楚人一向善于利用多媒体、多重感官的技术展现钢琴和古典音乐的魅力。去年由她策划的“Moonrise”音乐会采用环绕沉浸式的幕布投影和轨道灯光，在极具未来感的气氛中，钢琴家重新演绎了贝多芬和德彪西的两首《月光》。“Augmented Harmony”是“Moonrise”的“增强版”，演奏同样的音乐，却在视觉传达上更富有层次。
“小时候我们用蜡笔在墙上涂鸦可能难以收拾，如今借助科技，孩子们可以在投影墙上尽情作画。”詹文倩说：“这会让我们的故事叙述更富体验感，仿佛魔法一样在孩子们心里留下更深刻的印象。”
通过体验感激励孩子
相较于虚拟现实技术，增强现实（Augmented Reality，AR）则是在现实环境基础上，增加虚拟效果提升体验。本地钢琴家李楚人今年8月将在艺术之家（The Arts House）的Play Den黑箱剧场，呈献新加坡首个AR钢琴音乐会“Augmented Harmony”。
