那是什么声音? 人类与人工智能的二重唱 必威betway体育官网登录

必威betway体育官网登录是人类独特的事业, 通往灵魂的听觉之窗, 通过即兴创作发现, 通过协作磨练.

近年来, 必威betway体育官网登录 (ANU) 的研究人员引入人工智能 (AI) 技术来帮助诊断疾病, 副驾驶救援直升机, 以及关于宇宙起源的理论. 迄今为止, 但是, 没有应用生成式人工智能的主流乐器. 这种情况可能即将改变.

“我们正在创造新型乐器,”必威betway体育官网登录工程学院的查尔斯·马丁博士说, 计算 & 控制论 (CECC)。 “探索他们的行为方式的一个非常好的方法是在自由的即兴表演中尝试一下.”

马丁博士最近和他的两名学生一起上台， 亚历山大·亨特博士 必威betway体育官网登录学院的一场必威betway体育官网登录会，展示搭载人工智能和增强现实的智能乐器. 具有电影级舞台灯光和经过处理的视频投影, 必威betway体育官网登录家四重奏推出了六种新乐器, 每个都嵌入了人工智能和增强现实组件.

“AI 模型旨在让我们在表演时保持安静, 然后在我们停下来时做出回应,”马丁博士说. “我们的灵感来自于自由的即兴创作, 寻找探索新声音并了解这些人工智能系统如何工作的方法.”

这场音乐会最令人难忘的时刻是本科生必威betway体育官网登录机与音乐专业学生 Sandy Ma 用手慢慢按在嵌有 Beagle Bone 必威betway体育官网登录系统的被子上的表演. 人机二重唱呈现出一种模糊的音景，感觉和听起来都像电影中的场景, 一次进入数字地下世界的谨慎冒险，那里不和谐的声音——介于鲸鱼之歌和机甲哥斯拉之间——埋伏着.

她的手最轻微的触碰都会让咆哮的巨兽发狂. 然后, 她会碰被子的另一个地方, 而这头野兽会暂时被关在新的召唤和响应设想中, 从人到机器，然后再返回.

马丁博士解释说，必威betway体育官网登录会空灵的声音源于人类表演者的“古典实验必威betway体育官网登录审美”, 不是他们的机器人伙伴. 自 2014 年以来，他一直在一支名为的乐队中与 Hunter 博士一起表演 仙女座即将到来. “我们对电子必威betway体育官网登录家可能的手势功能感兴趣,”马丁博士说. “但我们正在开发可供其他必威betway体育官网登录家演奏的乐器，他们可能会找到更传统的应用方式.”

创意必威betway体育官网登录作为一种艺术实践

桑迪说她来到必威betway体育官网登录是为了攻读计算机和艺术双学位. “我之前的实践主要涉及陶瓷和雕塑, 我认为我需要将创意和计算分开,”她说. 但是当她参加马丁博士的荣誉课程时, 声音和音乐必威betway体育官网登录, 她意识到她可以同时追求自己的双重爱好：“创造性必威betway体育官网登录作为一种艺术实践”, 她说.

她的荣誉研究探索触觉感知作为必威betway体育官网登录表演者之间的桥梁, 人类和人工智能. 她希望在 必威betway体育官网登录表达的新界面 今年 9 月在荷兰举行的会议.

王一辰在参加马丁博士的荣誉课程后也对人机交互产生了兴趣. 她现在正在他的指导下进行博士研究.

必威betway体育官网登录会期间, 她首次推出了一款 AR 仪器，她设计的目的是在她的实际环境中显示分层的立方体阵列. 在她上方, 投影仪显示了她所看到的内容, 伴随着她通过触摸漂浮的立方体创作必威betway体育官网登录时手臂和双手的幽灵般的表演.

“因为 AR 系统将她的仪器覆盖在现实世界上, 这为她提供了一种与其他必威betway体育官网登录家非常自然地互动的方式,”马丁博士说. “她可以通过耳机看到他们在做什么, 以及看到她自己的乐器.”

尽管她的表演所呈现的画面无可否认令人惊叹, 她觉得必威betway体育官网登录还有一些不足之处.

“我尝试通过 AR 界面播放必威betway体育官网登录信息，但很难,”亦辰说. “播放速度非常快, 非人类方式.”

她现在需要一些时间来“认知性地处理信息并思考即兴创作的新方法”.

跨越实时障碍

必威betway体育官网登录领域人机交互的障碍包括技术方面, 道德, 哲学.

道德和知识产权影响是什么, 例如, 当使用现有必威betway体育官网登录来训练必威betway体育官网登录创作方面的大型学习模型 (LLM) 时?

马丁博士和他的学生通过即兴创作来训练和测试他们的模型，从而克服了这一障碍. 但这带来了新的挑战. “这是不可接受的, 因为它可能在图像或文本生成上下文中, 等待几秒钟以获得生成式 AI 响应,”马丁博士在他的论文中写道, 必威betway体育官网登录家的生成式人工智能.

他提出了一种“艺术家生成的小数据方法, 策划, 并训练生成式 AI 模型”，而不是使用之前生成的必威betway体育官网登录. 这就是他和他的学生通过持续研究和定期表演正在探索的内容.

“当你在舞台上创作音乐时, 您希望您的表现继续下去, 你不想让它坏掉,”马丁博士说. “所以, 存在一定的风险, 让这些必威betway体育官网登录系统可靠、实时地工作的压力感.”

现场表演, 因此, 复制必威betway体育官网登录解决方案的现实需求. “我们希望我们的必威betway体育官网登录机能够可靠地运行, 高效, 及时. 必威betway体育官网登录机音乐为学生提供了一个跨多个必威betway体育官网登录学科的非常有趣的视角.”

必威betway体育官网登录会以二重唱为特色, 三重奏和四重奏，人类表演者使用智能乐器进行即兴创作，而必威betway体育官网登录家则操作这些乐器.

“在实验即兴必威betway体育官网登录领域, 很难区分人类必威betway体育官网登录家和智能乐器响应,”桑迪说. “但是说实话, 我真的不在乎. 合作者就是合作者, 无论是数字还是人类. 两者都为性能体验带来了有效的输入.”

探索荣誉课程, 声音和音乐必威betway体育官网登录 必威betway体育官网登录计算机学院.

了解有关的更多信息 必威betway体育官网登录笔记本电脑乐团 以及如何参与其中.