top of page
02
回声律动 - AI声音互动与竞技装置
该项目是一款人类 vs. AI 的拍手二重奏游戏
参与者创造节奏...
人工智能通过学习并以自己的拍手节奏进行回应

项目视频展示

Play Video
项目简介
在回声律动项目中,我们使用 Google 的 Magenta AI 来探索节奏与声音。该项目是一款人类 vs. AI 的拍手二重奏游戏,参与者创造节奏,人工智能通过学习并以自己的拍手节奏进行回应。我们希望通过这个项目打造一种非正式的音乐互动体验,让每个人——无论是否具备音乐背景——都能不仅通过聆听来享受音乐,更能主动参与创作。
麦卡锡和赖特(2015)在《Taking [A]part》中强调,以体验为中心的设计应赋予参与者主动塑造互动的能力,创造一种让人感受到自主性和参与感的空间;怀特(1980)在《小城市空间的社会生活》中也倡导设计能够激发自发社交的公共空间,通过简单易行的互动加强社区纽带。回声律动(ClapEchoes)借鉴了这些理念,邀请参与者与AI共同参与一种共享的节奏体验。通过设计直观、有趣的共同创作,回声律动旨在增强公众参与感和场所营造,将节奏转化为公共环境中促进社交互动和连接的催化剂。同时,布莱金(1973)和费尔德(1982)关于节奏同步的理论进一步支持了这一设计,强调了节奏在创造社会团结和共享文化体验中的核心作用。回声律动通过AI镜像参与者的拍手节奏,构建了一个反馈循环,将互动转化为协作性、社会化的体验,使节奏成为连接人与人的桥梁。

技术研究
拍手训练: 我们使用Edge Impulse平台训练Arduino,使其能够识别特定的拍手模式。首先,我们设置了训练环境并设计了脉冲模型,随后在Arduino Nano上进行了测试和部署。训练数据包括我自己的拍手声音以及一些从网上下载的拍手声样本。通过这种方式,我们能够确保模型能够准确区分拍手与其他声音,从而实现精准的检测功能。
音乐生成: 我们在CodePen上尝试了Google Magenta的DrumRNN模型。该模型基于节奏生成鼓点,专注于节拍而非旋律,非常适合创作节奏驱动的互动体验。DrumRNN的节奏结构与拍手的简单性和普遍性相契合,使我们能够设计出与拍手节奏相匹配的互动音乐生成系统。通过调整模型参数,我们进一步优化了生成的节奏模式,使其更符合拍手的自然节奏感,从而为用户提供更加沉浸式的互动体验。




1/4
建模与制造




1/4
第一次迭代:我们的目标是快速制作一个原型作为概念验证。拍手动作通过一个微型伺服电机实现,但并未产生声音。我们发现可以通过代码优化拍手的响应,但伺服电机的速度仍然限制了响应时间。
第二次迭代:声音可以通过步进电机的速度、弹簧的位置和强度以及轮子的形状来调整。
第三次迭代:我们使用更强的步进电机,仅用一个电机就实现了更好的拍手同步。手部可拆卸,方便测试不同尺寸以优化拍手声。手部之间留出间隙,用于测试硅胶、橡胶和金属等材料。整个项目用白色PLA线材3D打印,适合早期快速制作和调整。
完整版项目作品预览




1/17
bottom of page