此次线上分享会主要围绕医疗机器人展开。ProtoPie CEO 及联合创始人 Tony 首先介绍了ProtoPie 的产品亮点 ，以及为何 ProtoPie 在医疗机器人领域至关重要，并展示了自己制作机械臂原型的案例，分步指导大家完成这一原型制作的全过程。最后在问答环节补充说明了实现机械臂制作的技术问题，介绍了 ProtoPie 在其他领域的应用。

下面来一起看看分享会的实况吧！（内附中文字幕）👇

ProtoPie 是一个高级原型制作工具，它支持构建产品级别的原型并能进行硬件集成。可以构建交互终端，并且可以使用物理控件来控制显示。

比如上图中左上显示的耳机展示交互，右边显示的宜家沙发放置效果预览交互，左下显示的使用物理装置控制播放音乐的交互。以上都可以使用 ProtoPie 来完成。

ProtoPie 支持多软件协作，可以置入设计师的工作流，与Figma、Adobe Xd和Sketch协同使用。

ProtoPie 支持跨设备交互。在左上方可以看到由智能手机控制的烤箱，在左下方可以看到洗衣机也可以由你的智能手机控制，在右上方可以看到优化后的亚马逊配送系统原型，然后在左下角可以看到手机支付交互终端。

ProtoPie 也支持多模态交互。语音交互、触摸反馈和感应控制都是可以实现的。ProtoPie 打通了谷歌语音API，支持52种语言与其进行交互。

体验一下👇

扫描左手边的二维码后，可以对手机说 "Hello, Avery" 来唤醒原型，它可以听到你的声音。然后你可以说：“播放一首歌” 或者 “今天天气怎么样？” 扫描右手边的二维码以后，可以倾斜你的手机来控制战斗机，触摸屏幕来开火。（快来试一试！希望你能赢得这场战斗。）

多模态交互的另一个案例是头部状态识别，应用在汽车领域。通过监测头部的运动，可以识别到司机什么时候开始打瞌睡，从而及时发出警告避免事故。

上图展示了来自Intuitive Surgical 公司的名为达芬奇的手术机器人。

达芬奇是由三部分组成的，主要的是操纵装置、动力控制器和机械手臂。在手术室里，每个部位都由指定的医生或护士控制以避免交叉感染。由于每个部分都需要相互传递信号，ProtoPie 的整个生态系统就派上用场了，ProtoPie 支持他们使用控制器和触摸屏来远程控制机器人。由此可见， ProtoPie 用于机器人和医疗行业来支持各种使用场景的巨大潜力。💡

为了进行这一演示，我们购买了一个 Arduino Braccio 智能机械臂 以及一个无线游戏手柄（这一手柄将作为控制器使用），以便用这两个东西来组成一套外科智能机械臂的原型。为了让这个智能机械臂显现出医疗器械感的外观，我们把它涂装为白色。

由于外科机器人一般都装有一个用来监测患者及周围环境的摄像头，于是我们也在智能机械臂夹爪的末端安装了一个 USB 摄像头模块。在网上很容易就可以买到这类 USB 摄像头 模块。

用一块 Arduino UNO R3 作为相应的开发板并将其与一块扩展板集成组装起来，从而最终完成了这样一套医疗器械原型中硬件部分的准备工作。

如下图所示，这个智能机械臂总共有6个伺服电机，通过 ProtoPie Connect 发送消息可以实现对其中的任何一个进行独立控制。

将 Arduino 开发板通过 USB 数据线连接到笔记本电脑上并运行 ProtoPie Connect。点击插件 → Arduino → Port → 选择 USB 端口。

接下来，点击 Arduino 插件设置中的 Run 以完成启动。

发送一些消息来测试智能机械臂是否运转良好。譬如，可以发送消息名为 shoulder、值为 90 的消息来测试肩部是否旋转到90度的位置。

把无线控制器通过蓝牙连接到笔记本电脑上。连接了无线控制器并运行了游戏手柄插件后，ProtoPie Connect 就可以接收到游戏手柄发出的信号。

连上了作为无线控制器使用的游戏手柄以后，ProtoPie Connect 从游戏手柄上接收控制信号，然后将这些信号广播发送到 Arduino 上。

我们还用 ProtoPie 制作了一个供数字用户使用的界面原型。通过这个原型，用户可以从界面上控制智能机械臂，同时这个原型还提供了游戏手柄和 Arduino 之间进行信号交换时的信号转译功能。

这一复杂工程的最后一部分是将一个实时摄像头捕获到的视频以推流的形式整合到 UI 上。要实现这一步，就需要用到一个节点服务器，以便用摄像头推流来覆盖 Pie 文件的显示。

💡 敬请期待：在最新版 ProtoPie Connect ，会提供将自定义交互图层集成到 Pie 文件内的功能。这样的自定义交互图层可以实现对网页实时通信（WebRTC）的集成支持，类似本例中的 USB 摄像头推流等内容届时就可以实现直接接入到原型中。

集成了摄像头推流后，呈现的 UI 效果就会类似下图所示。

大功告成！外科智能机械臂原型制作完成.

问: 能给我们一些用 ProtoPie 在医疗机器人领域创造沉浸体验的例子吗

答： ProtoPie 支持 VR 或 AR 原型制作，将原始的Pie文件接入Unity后，就可以用VR设备看到原型效果了。

问：制作这个机械臂的总成本是多少呢？

答：如果不算劳动力成本，大约是400多美元不到500美元。

问：ProtoPie 如何用于可穿戴医疗设备？

答：可以使用可穿戴设备比如Oura Ring，他们给出了开放的 API 来分享来自身体的生物信号，因此可以利用这些信号来制作原型。例如 ProtoPie 也可以有 API 插件，可以通过 ProtoPie Connect 的 API 插件提供生物信号，然后把所有的信号广播到Pie文件上，就可以在智能手机上展示了。

问：如果想要制作Apple Vision Pro的原型，但没有真实设备，这意味着原型必须包含手势、声音设计和空间设计等因素，如果没有背景编码，用 ProtoPie 是否能做到这一点？

答：实际上 ProtoPie 正在与 Apple 进行合作，正在研究空间计算原型功能。我们希望尽快发布测试版本，之后就可以轻松实现这个功能了，敬请期待！

问：但除了医疗科技，还有什么其他行业可以使用 ProtoPie ？

答：除了医疗科技，我们在汽车行业有很多客户。因为从软件制造商的角度来看，医疗领域和汽车行业非常相似，它们很难集成，因为它们有大量的信号需要在多个组件之间相互通信，而且面对的情况总是比较紧急。

还有例如航空业，一些航空公司会使用原型来设计数字地毯。还有物联网公司和更多其他的行业，比如电视制作、游戏等。 有趣的是许多特效公司喜欢使用原型进行影视制作，比如《继承之战》第 2 季和《惊声尖叫》第 6 季中，使用 ProtoPie 来模拟智能手机和笔记本电脑界面，让运营工作人员远程控制其智能手机和笔记本电脑中显示的内容，演员可以更在关注他们的演技。