【产通社，3月16日讯】最近，Eon Systems PBC联合创始人兼创始顾问Alex Wissner-Gross博士分享了我们有关X的进展。这个具身飞蝇仅仅展示了具身大脑如何控制虚拟身体的第一步，相关工作仍在进行中。以下讨论虚拟飞蝇的工作原理及其局限性。

首先，我们承认该项目很大程度上建立于更广泛的神经科学体系，研究直接基于成蝇连接组（Dorkenwald）、连接组约束的脑模型（Lappalainen）、神经机械蝇体模型，以及数十年来对飞蝇感官回路、下行神经元和行为的绘制工作。当前系统是一个整合尝试，特别是现有脑模型和虚拟身体模型的整合。


假蝇是怎么工作的？


视频中，这只飞蝇利用看不见的味觉线索引导环境，朝着食物来源（以香蕉片形式表现）。假粉会在飞蝇上积累，因此飞蝇会停下来，梳理自己，然后继续向食物移动，开始进食。

对于大脑，主要基于成年飞蝇脑连接组构建的漏整合射（LIF）模型，约有14万个神经元和约5000万个突触连接，利用推断的神经递质身份确定突触符号。该模型表明，仅靠连接组结构就能恢复大量的感觉运动结构，用于喂食和梳理等行为。该模型依赖于更广泛的FlyWire工作以及系统注释的14万个神经元全脑资源。

我们还使用Lappalainen等人的视觉模型，这是一个飞蝇视觉运动通路的模型。在这项工作中，作者构建了一个连接组约束的循环网络，涵盖64种视觉细胞类型，覆盖了视觉场中数万个神经元，并证明在连接性和任务约束下，他们能够预测运动系统中的神经活动。结合NeuroMechFly虚拟实体，我们可以预测视觉系统的活动，然后将这些信息“导入”到Flywire LIF模型中。

为了体现大脑，我们使用了已发表的神经机械飞蝇身体NeuroMechFly，将飞蝇描述为一个解剖结构化的关节、作用、接触和执行的身体，具有物理模拟的关节、力、接触和执行。它拥有87个独立关节，组成一个精确的3D网格，该网格由对生物飞蝇的X射线断层扫描创建。数字飞蝇运行于MuJoCo物理引擎上，该引擎为行为模拟提供了高精度、物理受限的环境。


感官输入：虚拟世界如何进入大脑


NeuroMechFly v2已经实现了感官输入，包括模拟视觉和嗅觉。

对于味觉，我们可以激活对应于欲望刺激（如糖）或厌恶性苦味神经元的味觉受体神经元。在我们的模型中，类似于生物飞蝇，NeuroMechFly体内对腿部和喙部的味觉输入被激活，会导致大脑味觉输入的激活。这导致了进食、转身和减速，接近食欲的食物。嗅觉同样可以通过激活相应的嗅觉受体神经元来实现。

在触摸和美容方面，我们使用触角机械感觉通路。Hampel等人发现了一种触角修整指令回路，其中Johnston的机械感觉神经元驱动大脑回路，最终形成足以诱发梳理的触角下降神经元。我们当前的接口直接利用了这一理念：“虚拟尘埃”激活触角机械感觉神经元，这些神经元随后触发与触角修整相关的下降信号。

连接组控制视觉（即用Lappalainen模型建模视觉系统）已经在NeuroMechFly模型中实现。我们确定视觉系统神经元的预测激活，并将这些神经元的激活“导入”到我们LIF模型中的相应神经元中。


而当前具象的飞蝇


我们的工作是对已发表部分的整合;我们在这里指出了我们工作的一些局限性。重要的是，我们只实现了一小部分感官输入，且只模拟了少数几种行为。

首先，Shiu等人的模型是一个简化的神经元模型。它采用了泄漏的积分与发射动力学，而非形态学细节丰富的多区间神经元，并依赖推断出的神经递质身份和简化的突触模型。这意味着树枝状的非线性、生物物理通道多样性以及许多特定动态并未被表现出来。这足以恢复部分感觉运动变换，但显然无法捕捉神经活动的全部范围。此外，内在状态、可塑性、学习和激素变化大多缺失。生物飞蝇在所有情境下对相同的感官输入反应并不相同。饥饿、饥饿、唤起、交配状态、产卵状态、近期感觉病史、神经调节因素和学习都会重塑感觉运动的转变。

接下来，脑体耦合在整个技术栈中仍是一个具有挑战性的工程和科学难题。核心难点不仅仅是将神经模拟和物理模拟并行运行;它决定特定下行神经元的放电频率或峰值应如何映射到扭矩、关节轨迹、姿势变化或协调的腿部动作序列上。特定的感觉刺激应该以多大的速度激活特定的感觉神经元，而特定的下降神经元活动又应该对转弯速度产生多大影响？这些映射可以像我们一样，在某种程度上由人工选择，也可以通过强化学习，或由低级别控制器中介，但在所有情况下，它仍然是真实运动层级的近似。对此的一个解决方案可能是通过更多的影像学或电生理学来理解DN发射频率与特定行为之间的具体转变。

此外，我们目前的下行神经元界面相当稀疏。DNa01、DNa02、aDN1、oDN1、巨纤维、口器运动神经元以及我们实验过的其他一些神经元参与多种行为，但它们并未涵盖蝇类下降神经元行为控制的全部范围。最新研究表明，下降神经元数量众多，部分冗余，具有层级结构，且基于群体。有些是“广播员”，负责招募其他DN;其他则贡献了转向、梳理、飞行或繁殖行为等专门组成部分（Braun 等，2024）。这意味着我们当前的控制器可以产生可识别的行为，但几乎肯定是通过比生物飞蝇使用的更低维度的控制界面实现的。我们和其他具身模型的一个有趣用途是，在某些感觉输入的情况下，预测特定下行神经元在预测活跃时间时的作用。Pugliese 等人通过计算激活屏预测特定下行神经元的作用（Pugliese 等，2025）。我们还注意到，将模型扩展到包含VNC和其他输出也是一个有用的方向。

最后，我们的结果尚不应被解读为仅凭结构就足以以科学严谨的方式恢复飞蝇全部行为库的证明。我们希望探索的是纯结构到行为的方向，但对于广泛的具身应用，可能需要额外的学习、更多的先验、更详细的运动界面和更多功能性数据。从这个意义上说，目前具象化的飞蝇最好被理解为一个研究平台和演示平台。


结论


我们认为具身飞蝇是一个重要的第一步。它不是终点，目前模型有许多显著的简化。但它可能是连接组约束的感觉运动控制、评估候选脑-身体接口以及使具身模拟问题足够具体以得到改进的有用试验场。我们也希望这次演示能成为脑模型具象化可能运作方式的有趣且令人兴奋的演示。

剪报来源：
https://eon.systems/updates/embodied-brain-emulation
论文链接：
https://www.nature.com/articles/d41586-024-03190-y