超越波士顿动力：深度强化学习助 ANYmal 机器人登上 Science 子刊

动物启发下的机器人运动控制

动物界中，许多生物拥有非凡的运动能力，它们能够在复杂地形中轻松行走、奔跑、跳跃，甚至攀爬。这些运动能力的背后，是动物的神经系统通过对周围环境的感知，实时调整肌肉的收缩和舒张，从而实现精细的运动控制。

受动物运动控制的启发，机器人研究人员近年来开始探索利用强化学习来控制机器人运动。强化学习是一种机器学习方法，它通过不断试错的方式，让机器人学习如何在特定环境中执行特定任务，而无需人工设计具体的控制策略。

ANYmal 机器人：超越波士顿动力

在 Science Robotics 子刊上发表的论文中，Jemin Hwangbo 等人介绍了他们使用深度强化学习打造的足式机器人 ANYmal。ANYmal 机器人由瑞士苏黎世联邦理工学院 (ETH Zurich) 的机器人与智能系统实验室 (RISLab) 开发，它重达 30 公斤，配备了 4 条腿和一个灵活的躯干。

为了训练 ANYmal 机器人，研究人员使用了一种名为「深度确定性策略梯度」(DDPG) 的强化学习算法。DDPG 算法能够让机器人学习在各种地形中行走、奔跑和跳跃，而无需人工设计具体的控制策略。

在训练过程中，研究人员将 ANYmal 机器人放置在各种复杂的地形中，包括楼梯、岩石和树木等。通过不断试错，ANYmal 机器人学会了如何在这些复杂地形中行走和奔跑，并且能够在不跌倒的情况下克服障碍物。

超越波士顿动力

在论文中，研究人员将 ANYmal 机器人的运动能力与波士顿动力公司的足式机器人 Atlas 进行比较。结果发现，ANYmal 机器人在复杂地形中的表现优于 Atlas。例如，在楼梯上行走时，ANYmal 机器人能够比 Atlas 更快、更稳定地行走；在岩石上行走时，ANYmal 机器人也能够比 Atlas 更轻松地克服障碍物。

研究人员认为，ANYmal 机器人之所以能够超越波士顿动力，主要得益于深度强化学习算法的强大学习能力。深度强化学习算法能够让 ANYmal 机器人在各种地形中不断试错，并从错误中学习，从而逐渐掌握如何在这些复杂地形中行走和奔跑。

未来展望

ANYmal 机器人的成功，标志着强化学习在机器人运动控制领域取得了重大突破。研究人员认为，强化学习将成为未来机器人控制的主流方法，它将使机器人能够在各种复杂环境中执行各种任务，从而更好地服务人类。

在未来，研究人员将继续探索强化学习在机器人运动控制领域的应用，并努力将强化学习技术应用到更多的机器人系统中。他们希望，强化学习能够帮助机器人学会更多人类的动作和技能，从而使机器人能够更好地融入人类社会，并为人类提供更多的帮助。