JVM基础，快进来复习复习吧

基于带约束强化学习的 BPP-1 求解

强化学习是一种通过自我演绎并从经验中学习执行策略的算法，很适合求解 Online BPP 这种基于动态变化观察的序列决策问题。同时，堆箱子过程的模拟仿真非常「廉价」，因而强化学习算法可以在模拟环境中大量执行，并从经验中学习码垛策略。

然而，将强化学习算法应用到 Online BPP 上面临几个方面的挑战：首先，如果将水平放置面划分成均匀网格，BPP 的动作空间会非常大，而样本效率低下的强化学习算法并不擅长应对大动作空间的问题；此外，如何让强化学习算法更加鲁棒、高效地学习箱子放置过程中的物理约束（如碰撞避免、稳定支持等），也是需要专门设计的。

为了提升算法的学习效率，同时保证码放的物理可行性和稳定性，作者在 Actor-Critic 框架基础上引入了一种「预测 - 投影」的动作监督机制（图 2）。该方法在学习 Actor 的策略网络和 Critic 的 Q 值（未来奖励的期望）网络之外，还让智能体「预测」当前状态下的可行动作空间（可行掩码，feasibility mask）。在训练过程中，依据预测得到的可行掩码将探索动作「投影」到可行动作空间内，再进行动作采样。这样的有监督可行性预测方法，一方面可以让强化学习算法快速学习到物理约束，另一方面也尽可能避免了训练中箱子放置到不可行位置而提前终止序列，从而显著提升训练效率。
 

在物流仓储场景中，无序混合纸箱码垛机器人有着大量的应用需求。对于乱序到来的、多种尺寸规格的箱子，如何用机器人实现自动、高效的码垛，节省人力的同时提升物流周转效率，是物流仓储自动化的一个难点问题。其核心是求解装箱问题（Bin Packing Problem，BPP）这一经典的 NP 难题，即为每一个纸箱规划在容器中的摆放位置，以最大化容器的空间利用率。求解 BPP 问题的传统方法大多是基于启发式规则的搜索。

在实际应用场景中，机器人往往无法预先看到传送带上即将到来的所有箱子，因而无法对整个箱子序列进行全局最优规划。因而现有的 BPP 方法无法被直接用于真实物流场景。

事实上，人可以根据即将到来的几个箱子的形状尺寸，很快地做出决策，并不需要、也无法做到对整个箱子序列的全局规划。这种仅仅看到部分箱子序列的装箱问题，称为在线装箱问题（Online BPP）。物流输送线边上的箱子码垛任务一般都可以描述为 Online BPP 问题。因此，该问题的求解对于开发真正实用的智能码垛机器人有重要意义。

在 Online BPP 问题中，机器人仅能观察到即将到来的 k 个箱子的尺寸信息（即前瞻 k 个箱子），我们称其为 BPP-k 问题。对按序到来的箱子，机器人必须立即完成规划和摆放，不允许对已经摆放的箱子进行调整，同时要满足箱子避障和放置稳定性的要求，最终目标是最大化容器的空间利用率。Online BPP 问题的复杂度由箱子规格、容器大小、箱子序列的分布情况、前瞻数量等因素共同决定。由于仅知道部分箱子序列的有限信息，以往的组合优化方法难以胜任。

近日，国防科技大学、克莱姆森大学和视比特机器人的研究人员合作提出了使用深度强化学习求解这一问题。该算法性能优异，实现简单，可适用于任意多个前瞻箱子的情形，摆放空间利用率达到甚至超过人类水平。同时，该团队结合 3D 视觉技术，实现了业界首个高效能无序混合码垛机器人。论文已被人工智能顶会 AAAI 2021 大会接收。

（编辑：鹰潭站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!