带你了解CSS Pseudo-classes
|
为验证本文算法的有效性，作者团队将模型部署到工业机器人上，实现了一个智能码垛机器人（图 9，查看完整视频）。将仿真环境训练的策略应用到真实环境，涉及从虚拟到真实环境的策略迁移（Sim2Real）问题。为此，作者基于「Real2Sim」的思路，采用 3D 视觉算法，实时检测容器上箱子的真实摆放情况，并转换为与虚拟世界对应的理想 box 表示，作为强化学习模型的输入。对于乱序到来的随机尺寸箱子，该机器人能够连续、稳定、快速码放数十个箱子，容器空间利用率达到 70% 以上，性能远超现有同类型机器人。 作者在 BPP-k 上验证了排序树搜索可以使空间利用率随着前瞻数量 k 的提升而提升（图 7b），而使用蒙特卡洛树搜索可以在不明显影响性能的前提下，显著降低排序树搜索的时间开销（图 7a）。此外，作者针对 BPP-1 进行了用户研究，比较本文 BPP-1 算法和人摆放的空间利用率。如图 7c 所示，本文方法超越了人类摆放的性能：在总共 1851 个高难度随机箱子序列中，人类获胜的次数是 406 次，平均性能表现是 52.1%，而强化学习获胜的次数是 1339 次，平均性能表现是 68.9%。 显然，考虑所有的排序可能很快带来组合爆炸问题。为此，作者使用蒙特卡洛树搜索（MCTS）来减小搜索空间。作者基于 critic 网络输出的 Q 值，对从当前状态之后可能得到的奖励进行估计。在排序树搜索过程中，优先选择可能得到更高奖励的节点进行展开。这样可将搜索复杂度控制在线性级别。 此外，作者还介绍了处理箱子水平旋转和多容器码放的扩展情况。如果码放过程中允许箱子水平旋转，则只需将 BPP-1 模型中的动作空间和可行掩码同时复制，分别处理两种朝向。针对多容器码放，算法需要对箱子放入每个容器所带来的 Q 值变化进行量化：作者使用 critic 网络对箱子码放到某个容器前后的 Q 值进行评估，每次都将箱子放入 Q 值下降最小的容器内。 实验结果
在 BPP-1 上，作者将本文方法和其他启发式算法进行了对比（图 5）。在三种不同数据集上，基于深度强化学习算法的性能显著优于人为设计启发式规则（尤其是面向 Online BPP 的）。 如果算法能够在码放当前箱子的同时考虑之后到来的箱子尺寸，可能会得到更好的码放效果（如图 3 所示）。对于前瞻 k（k>1）个箱子的情况，一种方法是直接学习前瞻多个箱子的码放策略。但是，这种策略往往难以在任意前瞻箱子数目上很好地泛化。针对不同的 k 单独训练一种策略显然是不够聪明的做法。
对此，本文的处理方法是基于 BPP-1 这一基础策略，通过排序树搜索的方法拓展到 BPP-k 的情况。事实上，前瞻多个箱子的基本思想，就是在摆放当前箱子时，为后续箱子「预留」合适的空间，以使得这些箱子的整体摆放空间利用率更高。「预留」暗含了对于 k 个前瞻箱子的不同排序。因此，我们只需要搜索 k 个前瞻箱子的不同排序（图 4），找出一种空间利用率最高的排序，该序列所对应的当前箱子的摆放位置，即为当前箱子的最佳摆放位置。这样的处理方式，等同于在当前箱子的摆放过程中考虑了后来的箱子。不过，需要注意的是，在这些虚拟的摆放序列中，实际顺序中先到的箱子不能摆在后到的上面。 优秀的写作技巧是帮助你在上述所有方面取得成功的因素。 开发人员需要知道如何与技术水平较低的团队成员或客户沟通技术规范。他们很难理解充满专业术语、糟糕的语法和没有逻辑的文本墙。你会收到成堆的问题，而不是他们的回答，因此，你不得不花宝贵的时间解释和澄清。 你需要具备写作技巧来解释技术术语和概念，以使与你一起工作的任何人都可以理解。它将帮助你消除与客户和非技术人员之间的误会。 你需要知道如何编写良好的文档，以使代码易于理解和维护。它将帮助你避免与团队中缺乏经验的技术人员产生误解，让他们参与进来，并防止他们因为不了解软件的工作原理而犯错误。 写作技巧也与编写代码有关 将编写原则应用于编码，你可以编写比以前更加可维护的软件。诸如“了解用户”，“合理地组织信息”，“使用论据和证明”或“使用最能描述情况的单词”之类的原理也适用于编写代码。开发该技能需要时间，但是它将帮助您创建计算机和人类都易于理解的代码结构。
这不是通往职业发展和职业成功的必经之路吗? （编辑：鹰潭站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
