基于VR技术辅助机器人遥操作系统研究

基于VR技术辅助机器人遥操作系统研究

沈次郎

身份证号码：421223199603203233

摘要：机器人远程操作技术是近年来的一个研究热点，它可以通过通信链路对机器人进行实时控制。机器人遥操作实现了主机器人与从机器人、从机器人与环境的交互。该技术已广泛应用于高温、高压、强辐射等极端环境，如深海、太空探索、核电设备运行等。遥操作过程中主要依赖于视觉信息。人类从两只眼睛感知的空间为三维结构,深度信息对于执行各种操作任务至关重要。相机将三维世界成像到二维屏幕中丢失深度信息,而立体显示在各种遥操作场景中都可以有效缩短任务的完成时间,提高任务精度.虚拟现实技术是一种新兴的高新实用技术,可以有效与机器人技术进行结合。操作者通过虚拟现实技术提供的视觉、力觉等手段显著提高机器人遥操作的沉浸感、准确度和快速性。

关键词：VR技术;辅助机器人;遥操作系统

引言

遥操作人机交互系统最重要的功能是准确获取操作者的控制意图，并将其转化为控制指令发送给被遥控机器人。传统的交互设备，如键盘、遥控器等，不能直接显式地将操作者的动作转换为被控对象的动作。目前，拟人交互设备已成为遥操作机器人交互系统的一个流行发展方向。本文搭建了一套能在野外执行任务的遥操作机器人系统，通过结合光学追踪器和惯性传感器的方式捕获高精动作数据并进行实时映射。为解决遥操作系统普遍存在主从端异构、工作空间大小不匹配以及控制数据不稳定等问题，提出一种相对位姿尺度变换的遥操作姿态映射算法和低时延的轨迹平滑方法，实现主端对从端机器人的精确控制。该系统能提供精准的捕捉效果、高效的动作映射和实时的信息反馈，使用在线轨迹规划方法克服噪声问题，实现连续平滑的机器人控制效果。

1 VR技术简述

这是计算机生成的高科技仿真系统虚拟现实的一项关键技术。目前，VR技术分为本地VR和云VR，两者的根本区别在于是否在云端进行计算和图像渲染。本地VR是在用户端进行图像渲染，这对CPU等硬件设备有着较高的要求，也会增加用户的购买成本；佩戴设备较为沉重，舒适度有限。云端VR因为计算和渲染均在云端，终端只需要显示和传输，也就降低了对终端设备的要求，可有效控制成本，设备也更轻巧。可见云端VR优势更为明显，能解决VR技术发展的局限性，是未来VR技术更好发展的途径之一。云端VR的构成包含内容层、平台层、网络层、终端层这4个部分，其中内容层又包含内容提供与内容聚合两个部分，主要的任务是为平台层传递VR内容，如视屏业务。网络层要为云端VR提供稳定的网络传输，终端层则是负责控制命令采集、视屏转码、屏幕层现、接入网络等。云端VR发挥作用的根本是计算机的应用能力，即内容上云、渲染上云的能力，简言之，云端VR需要优质网络才能保证沉浸式体验。

2总体结构设计

基于VR技术辅助的机器人遥操作系统，硬件设备包括GeomagicTouch台式主机器人、HTC-VIVE套件、上位机、虚拟现实仿真服务器、从机器人计算机及控制器、四自由度系列从手。操作者操作主机器人时，上位机获取主机器人末端坐标并通过Socket网络发送到从机械臂控制器中。经过控制器解算求出从机械臂各关节转角﹐对从机器臂进行运动控制。与此同时将从机械臂位姿数据通过网络发送回上位机﹐再由上位机将从机械臂位姿数据发送到虚拟现实仿真服务器对虚拟机械臂进行控制。虚拟系统通过HTC-VIVE套件给操作者视觉上的反馈提示;另一方面,虚拟机器人在触碰虚拟物体的同时，将碰触信号发送回上位机﹐由上位机控制GeomagicTouch桌面主机器人提供力反馈。

3基于VR技术辅助机器人遥操作系统分析

3.1从机器人控制系统设计

Matlab/Simulink包含专门用于实时控制的RTW工具箱(realtimeworkshop)。下机采用LinksaBox实时模拟器，RTW导出的目标文件为完整的可执行文件。将生成的代码文件加载到实时仿真机中,可实现仿真参数的实时更改﹐并且内置于下位机的运动控制卡，其常用开发功能﹐如PWM脉冲输出﹑模拟量采集、数字量输出等，也都被进行合理封装，将复杂编程简易化。Simulink模型包含主手运动学正解求取末端位姿、位置映射算法﹑从手运动学逆解求取各关节角、PID控制器、Socket客户端。使用RTW配合下位机Link-box实时仿真器﹐使得系统开发周期和成本都大大降低[1]。

3.2系统组成及硬件设计

远程操作系统由主端人体动作捕捉系统和副端机器人系统组成。获取主端操作者的动作信息后，通过遥操作控制方案将动作指令同步发送给副机器人，并将现场工况以视觉信息反馈给主操作者。其中主端系统主要用于捕捉操作者动作以及接收从端反馈信息，主要包括：基于HTCVIVE的手腕追踪器、头显设备和基于惯性传感器的动捕手套。从端机器人系统主要由三轴云台相机、机械臂、仿人机械手和底盘组成，通过三轴云台相机设备获取从端机器人工作环境的视野，其中云台与主端的VIVE头显设备构成主从系统，相机监控到的视觉信息通过网络实时反馈给VIVE头显的视窗，采用6自由度协作机械臂UR5作为人体手臂远端的执行机构，并在UR5机械臂末端安装有12自由度的仿人机械手。从端机器人系统整体结构与人体相似，整个系统的动作方式符合人类的日常动作习惯，使遥操作控制过程更加直观和方便，能降低遥操作控制的难度。HTCVIVE追踪器穿戴在操作者手腕处，通过基站捕捉操作者手臂动作和姿态；头显设备同样带有追踪器功能，可通过基站捕捉操作者头部的动作信息。

3.3软件设计

远程操作控制系统分为上位机和下位机程序两部分。下位机软件的主要功能是实时采集二级系统中传感器和设备的信息数据，然后将数据进行集成编码，通过网络发送到上位机。上位机软件主要功能为：与下位机的从端数据处理平台进行数据通信，接收下位机所反馈的从端信息数据，如相机图像信息、机器人状态信息等，以及给下位机发送控制指令；获取主端运动捕捉系统的信息数据，如VIVE头显设备、追踪器位姿信息和惯性传感器原始数据等；遥操作控制模块，主要是对应三轴云台、机械臂和机械手3个子系统的姿态解算及控制功能[2]。

3.4上位机主手信息采集与数据通信

Geomagic Touch 6-DOF系列主设备作为远程操作的主机器人手臂，OpenHaptic是Geomagic为其设备提供的上位机编程接口。接口分为HDAPI和HLAPI两部分，HDPAI是设备的底层接口，可以通过回调函数读取设备的实时状态与参数。HLAPI 与 OpenGL相似,并且能够对OpenGL代码重用。本上位机系统采用的OpenHaptic3.4.0版本,本系统是对四自由度串联机械臂实物进行控制,对实时性要求更高，选用更加接近底层的HDAPI编程接口进行编程。上位机基于C++建立MFC界面程序，上位机由OpenHapticsHDAPI,以 1000 Hz的采样频率获取GeomagicTouch的位姿信息。

结束语

本文将虚拟现实技术与机器人遥操作技术相结合，利用虚拟现实视觉反馈，基于虚拟现实的虚拟现实VR辅助机器人遥操作系统，通过网络通信，实时准确地显示从机器人位姿并通过力反馈主手给予操作者反馈，不仅有效地提高了遥操作的顺畅性准确性，而且提高了操作者的沉浸感，并且具有良好的移植性，可以将其用在各种工业机器人需要遥操作的场景。

参考文献：

[1]贺文人,刘霞,任磊.工业机器人遥操作系统的空间映射与控制策略[J].计算机应用研究,2020,37(11):3246-3249+3262.

[2]叶盼盼. 机器人遥操作平台的设计与实现[D].北京邮电大学,2018.

[3]倪得晶,宋爱国,李会军.基于虚拟现实的机器人遥操作关键技术研究[J].仪器仪表学报,2017,38(10):2351-2363.