基于散斑结构光与双目视觉的盾构出渣量实时检测方法

张鑫 魏明乐

西安中铁工程装备有限公司 陕西西安 710200

摘要：针对盾构施工过程中出渣量难以实时检测的难题，提出一种基于散斑结构光与双目视觉的盾构出渣量实时检测方法。首先将散斑结构光投影至渣土表面以增加特征信息，再采用半全局立体匹配算法快速获取渣土表面点云数据。然后提出一种基于层次B样条的渣土表面三维点云插值算法，解决了渣土表面点云数据缺失的问题。最后利用采集到的点云数据对渣土表面轮廓进行了三维重构和渣土体积计算。该检测方法应用于西安市某地铁盾构区间的工程现场试验，结果表明：测得的渣土体积与实际渣土体积之间的最大相对误差为4.6%，满足实际施工的精度要求。

关键词：双目视觉；三维重构；渣土体积计算；工程现场试验

中图分类号：TP391.4 文献标识码：A

Real-time detection method of shield slag discharge based on speckle structured light binocular vision

ZHANG Xin, WEI Mingle

（Xi’an China Railway Engineering Equipment Co., Ltd, Xi’an 710200, China）

Abstract: Aiming at the problem of real-time detection of slag discharge in shield construction, a real-time detection method of slag discharge of shield based on speckle structured light binocular vision is proposed. Firstly, speckle structured light is projected onto the surface of the muck to increase the feature information, and then the semi-global stereo matching algorithm is used to quickly obtain the point cloud data of the muck surface. Then, a 3D point cloud interpolation algorithm based on hierarchical B-spline is proposed to solve the problem of missing point cloud data on the surface of muck. Finally, the 3D reconstruction of the surface contour of muck and the calculation of muck volume are carried out by using the collected point cloud data. This detection method is applied to the field test of a subway shield section in Xi 'an, and the test results show that the maximum relative error between the muck volume measured and the actual muck volume is 4.6%, which meets the accuracy requirements of actual construction.

Key words: speckle structured light; binocular vision; 3D reconstruction; calculation of muck volume; engineering field test

0 引言

在土压平衡盾构施工过程中，出渣量的检测对提高施工精细化程度和施工安全预警有着重要的作用。盾构机向前掘进时，掌子面前方土体偶尔会存在空洞、地下河等不良地质条件，而出渣量的多少可以反映掌子面前方土体的异常情况。为了防止地层变形对盾构机造成损坏，需通过调整掘进参数或利用某些手段来控制掘进挖土量与出渣量的平衡[1]。因此，准确、实时地检测出渣量是土压平衡盾构精细化施工与安全施工的重要依据[2]。

当前盾构施工过程中应用比较广泛的渣土体积测量方式主要有人工计量、皮带称重和皮带激光扫描。其中人工计量法的准确性最差，并且效率比较低；皮带称重法根据渣土的重量和密度从而换算出渣土体积，然而渣土的密度波动较大，造成测出来的渣土体积不够准确；皮带激光扫描法价格昂贵，并且易受皮带上残留渣土的影响，精度较低[3]。光学三维测量以其高效率、无破坏性、工作距离大、可对物体进行静态或动态测量等特点，成为近年来三维测量的研究热门。双目视觉以及结构光是光学三维测量中两种比较常用的测量方式。双目视觉的测量原理简单，但当被测对象表面轮廓特征不明显时，容易造成误匹配，并且系统的实时性也比较差[4]；结构光法可增加待测物体的纹理特征，增强图像中像素点之间的相关性[5]，有利于提高三维重构的速度和精度。目前主流的结构光三维测量方法包括：线结构光扫描法、格雷码、相位移、散斑等。其中，基于散斑结构光的三维测量方法具有速度快、单幅重建、抗干扰能力强、数据精度较高的优点，因此，本文结合散斑结构光和双目视觉的技术特点，提出一种盾构出渣量实时检测方法，并在西安市某隧道盾构区间对该方法的可行性与准确性进行验证。

1 散斑结构光与双目视觉三维测量原理

图1为散斑结构光双目视觉三维测量原理的理想模型图，即平行式模型。

图中和分别为左、右相机的坐标系，和分别为左、右相机的光轴。和分别为左、右相机图像坐标系。令三维空间的被测点为，则和分别为其在左、右两个成像平面上的成像点。

图1 散斑结构光双目视觉三维测量原理图

在平行式模型中，左、右两相机坐标系各个对应坐标轴、主光轴之间相互平行，且它们的焦距相等都为，左、右两相机坐标系的原点与摄像机的光心处于相同位置。点在左、右相机的成像平面上的竖直像素坐标相同，即，根据三角形原理可以推导得出：

(1)

式中：为左、右相机光轴之间的距离，和分别为点在左、右相机的成像平面上的水平像素坐标，表示点在左、右两相机中对应点的坐标视差值。

用投影仪给被测物表面投射随机的散斑结构光, 再结合双目立体视觉原理, 可以测得结构表面形貌。双目立体视觉的原理是用两台摄像机同时拍摄同一场景, 通过左右图像特征匹配, 三维重建后可得空间点三维坐标。

2 基于半全局立体匹配算法的渣土点云数据获取方法

如何快速、准确地获取渣土表面的点云数据是渣土体积测量的关键环节之一。半全局立体匹配算法是在动态规划算法的基础上进行了改进，它不仅有动态规划算法的高效性，还提高了算法的精确度[6]。因此本文采用半全局立体匹配算法来获取渣土表面点云数据。半全局立体匹配算法的匹配过程一般为：

（1）初始匹配代价计算

初始匹配代价是表征左右图像中像素点之间相似性的度量，半全局立体匹配算法一般是在Census变换[7]的基础上使用Hamming距离算法来计算初始匹配代价，初始匹配代价计算可用公式表示为：

(2)

式中：为像素坐标；为预选匹配视差值；为单像素的匹配代价；和由左右初始图像经Census变换后得到。

Census变换方法具有对光照变化不敏感，能够有效的克服亮度差异造成的计算误差等优点。基于窗口像素的初始匹配代价计算过程为对每个视差 分别进行一次Census变换后形成以 为坐标系的初始匹配代价空间，为后续的代价聚合提供基础数据。

（2）匹配代价聚合

由于匹配代价计算的局限性和影响因素很多，因此，在半全局立体匹配算法中，给能量公式加入一个限制条件，也就是平滑约束条件，其用公示表示为：

(3)

式中：为图像中的待匹配像素点，为像素点的相邻像素点；为渣土表面像素点的所有相邻像素点；指渣土表面像素点的视差值为的匹配代价；和分别为平滑惩罚因子和边缘约束惩罚因子，当像素点的匹配视差值与像素点的匹配视差值之间的差值为1时，引入惩罚因子，当像素点的匹配视差值与像素点的匹配视差值之间的差值大于1时，引入惩罚因子，通常情况下，；为判断函数，为真时为1，否则为0。

渣土点云像素点半全局立体匹配算法以动态规划的求解思想为基础，其求解公式表示为：

(4)

式中： 是像素点 在方向 上视差为 时的匹配代价； 指的是所有的路径方向； 表示渣土表面像素点 的视差值；公式第二项指的是当前路径上渣土表面像素点 的上一个点的最小匹配代价。因此，总的渣土表面点云匹配代价用公式表示为：

(5)

（3）渣土表面点云视差计算

经过匹配代价聚合步骤后将得到所有像素点对的匹配代价集合空间，形成了以视差图像为坐标的聚合代价空间，在 空间内选取最小的聚合值，并确定目标像素对应视差值过程即为视差选取过程。本文采用的视差选取算法为WTA（Winner-Take-All）算法：

(6)

式中：为聚合值代价空间，为最大视差值。

（4）视差优化

视差优化的目的是对上一步得到的视差图中的遮挡点以及误匹配点进行检测和处理，从而得到更高质量的视差图。本文采用左右一致性检测法[8]来进行视差优化。所谓左右一致性检测，通过从左到右匹配再从右到左匹配来判断匹配位置与原位置是否一致，从而剔除误匹配点和遮挡点。具体算法为：通过分别求得左右两幅图像的视差，若左图点求得视差为，则在右图中对应点为记该点匹配回左图的视差为，设置阈值，若，则为误匹配点或遮挡点。最后将该视差图通过上采样回原图尺寸，得到原图所有像素点的视差（跳跃点视差通过左右像素点求得视差估算得到）。

3 基于层次B样条的渣土表面三维点云插值算法

在对渣土车上的渣土表面进行动态扫描时，在一些深度不连续的边缘处和光滑透明的平面处会存在点云数据的空缺，因此需要对其进行插值操作。基于层次B样条的渣土表面三维点云插值算法的基本思想是：

上述计算结果中的每一层渣土表面空间数据体 网格体的逼近函数都是连续函数，因此能够发现，经过层次B样条插值后的拟合函数同样是连续的。

4 渣土表面轮廓三维重构与渣土体积计算

采用Delaunay[9]三角网法对采集到的渣土表面点云数据进行三维重构。首先根据渣土表面生成的三维点云构造初始四面体，基于每个渣土点云生成四面体网格，再将散乱的渣土点云插入到生成的四面体中，

在实际工况下，由于渣土车不能彻底倾倒完渣土，会有残余渣土附着在渣土车上，在每次计算渣土体积时都需要对渣土车进行两次扫描，对空渣土车扫描一次，在装上渣土后再扫描一次，通过计算两次测量所得到的差，就是该节渣土车上的渣土体积。

5 工程现场试验

5.1 工程概况

西安地铁五号线一期工程某区间采用土压平衡盾构施工，盾构机外径为6.28 m，区间长度约为1.20 km。隧道内径为5.40 m，外径为6.00 m，每列机车组配有4节渣土车，渣土车的尺寸为6.18 m*1.50 m*1.90 m。该区间主要地层为湿陷性黄土，土的可挖性能等级为~级。区间隧道侧穿文艺路环形天桥、正穿运营中的西安地铁2号线，盾构机距离地铁二号线隧底净距仅2.52 m。区间隧道对地表沉降的扰动控制要求较高，因此需要实时监测出渣量，保证隧道得以顺利掘进。

5.2 系统硬件设计与现场安装

基于散斑结构光双目视觉的盾构出渣量实时检测系统的硬件部分主要由FM830-GI双目深度相机、GK4000微型工控机和上位机组成。FM830-GI双目深度相机上集成有散斑结构光发射器和两个红外摄像头，用来采集渣土表面点云数据，获取到点云数据之后，将点云数据传输给GK4000微型工控机进行保存，同时利用无线传输功能将扫描到的渣土表面点云数据传送给上位机，在上位机上显示三维重构结果以及渣土体积计算结果。FM830-GI双目深度相机和GK4000微型工控机的基本技术参数分别如表1和表2所示。

表1 FM830-GI双目相机的主要技术参数

如图2所示，将搭建好的出渣量检测系统固定在支撑架上，最后利用水泥管片上的连接螺栓和螺母将其固定于距隧道出渣口25-30环管片正上方处。

图2 硬件设备现场安装图

5.3 系统标定

在进行三维成像前，需要先对双目相机进行标定，即计算出相机的单应性矩阵。本文采用张正友[10]标定法，计算得到左右相机的内外参数：

5.4 试验结果与分析

为了更好地验证本文提出的差值方法的优越性，将反距离加权插值算法与层次B样条插值算法进行对比，两种算法的差值结果如图3所示。图3为实际工况中渣土车连续20帧扫描结果图，图4（a）为反距离加权插值算法的插值结果图，图4（b）为层次B样条插值算法的插值结果图。

图3 渣土车连续20帧扫描结果

（b）层次B样条法插值结果

图4 两种插值算法差值结果对比

从图4可以看出通过层次B样条插值得到的渣土表面点云数据更加紧密，插值后的渣土表面更加平滑。

表3 反距离加权插值算法和层次B样条插值算法的坐标插值结果

为了充分验证这两种插值方法的插值效果，对两种插值算法的插值数据进行对比，通过对Z坐标进行插值，得到两种方法的真实Z坐标插值数据，具体插值数据得到如表3所示。

图5为利用本文方法得到的渣土表面轮廓三维重构图，可以看出基本与实际工况下的渣土表面轮廓一致。图中有部分空白区域，这是由于渣土中混有一定量的水体后存在反光现象，从而使得双目相机扫描过程中存在视差空洞。

图5 渣土表面轮廓三维重构

对四节渣土车厢内的渣土体积进行了10次测量，测量结果如表3所示。由表3可知：利用该方法测得的渣土体积与实际渣土体积之间的最大相对误差为4.6%，满足实际施工的精度要求。

表3 渣土体积测量结果

测量

6 结 论

本文以西安市地铁五号线一期工程建设为背景，针对现有技术手段难以准确、实时地对盾构出渣量进行检测的难题，结合散斑结构光和双目视觉三维成像技术，对盾构渣土轮廓表面进行三维重构以及渣土体积计算，得到以下结论：

（1）针对渣土表面点云数据容易缺失的问题，提出基于层次B样条的渣土表面三维点云插值算法，并与反距离加权插值算法进行了对比，结果显示经过层次B样条插值算法得到的渣土表面点云数据更加紧密，插值后的渣土表面更加平滑。

（2）在西安市地铁五号线某区间盾构施工现场进行了试验，结果表明：利用该方法测得的渣土体积与实际渣土体积之间的最大相对误差为4.6%，满足实际施工的精度要求，为施工过程中地表沉降的控制以及掘进参数的调整提供了理论依据。

参考文献：

[1]杨欢欢, 杨双锁, 罗百胜. 地铁盾构施工地表变形的神经网络预测及应用[J]. 中国科技论文,2019,14(6):625-629.

Yang Huanhuan, Yang Shuangsuo, Luo Baisheng. Prediction and application of neural network on surface deformation from subway shield tunneling[J]. Chinese Science Papers,2019,14(6): 625-629.

[2]王洪新, 傅德明. 土压平衡盾构平衡控制理论及试验研究[J]. 土木工程学报,2007(5):61-68.

Wang Hongxin, Fu Deming. Theoretical and test studies on balance control of EPB shields[J]. China Civil Engineering Journal,2007(5):61-68.

[3]罗栋, 朱考飞, 肖衡, 等. 皮带出渣量动态监测系统在盾构出 渣控制中的应用[J]. 施工技术,2018,47(S1):572-575.

Luo Dong, Zhu Kaofei, Xiao Heng, et al. Application of belt slag discharge dynamic monitoring system in shield slag discharge control[J]. Construction Technology,2018,47(S1):572-575.

[4]曲学军, 张璐. 基于双目视觉的三维测量方法[J]. 计算机仿真, 2011,28(2):373-377.

Qu Xuejun, Zhang Lu. 3D Measurement method based on binocular vision technique[J]. Computer Simulation,2011,28(2): 373-377.

[5]李托拓, 胡锋, 耿征. 基于结构光的三维成像技术[J]. 网络新媒体技术,2012,1(1): 22-33.

Li Tuotuo, Hu Feng, Geng Zheng. Structured-light 3D surface imaging technology [J]. Journal of Network New Media,2012, 1(1):22-33.

[6]郭龙源, 罗百通, 欧先锋, 等. 自适应窗口和半全局立体匹配算法研究[J]. 成都工业学院学报,2017,20(1):7-11.

Guo Longyuan, Luo Baitong, Ou Xianfeng, et al. Adaptive Windows and Semi-global Stereo Matching Algorithm[J]. Journal of Chengdu Technological University, 2017,20(1):7-11.

[7]祝世平, 闫利那, 李政. 基于改进Census变换和动态规划的立体匹配算法[J]. 光学学报,2016,36(4):216-224.

Zhu Shiping, Yan Lina, Li Zheng. Stereo Matching algorithm based on improved Census transform and dynamic programming[J]. Acta Optica Sinica,2016,36(4):216-224.

[8]张来刚, 魏仲慧, 何昕, 等. 面向低纹理图像的快速立体匹配[J]. 液晶与显示,2013,28(03):450-458.

Zhang Laigang, Wei Zhonghui, He Xin, et al. New stereo matching method based edge extraction[J]. Chinese Journal of Liquid Crystals and Displays,2013,28(03):450-458.

[9]赵建军, 王启付. 边界一致的Delaunay四面体网格稳定生成算法[J]. 机械工程学报,2004,40(6):100-106.

Zhao Jianjun, Wang Qifu. Stable generation algorithm of Delaunay tetrahedral mesh with consistent boundary[J]. Journal of Mechanical Engineering,2004,40(6):100-106.

基金项目：河南省创新引领专项（191110210100）

作者简介：张鑫（1978-），男，高级工程师，本科，从事隧道地表沉降控制研究。

魏明乐（1992-），男，助理工程师，硕士研究生，从事视觉检测研究。

3