Unsupervised spatio-temporal segmentation for extracting moving objects in video sequences

Extraction of moving objects is an important and fundamental research topic for many video ap-plications. This paper addresses an unsupervised spatio-temporal segmentation scheme to extract moving objects from video sequences. The temporal segmentation localizes moving objects by comparing the motion vector of each block in each frame with the corresponding global motion vector estimated by an outlier rejection (OR) based method. Furthermore, the temporal compensation utilizing the temporal coherence of moving objects is considered in the temporal segmentation to solve the temporarily stopping problem. The detected moving regions usually have discontinuous boundaries and some holes. These regions are then compensated in the spatial domain. In the spatial segmentation, the watershed algorithm considering the global information improves the accuracy of segmentation in the spatial domain. The modified mean filter is presented to suppress some minima. By using a fusion module, moving objects are extracted. Experiments on various sequences have successfully demonstrated the validity of the proposed scheme.     

һ�����͵��˶�Ŀ��ʶ��������㷨�о�

提出了一种应用于智能交通监控系统的运动目标识别和跟踪方法。针对帧间差分提取运动目标的缺陷与不足,提出了一种基于冗余小波变换的运动目标识别算法,即直接在冗余小波变换域提取运动区域,从而检测出运动目标。对于检测出来的运动目标,本文对mean-shift算法进行了改进,采用自适应mean-shift算法,对目标进行跟踪。实验结果表明,本文提出的算法可以有效地提取运动目标,即使目标与背景具有较高的相似度,也可以较准确的提取出前景运动信息,效果要好于传统的帧差法;跟踪目标准确度高,不受目标大小变化的影响。本算法具较高的实用价值和应用前景。     

基于单目视觉的运动行人检测与跟踪方法

为了有效检测与跟踪城市交通环境中的行人,提出了一种在摄像机静止情况下基于单目视觉的运动行人检测与跟踪方法。检测阶段通过自适应背景模型快速提取背景图像,用动态多阈值方法二值化差分图分割运动行人;跟踪阶段引入灰色模型作为行人运动模型,预测行人运动,融合行人多种特征建立目标匹配模板,对行人连续跟踪。通过单个行人通行和多个行人同时出现这两种交通环境下的视频图像对本方法进行了验证,单个行人通行时,跟踪的正确率为95%;多个行人同时通行时,识别每个行人并分别跟踪的正确率为87%。     

复杂背景下多目标图像分割方法研究

真实路况中的运动车辆图像进行图像分割时,图像中往往存在多个车辆车牌信息,且这些车牌信息具有尺度不一,位置随机等特点,加之光照及复杂背景的影响,如何兼顾多个车辆车牌的分割效果是车辆检测和跟踪领域亟待解决的问题.为了解决这类工程应用中的问题,需要在尺度空间下对多目标图像进行分析.因本文在前期多尺度分割模型的基础上引入视觉注意机制,利用不变性特征实现多目标的定位及最优分割尺度的选取.经大量实验测试结果表明,该算法较好地实现了图像中多个车牌图像的分割并且具有较好的分割效果.     

融合边缘检测与区域生长的交通图像分割方法

在交通监控中,如何从复杂的背景中分割运动物体是至关重要的一步,针对车辆的运动阴影对图像分割产生的不利影响,提出了一种新的融合边缘检测与区域生长的彩色图像分割算法,算法同时考虑了图像的彩色信息和空间信息.该算法首先对彩色图像边缘检测,并根据检测结果设置种子像素;再基于颜色相似性生长准则,结合边缘检测结果,对每个种子点进行区域生长;最后,利用区域合并算法对剩余的像素进行合并.实验结果表明该算法很大程度上克服了阴影给图像分割带来的不利影响.     

双注意力引导的跨层优化交通场景语义分割

针对交通场景目标分割边缘不平滑以及小目标难以准确分割等问题，本文提出一种双注意力引导的跨层优化交通场景语义分割算法。首先，构建多分支特征提取编码网络，并利用串行非比例式空洞卷积实现空间上下文信息提取，进而改善小目标信息的丢失；其次，构建基于空间对齐的跨层特征融合解码网络，实现语义信息和细节信息的融合，增强不同尺度目标的表达能力；最后，提出通道和空间注意力机制，建模全局通道相关性和长距离位置相关性，增强网络对关键特征的学习能力。交通场景数据集Cityscapes和CamVid上的实验结果表明，所提特征提取编码网络、跨层特征融合解码网络以及注意力机制模块是有效的；所提语义分割算法获得了77.79%和78.66%的平均交并比，能够平滑目标分割边缘，尤其对细长条形目标具有鲁棒性。     

A Bintree Energy Approach for Colour Image Segmentation Using Adaptive Channel Selection

A new hierarchical approach called bintree energy segmentation was presented for color image seg-mentation. The image features are extracted by adaptive clustering on multi-channel data at each level and used as the criteria to dynamically select the best chromatic channel, where the segmentation is carried out. In this approach, an extended direct energy computation method based on the Chan-Vese model was proposed to segment the selected channel, and the segmentation outputs are then fused with other channels into new images,from which a new channel with better features is selected for the second round segmentation. This procedure is repeated until the preset condition is met. Finally, a binary segmentation tree is formed, in which each leaf represents a class of objects with a distinctive color. To facilitate the data organization, image background is employed in segmentation and channels fusion. The bintree energy segmentation exploits color information involved in all channels data and tries to optimize the global segmentation result by choosing the "best" chan-nel for segmentation at each level. The experiments show that the method is effective in speed, accuracy and flexibility.     

基于压缩感知和字典学习的背景差分法

针对当使用背景差分法时,背景存在突变和渐变、图像数据的冗余和伪前景对目标检测的干扰等问题,提出一种基于稀疏表示和字典学习的背景差分法。该方法首先训练视频流得到其数据字典,并根据数据字典学习与稀疏表示理论建立背景模型,可以有效减少数据的冗余。然后根据目标及其邻域的密集度进行目标分割,以排除前景的干扰。最后再根据数据字典的更新算法,有效解决了背景的突变和渐变问题。实验结果表明,该方法具有可行性。     

顾及小目标特征的视频人流量智能统计方法

人流量统计对智能安防等领域具有重要研究价值. 针对视频监控系统中人流量统计准确率较低的问题,提出一种顾及小目标特征的视频人流量智能统计方法,重点研究用于小目标检测的Faster R-CNN （Faster region-convolutional neural network）改进算法、运动目标关联匹配以及双向人流量智能统计等关键技术,根据人头目标的小尺度特点对Faster R-CNN网络结构进行适应性改进,利用图像浅层特征提高网络对于小目标的特征提取能力,通过基于轨迹预测的跟踪算法实现运动目标的实时追踪,同时设计双向人流量智能统计算法,以实现人流量高准确率统计;为证明方法的有效性,在密集程度不同的场景中进行了测试. 测试结果表明:改进的目标检测算法相较于原始算法,在Brainwash测试集和Pets2009基准数据集上的平均准确率分别提高了7.31%、10.71%,视频人流量智能统计方法在多种场景下的综合评价指标F值均能达到90.00%以上,相较于SSD-Sort算法和Yolov3-DeepSort算法,其F值提高了1.14% ~ 3.04%.      

A bintree energy approach for colour image segmentation using adaptive channel selection

A new hierarchical approach called bintree energy segmentation was presented for color image segmentation. The image features are extracted by adaptive clustering on multi-channel data at each level and used as the criteria to dynamically select the best chromatic channel, where the segmentation is carried out. In this approach, an extended direct energy computation method based on the Chan-Vese model was proposed to segment the selected channel, and the segmentation outputs are then fused with other channels into new images, from which a new channel with better features is selected for the second round segmentation. This procedure is repeated until the preset condition is met. Finally, a binary segmentation tree is formed, in which each leaf represents a class of objects with a distinctive color. To facilitate the data organization, image background is employed in segmentation and channels fusion. The bintree energy segmentation exploits color information involved in all channels data and tries to optimize the global segmentation result by choosing the ＂best＂ channel for segmentation at each level. The experiments show that the method is effective in speed, accuracy and flexibility.     

交通事件视频图像自动识别系统的研究

如何有效利用高速公路视频图像信息,实时全天候自动智能检测交通事件,提升交通管理部门应急处置能效,是当前公路视频监控亟需解决的问题．本文基于视频图像处理技术,开展交通事件自动识别算法和系统的研究：采用中值滤波、亮度缩放等图像预处理方法,提取交通视频图像的前景目标边界并抑制噪声;基于灰度阈值化方法,对车辆前景进行二值化分割处理;提出一种二值化场景图像连通区域标定算法,对交通事件前景目标进行特征提取与检测识别,并基于上述算法和识别流程开发了交通事件视频自动识别系统．试验表明,该系统对噪声干扰抑制能力较强,识别准确率较高．     

红外运动目标图像的识别与跟踪技术研究

文中实现了基于红外扫描图像的运动物体自动识别跟踪系统.选择了Butterworth滤波和中值滤波结合的方法对图像进行预处理,基于多帧图像的局部能量的分割算法来实现图像背景的分割,并采用卡尔曼跟踪算法和目标方位确定算法相结合完成对红外小目标的跟踪.在VC++中使用GDI来建立雷达扫描式的极坐标系,将目标运动轨迹在坐标系中显示出模拟轨迹.     

PCNNģ����ϲ������Ż�������ͼ��ָ�

脉冲耦合神经网络（PCNN）具有良好的图像分割特性,但神经网络参数的选取对分割效果有较大影响,如何自适应地选择网络参数是脉冲耦合神经网络应用研究的重要内容.本文首次从脉冲耦合神经网络的耦合特性出发,结合神经计算原理及图像局部区域的灰度特性,提出了脉冲耦合神经网络耦合参数的优化算法.首先利用Hebb学习规则对脉冲耦合神经网络模型的链接权值矩阵进行更新,然后利用图像局部区域的均方差自适应确定神经元链接强度系数,最后将优化的PCNN模型应用于运动车辆图像分割.通过耦合参数的优化,增强了神经元之间的耦合强度,与传统PCNN的车辆分割结果相比,较好地避免了过分割和欠分割现象,提高了运动车辆图像中车牌区域的分割质量,为后续车辆特征的提取奠定了良好的基础.     

基于异构图学习的交通场景运动目标感知

为了提高无人车在交通场景中的运行效率和运输安全,研究了基于异构图学习的交通场景运动目标感知; 考虑实际交通场景中运动目标之间的复杂交互关系对目标运动的影响,基于异构图学习提出了交通场景中多目标检测-跟踪-预测一体化感知框架; 结合YOLOv5和DeepSORT检测并跟踪运动目标,获得目标的运动轨迹; 使用长短期记忆(LSTM)网络从目标历史轨迹中学习目标的运动信息,使用异构图学习目标间的交互信息,以提高运动目标轨迹预测准确度; 使用LSTM网络对目标运动信息与交互信息解码得到目标未来轨迹; 为了验证方法的有效性,在公共交通数据集Argoverse、Apollo和NuScenes上进行了评估。分析结果表明:结合YOLOv5和DeepSORT可实现对运动目标的检测跟踪,对交通场景中的运动目标实现了75.4%的正确检测率和61.4%的连续跟踪率; 异构图能够有效捕捉运动目标之间复杂的交互关系,并且捕捉的交互关系能够提高轨迹预测精度,加入异构图捕捉交互关系后,运动目标的平均位移预测误差降低了63.0%。可见,考虑交通场景中运动目标之间的交互关系是有效的,引入异构图学习运动目标之间的交互关系可以感知运动目标的历史与未来运动信息,从而帮助无人车更好地理解复杂交通场景。      

基于手机传感器的车辆轨迹实时在线压缩方法

随着具有定位功能的各类便携式移动设备的普及,产生了大量的移动目标时空轨迹数据,庞大的数据规模对轨迹数据管理和分析带来了严峻的挑战.?车辆时空轨迹数据压缩算法,通过监测分析车辆在不同运动行为模式下智能手机内置线性加速度传感器和方向传感器的数据变化规律,识别车辆的转向行为和变速行为,并根据识别结果请求GPS传感器定位,记录...     

Saliency motivated pulse coupled neural network for underwater laser image segmentation

The detection range of underwater laser imaging technology achieves 4—6 times of detection range of conventional camera in intervening water medium, which makes it very promising in oceanic research, deep sea exploration and robotic works. However, the special features in underwater laser images, such as speckle noise and non-uniform illumination, bring great difficulty for image segmentation. In this paper, a novel saliency motivated pulse coupled neural network(SM-PCNN) is proposed for underwater laser image segmentation. The pixel saliency is used as external stimulus of neurons. For improvement of convergence speed to optimal segmentation, a gradient descent method based on maximum two-dimensional Renyi entropy criterion is utilized to determine the dynamic threshold. On the basis of region contrast in each iteration step, the real object regions are effectively distinguished,and the robustness against speckle noise and non-uniform illumination is improved by region selection. The proposed method is compared with four other state-of-the-art methods which are watershed, fuzzy C-means, meanshift and normalized cut methods. Experimental results demonstrate the superiority of our proposed method to allow more accurate segmentation and higher robustness.     

���ӻ����³�����Ӱ�ָ��㷨�о�

车辆阴影分割是智能交通领域中车辆识别的一项重要内容,阴影分割的好坏直接影响到车辆识别的准确性以及整个智能交通监控系统的性能。针对当前基于RGB和HSV颜色空间的车辆阴影分割算法缺陷与不足,本文提出了一种新的基于YCbCr空间的车辆阴影分割算法。首先选取图像中的运动区域,运动区域包括车辆以及阴影;然后根据阴影区域出现的特点,选择初始阴影数据;最后,通过本文提出的阴影分割算法最终确定阴影区域的形状与位置。经过实际道路运行测试,该算法能提取出的车辆阴影完整性好,具有较好的鲁棒性,在智能交通领域具有一定的应用价值与前景。车辆阴影分割是智能交通领域中车辆识别的一项重要内容,阴影分割的好坏直接影响到车辆识别的准确性以及整个智能交通监控系统的性能。针对当前基于RGB和HSV颜色空间的车辆阴影分割算法缺陷与不足,本文提出了一种新的基于YCbCr空间的车辆阴影分割算法。首先选取图像中的运动区域,运动区域包括车辆以及阴影;然后根据阴影区域出现的特点,选择初始阴影数据;最后,通过本文提出的阴影分割算法最终确定阴影区域的形状与位置。经过实际道路运行测试,该算法能提取出的车辆阴影完整性好,具有较好的鲁棒性,在智能交通领域具有一定的应用价值与前景。     

基于机载LiDAR和Mean Shift算法提取森林密度

为获取森林密度信息,利用Mean Shift算法对森林点云进行单木分割提取森林密度信息.首先,以点云三维坐标和法向量作为特征向量,利用统计分析方法选择合适带宽及阈值,采用Mean Shift算法对点云进行初始分割;其次,对分割后的点云进行分析,加入灌木、杂草等过滤条件,得到树冠点云;然后,对树冠点云再次进行Mean Shift分割,并对每类树冠点云进行统计,以稳态点为粗略位置标记计算森林密度;最后,与地面实测数据进行验证.地面数据验证结果表明,平均计算精度达到90.0%以上,可满足林业应用需求;通过与分水岭法进行对比发现, Mean Shift方法获得的精度为92.5%,比分水岭方法70.0%高出22.5%,且避免了分水岭方法导致的过分割现象.      

基于头脑风暴优化的PCNN路面裂缝分割算法

为提升裂缝检测的分割精度和鲁棒性,基于头脑风暴优化（brainstorming optimization,BSO）和脉冲耦合神经网络（pulse coupled neural network,PCNN）,提出了一种路面裂缝图像分割算法（BSO-PCNN）. 该算法采用最大熵准则作为BSO算法的适应度函数,并依据适应度值决定参与次轮迭代的个体;BSO具有强收敛性,可快速确定最优个体解;结合图像特征,获得PCNN模型的最优参数,将其代入PCNN模型实现对裂缝图像的分割. 试验结果表明:算法可在20次迭代内取得不同类型路面裂缝图像的最大适应值,从而确定最佳分割参数;与Sobel边缘检测算法、PCNN图像分割算法、基于最大熵的遗传算法（genetic algorithm based on the maximun entropy of the histogram,GA-KSW）、基于遗传算法参数优化的PCNN分割算法（genetic algorithm based on the pulse coupled neural network,GA-PCNN）相比,BSO-PCNN算法取得了0.9924的区域一致性与0.0900的区域对比度.      

基于Kittler最小误差分割算法的小视场星图分割

小视场星图易受光照不均和噪声影响，常用阈值分割算法存在处理效果不佳或效率较低的不足. 针对星图灰度的高斯分布特征，基于贝叶斯最小误差理论，提出利用Kittler最小误差分割算法处理小视场星图. 以视频测量机器人为测量平台，以 "优度法"、区域一致性、区域对比度和时间复杂度为评价指标，对比了常用的阈值分割算法和一维最大熵法，验证了Kittler算法在确保星图良好分割的同时，星图处理效率可以提高70%左右. 基于半仿真星图和真实星图的室内试验表明，Kittler算法可以准确提取星点质心坐标，水平和垂直方向均方根误差分别为0.025像素和0.019像素；采用该算法的野外天文定位实测表明，经纬度内符合平均精度分别优于0.015 s和0.22″，外符合精度分别优于0.025 s和0.35″，可以满足一等天文测量的精度要求.