[C++]基于C++opencv结合vibe和sort tracker实现高空抛物实时检测

news/2025/5/30 23:26:17

【vibe算法介绍】

ViBe算法是一种高效的像素级视频背景建模和前景检测算法。以下是对该算法的详细介绍:

一、算法原理

ViBe算法的核心思想是通过为每个像素点存储一个样本集,利用该样本集与当前像素值进行比较,从而判断该像素是否属于背景。算法的主要步骤包括背景模型的初始化、前景检测过程和背景模型的更新方法。

  1. 背景模型的初始化
    • 在初始时刻(如第一帧图像),为每个像素点随机选择其邻域像素的像素值作为背景模型的样本值。这样可以确保背景模型在开始时即具有一定的鲁棒性。
  2. 前景检测过程
    • 对于后续的图像序列,算法会将每个新的像素值与背景模型中的样本进行比较。
    • 如果新像素值与背景模型中的样本值差异小于预设的阈值,则该像素被判定为背景;否则,被判定为前景。
  3. 背景模型的更新方法
    • ViBe算法的更新策略具有时间和空间上的随机性。
    • 在时间随机性方面,算法会随机选择一个背景模型进行更新,以模拟像素值随时间变化的不确定性。
    • 在空间随机性方面,算法会在被判定为背景的像素点的邻域中随机选择一个像素值来更新背景模型,以模拟像素值在空间上的变化。

二、算法优点

  1. 内存占用少:由于每个像素只需存储一个样本集,因此内存占用较少。
  2. 性能优越:算法的性能优于混合高斯、参数化方法等传统方法,尤其在处理动态背景时表现出色。
  3. 无参数法:算法无需手动调整参数,可以直接应用于各种场景。
  4. 抗噪能力强:由于采用随机更新策略,算法对噪声具有较强的鲁棒性。

三、算法挑战与限制

  1. Ghost区域:在某些情况下,算法可能会出现误检,将前景物体误判为背景,形成所谓的“Ghost”区域。
  2. 环境变化适应性:算法需要能够适应环境的变化,如光照变化、相机抖动等。
  3. 密集物体检测:对于图像中密集出现的物体(如树叶、树干等),算法的检测效果可能受到一定影响。

综上所述,ViBe算法是一种高效、鲁棒的像素级视频背景建模和前景检测算法,具有广泛的应用前景。然而,在实际应用中仍需注意其挑战与限制,并进行相应的优化和改进。

【sort track算法介绍】

SORT(Simple Online and Realtime Tracking)算法是一种简单、高效且实用的多目标跟踪算法。以下是对SORT算法的介绍,内容将按照清晰的格式分点表示,并尽可能参考文章中的相关数字和信息:

一、算法概述

  • 全称:Simple Online and Realtime Tracking(SORT)
  • 特点:简单、高效、实时性强
  • 应用领域:适用于各种需要实时多目标跟踪的场景,如监控视频分析、自动驾驶汽车感知、无人机追踪等

二、算法原理

1. 核心组件
  • 卡尔曼滤波:用于预测目标在下一帧中的位置。卡尔曼滤波基于前一帧的目标位置和速度来预测当前帧的目标位置,并基于测量值(即检测到的目标位置)来更新预测值,以达到更精确的估计。
  • 匈牙利算法:用于解决数据关联问题,即确定前后两帧中真正匹配的目标。匈牙利算法通过计算前后两帧目标之间的相似度矩阵,并求解该矩阵来找到最佳匹配。
2. 工作流程
  1. 目标检测:使用目标检测器(如Faster R-CNN)在每一帧中检测目标,得到目标框(Detections)。
  2. 预测:使用卡尔曼滤波器预测当前帧的轨迹(Tracks)。
  3. 匹配:将目标框(Detections)和轨迹(Tracks)进行IOU(Intersection over Union)匹配。匹配结果分为三种:
    • Matched Track:成功匹配的目标和轨迹。
    • Unmatched Tracks:未能成功匹配的目标轨迹,被认为是失配。如果失配持续了T次(T是一个预设的阈值),该目标ID将从待跟踪目标中删除。
    • Unmatched Detections:未能成功匹配到轨迹的目标框,需要为其分配一个新的轨迹。
  4. 更新:卡尔曼滤波根据匹配的轨迹状态预测下一帧的目标框状态,并更新所有轨迹的状态。

三、算法特点

  • 实时性强:由于算法复杂度低,SORT算法可以实现高速跟踪,据参考文章所述,追踪器可以实现260Hz的速度。
  • 简单易用:代码结构清晰,依赖库少,便于理解和集成到其他项目中。
  • 兼容性强:可在Windows和Linux环境下运行,适用范围广。
  • 灵活性:提供参数调整,适应不同场景的需求。

四、优缺点

  • 优点
    • 速度快:处理速度快,适用于实时应用。
    • 准确性高:在没有遮挡的情况下,准确性较高。
  • 缺点
    • 对遮挡处理不足:当目标被遮挡时,ID切换次数较高,可能导致跟踪不准确。
    • 未考虑目标外观特征:仅使用检测框的位置和大小进行目标匹配,未考虑目标的外观特征。

五、总结

SORT算法以其简单、高效和实时性强的特点,在多目标跟踪领域具有广泛的应用前景。然而,在实际应用中仍需注意其处理遮挡和目标外观特征方面的限制,并根据具体需求进行相应的优化和改进。

【测试环境】

vs2019

opencv==4.8.0

x64 release(Debug暂时没测试通过)

【部分实现源码】

#define _CRT_SECURE_NO_WARNINGS
#include "tracker.hpp"
#include "trajectory.hpp"
#include "utils.hpp"
#include "vibe_sequential.hpp"
#include <array>
#include <chrono>
#include <cmath>
#include <cstddef>
#include <cstdio>
#include <cstdlib>
#include <memory>
#include <opencv2/core.hpp>
#include <opencv2/imgcodecs.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/highgui.hpp>
#include <stdexcept>
#include <string>
#include <string_view>
#include <thread>
using namespace std;
using namespace cv;
int main(int argc, char* argv[]) {int maxNumBlobs = 64;VideoCapture capture("test.mp4");if (!capture.isOpened())return -1;double fps = capture.get(cv::CAP_PROP_FPS);          // 帧率int width = capture.get(cv::CAP_PROP_FRAME_WIDTH);   // 视频帧宽度int height = capture.get(cv::CAP_PROP_FRAME_HEIGHT); // 视频帧高度// Create vibe algorithm instanceauto vibe = std::make_unique<ViBeSequential>(height, width, 14, 20, 2, 5);// Create tracker instanceauto tracker = std::make_unique<SortTracker>(3, 3);auto detections = std::vector<cv::Rect2f>(8);cv::Mat fgMask(height, width, CV_8U);cv::Mat updateMask(height, width, CV_8U);cv::Mat fgBlobLabels(height, width, CV_32S);cv::Mat fgBlobCentroids(64, 2, CV_64F);cv::Mat fgBlobStats(64, 5, CV_32S);// Prepare structure elements for morphological filteringcv::Mat se3x3 = cv::getStructuringElement(cv::MORPH_ELLIPSE, { 3, 3 });cv::Mat se5x5 = cv::getStructuringElement(cv::MORPH_ELLIPSE, { 5, 5 });cv::Mat se7x7 = cv::getStructuringElement(cv::MORPH_ELLIPSE, { 7, 7 });// Prepare runtime measurementauto tm = cv::TickMeter();while (true){Mat frame;capture >> frame; // 从相机读取新一帧if (frame.empty()){break;}/* Segmentation and update. */tm.reset();tm.start();// Run background segmentation with ViBevibe->segment(frame, fgMask);// Process update maskcv::morphologyEx(fgMask, updateMask, cv::MORPH_OPEN, se3x3);// Update ViBevibe->update(frame, updateMask);// Post-processing on foreground maskcv::morphologyEx(fgMask, fgMask, cv::MORPH_OPEN, se3x3);cv::morphologyEx(fgMask, fgMask, cv::MORPH_CLOSE, se5x5);tm.stop();double vibeProcessTimeMs = tm.getTimeMilli();// Find all connected componentsint numFgBlobs = cv::connectedComponentsWithStats(fgMask, fgBlobLabels, fgBlobStats, fgBlobCentroids);if (numFgBlobs > maxNumBlobs) {// Too many blobs, consider this frame invalidtracker->clear();continue;}detections.clear();for (int i = 1; i < numFgBlobs; i++) {auto* blobStat = fgBlobStats.ptr<int>(i);int x = blobStat[cv::CC_STAT_LEFT] - 6;int y = blobStat[cv::CC_STAT_TOP] - 6;int w = blobStat[cv::CC_STAT_WIDTH] + 12;int h = blobStat[cv::CC_STAT_HEIGHT] + 12;// int a = blobStat[cv::CC_STAT_AREA];// Add new bboxdetections.emplace_back(x, y, w, h);// auto color = colors.row(i % colors.rows);cv::rectangle(frame, { x, y, w, h }, { 255, 50, 0 }, 1);}tm.reset();tm.start();// Update tracker with newly detected bboxestracker->update(detections, frame);tm.stop();double trackingTimeMs = tm.getTimeMilli();std::array<char, 64> str;std::sprintf(str.data(),"[PROCESS TIME] ViBe: %.2f ms, Tracking: %.2f",vibeProcessTimeMs,trackingTimeMs);// Draw process time measurement result on current framecv::putText(frame,str.data(),{ 12, 30 },cv::FONT_HERSHEY_SIMPLEX,0.5,{ 0, 0, 255 },1,cv::LINE_AA);cv::imshow("frame", frame);cv::imshow("fgmask", fgMask);cv::imshow("update mask", updateMask);if (char(waitKey(2)) == 'q'){break;}}capture.release();cv::destroyAllWindows();}

【效果展示】

【视频演示】

基于C++opencv结合vibe和sort tracker实现高空抛物实时检测_哔哩哔哩_bilibili【测试环境】vs2019opencv==4.8.0x64 release(Debug暂时没测试通过)更多信息参考博文:blog.csdn.net/FL1623863129/article/details/139493227, 视频播放量 6、弹幕量 0、点赞数 0、投硬币枚数 0、收藏人数 0、转发人数 0, 视频作者 未来自主研究中心, 作者简介 未来自主研究中心,相关视频:基于onnx模型加密与解密深度学习模型保护方法介绍,使用纯opencv部署yolov8目标检测模型onnx,C++版本yolov8的onnx模型加密方法保护自己模型和版权,将yolov8封装成一个类几行代码完成语义分割任务,使用C#的winform部署yolov8的onnx实例分割模型,使用C#调用libotrch-yolov5模型实现全网最快winform目标检测,Python自动答题脚本刷题,100%正确率,附源码!可刷课!期末再也不用担心挂科了!Python教程Python入门编程入门爬虫代码Python基础安装,C#调用yolov7进行目标检测winform开发,基于yolov8官方目标追踪botsort和bytetrack源码开发视频演示,使用C#部署openvino-yolov5s模型icon-default.png?t=N7T8https://www.bilibili.com/video/BV1zD421g7zR/?vd_source=989ae2b903ea1b5acebbe2c4c4a635ee

【源码下载地址】https://download.csdn.net/download/FL1623863129/89403409

文章来源:https://blog.csdn.net/FL1623863129/article/details/139493227
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:https://dhexx.cn/news/show-5382729.html

相关文章

SD 使用教程

SD 换脸步骤 使用Stable Diffusion (SD) 进行换脸的基本步骤可以从以下几个方面概述&#xff0c;这里以一种常见的方式为例&#xff0c;结合了插件的使用来简化流程&#xff1a; 准备工作 安装必要的软件和插件&#xff1a;首先&#xff0c;确保你已经安装了Stable Diffusion…

coap:使用californium建立coap server和client的简单示例

【pom.xml】 <dependency><groupId>org.eclipse.californium</groupId><artifactId>californium-core</artifactId><version>2.0.0-M7</version> </dependency> <dependency><groupId>org.eclipse.californium&l…

代码随想三刷哈希表篇

代码随想三刷哈希表篇 242. 有效的字母异位词题目代码349. 两个数组的交集题目代码202. 快乐数题目代码1. 两数之和题目代码454. 四数相加 II题目代码383. 赎金信题目代码15. 三数之和题目代码18. 四数之和题目代码242. 有效的字母异位词 题目 链接 代码 class Solution {p…

Java数据结构准备工作---常用类

文章目录 前言1.包装类1.1.包装类基本知识1.2.包装类的用途1.3.装箱和拆箱1.3.1.装箱&#xff1a;1.3.2.拆箱 1.4 包装类的缓存问题 2.时间处理类2.1.Date 时间类(java.util.Date)2.2.DateFormat 类和 SimpleDateFormat 类2.3.Calendar 日历类 3.其他常用类3.1.Math类3.2.Rando…

基于STM32开发的智能语音助理系统

⬇帮大家整理了单片机的资料 包括stm32的项目合集【源码开发文档】 点击下方蓝字即可领取&#xff0c;感谢支持&#xff01;⬇ 点击领取更多嵌入式详细资料 问题讨论&#xff0c;stm32的资料领取可以私信&#xff01; 目录 引言环境准备智能语音助理系统基础代码实现&#xff…

公有云服务器部署springboot工程详细步骤

以下是在公有云服务器上部署Spring Boot工程的详细步骤&#xff1a; 在公有云服务器上安装Java运行环境&#xff1a;&#xff08;记得配置环境变量&#xff09; sudo apt update sudo apt install default-jre下载和部署Spring Boot工程&#xff1a; 将Spring Boot工程打包成可…

自建 Docker 镜像

本文地址&#xff1a;blog.lucien.ink/archives/547 本文主要参考自&#xff1a;自建Docker 镜像/源加速的方法 1. 简介 最近 Docker Hub 被禁一事引起了不小的波动&#xff0c;在这里简单讲下在这之后应该如何访问公开的 Docker Hub。 2. Cloudflare 2.1 搭建 搭建的前提是…

【实战】kafka3.X kraft模式集群搭建

文章目录 前言kafka2.0与3.x对比准备工作JDK安装kafka安装服务器增加hosts 修改Kraft协议配置文件格式化存储目录 启动集群停止集群测试Kafka集群创建topic查看topic列表查看消息详情生产消息消费消息查看消费者组查看消费者组列表 前言 相信很多同学都用过Kafka2.0吧&#xf…

python3创建虚拟环境

开发程序的时候&#xff0c;总是希望有一个相对干净的环境来开发和执行程序。一方面可以非常清晰的看到第三方工具的依赖性&#xff0c;另外一方面&#xff0c;为了将来部署的准确性。 这里为了开发cython程序&#xff0c;在debian12上使用了python的虚环境&#xff0c;删除和…

Java Set系列集合的使用规则和场景(HashSet,LinkedHashSet,TreeSet)

Set集合 package SetDemo;import java.util.HashSet; import java.util.Iterator; import java.util.Set;public class SetDemo {public static void main(String[] args) {/*Set集合的特点&#xff1a;1.Set系列集合的特点&#xff1a;Set集合是一个存储元素不能重复的集合方…