1. 项目背景与核心需求工业视觉检测在现代制造业中扮演着越来越重要的角色。传统的人工检测方式存在效率低、漏检率高、易受疲劳影响等问题。而基于OpenCV的传统视觉算法虽然能处理一些简单的缺陷检测但对于复杂缺陷如曲面划痕、微小裂纹等的适应性较差。YOLOv8作为当前最先进的实时目标检测算法之一具有检测速度快、精度高等特点非常适合工业场景下的视觉检测任务。结合C#开发的上位机系统可以构建一套完整的工业视觉检测解决方案。这个最小demo的目标是展示如何快速搭建一个能够实时检测工业产品缺陷的原型系统。通过这个demo开发者可以了解YOLOv8模型在工业检测中的应用掌握C#上位机与深度学习模型集成的关键技术构建一个可扩展的视觉检测系统框架2. 开发环境准备2.1 硬件配置建议虽然这是一个最小demo但为了获得较好的运行效果建议配置CPUIntel i5及以上内存8GB及以上GPUNVIDIA显卡可选但能显著提升推理速度工业相机支持GigE或USB3.0接口的工业相机如海康、大恒等品牌2.2 软件环境安装Visual Studio 2022安装时选择.NET桌面开发工作负载确保勾选Windows窗体应用(.NET Framework)组件NuGet包管理OpenCvSharp4用于图像处理OpenCvSharp4.runtime.winOpenCV运行时Microsoft.ML.OnnxRuntimeONNX模型推理NModbus4可选用于PLC通信Python环境用于模型转换pip install ultralytics onnxYOLOv8模型准备from ultralytics import YOLO # 加载预训练模型 model YOLO(yolov8n.pt) # 使用nano版本作为demo # 导出为ONNX格式 model.export(formatonnx, imgsz[416,416])3. 项目架构设计3.1 系统模块划分这个最小demo包含以下核心模块图像采集模块负责从相机获取实时图像预处理模块对图像进行必要的预处理操作推理模块运行YOLOv8模型进行缺陷检测结果显示模块在UI上显示检测结果通信模块可选与PLC等设备通信3.2 类设计public class MainForm : Form { private VideoCapture capture; // 图像采集 private InferenceSession session; // ONNX推理会话 private Timer timer; // 定时器控制检测频率 // 初始化方法 public MainForm() { InitializeComponents(); InitializeCamera(); LoadModel(); StartDetection(); } // 检测逻辑 private ListDetection Detect(Mat frame) { // 实现检测逻辑 } // 结果显示 private void DrawResults(Mat frame, ListDetection results) { // 实现结果绘制 } } public class Detection { public string ClassName { get; set; } public float Confidence { get; set; } public RectangleF Box { get; set; } }4. 核心代码实现4.1 图像采集与显示private void InitializeCamera() { // 使用默认摄像头开发时可用普通USB摄像头 capture new VideoCapture(0); // 设置相机参数根据实际相机调整 capture.Set(VideoCaptureProperties.FrameWidth, 1280); capture.Set(VideoCaptureProperties.FrameHeight, 720); capture.Set(VideoCaptureProperties.Fps, 30); // 定时器设置 timer new Timer(); timer.Interval 33; // ~30fps timer.Tick (s, e) { using var frame new Mat(); capture.Read(frame); if (!frame.Empty()) { pictureBox.Image BitmapConverter.ToBitmap(frame); } }; timer.Start(); }4.2 YOLOv8模型加载与推理private void LoadModel() { // 模型路径确保yolov8.onnx文件放在输出目录 var modelPath yolov8n.onnx; // 创建推理会话 var options new SessionOptions(); // 如果有GPU可用优先使用GPU if(OrtEnv.Instance.GetAvailableProviders().Contains(CUDAExecutionProvider)) { options.AppendExecutionProvider_CUDA(); } session new InferenceSession(modelPath, options); } private ListDetection Detect(Mat frame) { // 调整大小到模型输入尺寸 using var resized new Mat(); Cv2.Resize(frame, resized, new Size(416, 416)); // 转换为RGB并归一化 Cv2.CvtColor(resized, resized, ColorConversionCodes.BGR2RGB); resized.ConvertTo(resized, MatType.CV_32FC3, 1.0/255); // 创建输入Tensor var inputTensor new DenseTensorfloat(new[] {1, 3, 416, 416}); var bytes resized.GetBytes(); Buffer.BlockCopy(bytes, 0, inputTensor.Buffer, 0, bytes.Length); // 准备输入 var inputs new ListNamedOnnxValue { NamedOnnxValue.CreateFromTensor(images, inputTensor) }; // 运行推理 using var results session.Run(inputs); var output results.First().AsTensorfloat(); // 解析输出 return ParseYoloOutput(output, frame.Width, frame.Height); }4.3 检测结果解析private ListDetection ParseYoloOutput(Tensorfloat output, int origW, int origH) { var detections new ListDetection(); int numDetections output.Dimensions[2]; int numClasses output.Dimensions[1] - 4; for (int i 0; i numDetections; i) { // 获取置信度 float conf output[0, 4, i]; if (conf 0.5f) continue; // 置信度阈值 // 获取类别 int classId 0; float maxScore 0; for (int c 0; c numClasses; c) { float score output[0, 4 c, i] * conf; if (score maxScore) { maxScore score; classId c; } } if (maxScore 0.5f) continue; // 类别分数阈值 // 获取边界框从416x416映射回原始尺寸 float cx output[0, 0, i] * origW; float cy output[0, 1, i] * origH; float w output[0, 2, i] * origW; float h output[0, 3, i] * origH; detections.Add(new Detection { ClassName $缺陷{classId}, Confidence maxScore, Box new RectangleF(cx - w/2, cy - h/2, w, h) }); } return detections; }4.4 结果显示与绘制private void DrawResults(Mat frame, ListDetection results) { foreach (var d in results) { // 绘制边界框 var rect new Rect( (int)(d.Box.X), (int)(d.Box.Y), (int)(d.Box.Width), (int)(d.Box.Height)); Cv2.Rectangle(frame, rect, Scalar.Red, 2); // 绘制标签和置信度 string label ${d.ClassName}: {d.Confidence:P0}; Cv2.PutText( frame, label, new Point(rect.X, rect.Y - 10), HersheyFonts.HersheySimplex, 0.6, Scalar.Red, 2); } // 显示处理后的图像 pictureBox.Image?.Dispose(); pictureBox.Image BitmapConverter.ToBitmap(frame); }5. 性能优化技巧5.1 推理性能优化帧跳过策略private int frameCounter 0; private const int SkipFrames 2; // 每3帧处理1帧 // 在定时器事件中 if (frameCounter % (SkipFrames 1) 0) { var results Detect(frame); DrawResults(frame, results); }异步推理private async Task ProcessFrameAsync(Mat frame) { var results await Task.Run(() Detect(frame)); BeginInvoke((Action)(() DrawResults(frame, results))); }输入分辨率优化根据实际需求选择合适的分辨率如320x320 vs 416x416可以在预处理时先缩小图像再检测5.2 内存管理及时释放资源protected override void OnFormClosing(FormClosingEventArgs e) { timer.Stop(); capture.Release(); session.Dispose(); base.OnFormClosing(e); }使用using语句管理Mat对象using (var frame new Mat()) { capture.Read(frame); if (!frame.Empty()) { // 处理frame } }6. 工业场景扩展6.1 与PLC通信可选// 使用NModbus库实现Modbus TCP通信 private void SendToPLC(bool hasDefect) { try { var factory new ModbusFactory(); using var master factory.CreateMaster(new TcpClient(192.168.1.100, 502)); // 写入线圈状态假设线圈0控制剔除装置 master.WriteSingleCoil(0, hasDefect); } catch (Exception ex) { // 记录错误 } }6.2 数据记录与统计// 使用SQLite记录检测结果 private void LogDetection(Detection detection) { using var connection new SQLiteConnection(Data Sourcedetections.db); connection.Open(); var command connection.CreateCommand(); command.CommandText INSERT INTO Detections (ClassName, Confidence, X, Y, Width, Height, Timestamp) VALUES (className, confidence, x, y, width, height, timestamp); command.Parameters.AddWithValue(className, detection.ClassName); command.Parameters.AddWithValue(confidence, detection.Confidence); command.Parameters.AddWithValue(x, detection.Box.X); command.Parameters.AddWithValue(y, detection.Box.Y); command.Parameters.AddWithValue(width, detection.Box.Width); command.Parameters.AddWithValue(height, detection.Box.Height); command.Parameters.AddWithValue(timestamp, DateTime.Now); command.ExecuteNonQuery(); }6.3 模型训练建议数据集准备收集实际产线上的缺陷样本确保每个类别有足够的样本至少200-300张/类标注时使用专业工具如LabelImg或CVAT训练命令from ultralytics import YOLO # 加载预训练模型 model YOLO(yolov8n.pt) # 训练配置 model.train( datadefects.yaml, epochs100, imgsz416, batch16, device0 # 使用GPU )模型导出model.export(formatonnx, imgsz[416,416], simplifyTrue)7. 常见问题与解决方案7.1 相机连接问题问题无法连接到工业相机解决方案检查相机供电和连接线安装相机厂商提供的SDK和驱动尝试使用相机IP地址连接GigE相机// 海康相机示例 capture new VideoCapture(); capture.Open(rtsp://admin:password192.168.1.64:554);7.2 模型推理速度慢问题检测帧率低于预期解决方案确保使用了GPU加速var options new SessionOptions(); options.AppendExecutionProvider_CUDA(); session new InferenceSession(yolov8n.onnx, options);降低输入分辨率如从416x416降到320x320增加帧跳过数量7.3 检测精度不足问题漏检或误检较多解决方案调整置信度阈值// 在ParseYoloOutput方法中调整 if (conf 0.3f) continue; // 降低阈值减少漏检针对特定场景重新训练模型增加数据预处理如直方图均衡化7.4 内存泄漏问题问题长时间运行后内存占用持续增加解决方案确保所有IDisposable对象都被正确释放使用using语句管理资源定期调用GC.Collect()谨慎使用8. 项目部署与发布8.1 发布为独立应用发布设置在Visual Studio中右键项目选择发布选择文件夹作为发布目标配置为独立部署模式选择目标运行时如win-x64包含必要文件确保ONNX模型文件包含在发布目录中包含OpenCV的DLL文件8.2 工控机部署注意事项开机自启动将应用快捷方式放入启动文件夹或使用任务计划程序设置登录时启动异常处理AppDomain.CurrentDomain.UnhandledException (sender, e) { File.WriteAllText(crash.log, e.ExceptionObject.ToString()); MessageBox.Show(程序崩溃已记录错误日志); };远程监控添加简单的HTTP服务用于状态监控或实现MQTT协议上报运行状态这个最小demo展示了C#上位机与YOLOv8结合的基本框架开发者可以根据实际工业场景需求进行扩展如添加更多相机支持、优化检测算法、集成PLC控制等功能。在实际项目中还需要考虑系统的稳定性、可靠性和长期运行的维护性。
