1. YOLO26与C#结合的背景与价值在计算机视觉领域YOLO(You Only Look Once)系列算法因其出色的实时性能而广受欢迎。最新一代的YOLO26在保持高精度的同时进一步优化了推理速度使其成为工业级应用的理想选择。而C#作为.NET生态的核心语言在企业级应用开发中占据重要地位特别是在Windows平台和工业自动化领域。将YOLO26与C#结合可以充分发挥两者的优势性能与效率YOLO26的实时检测能力与C#的高效开发特性相结合跨平台部署通过ONNX等中间格式实现模型在不同平台的迁移工业集成C#在工业控制系统中的广泛支持便于将AI能力嵌入现有产线开发便捷性Visual Studio提供的完整工具链简化了开发调试流程这种组合特别适合以下场景智能制造中的缺陷检测系统安防监控的智能分析模块医疗影像的辅助诊断工具零售行业的客流分析解决方案2. 环境准备与工程配置2.1 基础环境搭建首先需要准备开发环境推荐使用以下组合Windows 10/11 64位系统Visual Studio 2022 (社区版或专业版).NET 6.0或更高版本Python 3.8 (用于模型转换和测试)安装必要的NuGet包Install-Package Microsoft.ML.OnnxRuntime Install-Package Emgu.CV Install-Package Emgu.CV.runtime.windows2.2 YOLO26模型获取与转换从Ultralytics官方获取预训练模型或训练自己的模型后需要转换为ONNX格式以便C#调用from ultralytics import YOLO # 加载预训练模型 model YOLO(yolo26n.pt) # 使用nano版本作为示例 # 导出为ONNX格式 model.export(formatonnx, imgsz640, dynamicTrue)转换时需要注意的关键参数imgsz: 必须与训练时保持一致dynamic: 设置为True以适应不同尺寸的输入opset: 建议使用12或更高版本以获得更好兼容性2.3 工程结构设计合理的工程结构能提高代码可维护性YOLO26-CSharp-Demo/ ├── Assets/ # 资源文件 │ ├── Models/ # ONNX模型 │ └── TestImages/ # 测试图片 ├── Services/ # 核心服务 │ ├── ObjectDetection.cs # 检测逻辑 │ └── ImageProcessor.cs # 图像处理 ├── Utils/ # 工具类 │ ├── DrawingHelper.cs # 绘图辅助 │ └── ConfigLoader.cs # 配置加载 └── Program.cs # 主入口3. 核心检测逻辑实现3.1 ONNX模型加载与推理创建ObjectDetection服务类处理核心检测逻辑public class ObjectDetection { private InferenceSession _session; private readonly string[] _labels; // 类别标签 public ObjectDetection(string modelPath, string labelsPath) { // 初始化ONNX运行时会话 var options new SessionOptions() { GraphOptimizationLevel GraphOptimizationLevel.ORT_ENABLE_ALL, ExecutionMode ExecutionMode.ORT_SEQUENTIAL }; _session new InferenceSession(modelPath, options); // 加载类别标签 _labels File.ReadAllLines(labelsPath); } public ListDetectionResult Detect(Mat image) { // 预处理 var inputTensor Preprocess(image); // 准备输入 var inputs new ListNamedOnnxValue { NamedOnnxValue.CreateFromTensor(images, inputTensor) }; // 推理 using var results _session.Run(inputs); // 后处理 return Postprocess(results, image.Width, image.Height); } private Tensorfloat Preprocess(Mat image) { // 调整大小、归一化等预处理操作 // 具体实现参考3.2节 } private ListDetectionResult Postprocess(IDisposableReadOnlyCollectionDisposableNamedOnnxValue results, int originalWidth, int originalHeight) { // 解析输出、应用NMS等后处理 // 具体实现参考3.3节 } }3.2 图像预处理细节YOLO26的输入需要特定的预处理private Tensorfloat Preprocess(Mat image) { // 调整大小保持长宽比 int targetSize 640; float scale Math.Min(targetSize / (float)image.Width, targetSize / (float)image.Height); var resized new Mat(); CvInvoke.Resize(image, resized, new Size(), scale, scale); // 填充到正方形 var padded new Mat(targetSize, targetSize, DepthType.Cv8U, 3); padded.SetTo(new MCvScalar(114, 114, 114)); resized.CopyTo(new Mat(padded, new Rectangle(0, 0, resized.Width, resized.Height))); // 转换为RGB并归一化 var input new DenseTensorfloat(new[] { 1, 3, targetSize, targetSize }); CvInvoke.CvtColor(padded, padded, ColorConversion.Bgr2Rgb); unsafe { byte* ptr (byte*)padded.DataPointer; for (int y 0; y targetSize; y) { for (int x 0; x targetSize; x) { for (int c 0; c 3; c) { input[0, c, y, x] ptr[(y * targetSize x) * 3 c] / 255f; } } } } return input; }关键点说明保持长宽比的resize避免图像变形使用114填充灰色背景是YOLO系列的标准做法通道顺序从BGR转为RGB归一化到0-1范围而非标准化的原因是YOLO26模型内部已包含标准化3.3 输出后处理与NMSYOLO26的输出需要经过复杂的后处理private ListDetectionResult Postprocess(IDisposableReadOnlyCollectionDisposableNamedOnnxValue results, int originalWidth, int originalHeight) { var output results.First().AsTensorfloat(); var detections new ListDetectionResult(); // YOLO26输出格式为[1,84,8400] int numClasses _labels.Length; float confThreshold 0.5f; float iouThreshold 0.45f; // 解析输出 for (int i 0; i output.Dimensions[2]; i) { float maxConf 0; int maxClassId 0; // 找出置信度最高的类别 for (int c 0; c numClasses; c) { float conf output[0, c 4, i]; if (conf maxConf) { maxConf conf; maxClassId c; } } if (maxConf confThreshold) continue; // 获取边界框坐标 float cx output[0, 0, i]; float cy output[0, 1, i]; float width output[0, 2, i]; float height output[0, 3, i]; // 转换为原始图像坐标 int x (int)((cx - width / 2) * originalWidth); int y (int)((cy - height / 2) * originalHeight); int w (int)(width * originalWidth); int h (int)(height * originalHeight); detections.Add(new DetectionResult { ClassId maxClassId, Confidence maxConf, Box new Rectangle(x, y, w, h) }); } // 应用非极大值抑制(NMS) return ApplyNMS(detections, iouThreshold); } private ListDetectionResult ApplyNMS(ListDetectionResult detections, float iouThreshold) { // 按置信度排序 var sorted detections.OrderByDescending(d d.Confidence).ToList(); var selected new ListDetectionResult(); while (sorted.Count 0) { // 取当前最高置信度的检测 var current sorted[0]; selected.Add(current); sorted.RemoveAt(0); // 计算与剩余检测的IoU for (int i sorted.Count - 1; i 0; i--) { float iou CalculateIoU(current.Box, sorted[i].Box); if (iou iouThreshold) { sorted.RemoveAt(i); } } } return selected; } private float CalculateIoU(Rectangle a, Rectangle b) { // 计算两个矩形的交并比 // 具体实现略... }4. 性能优化与工程实践4.1 多线程处理实现对于实时视频处理需要引入多线程机制public class VideoProcessor { private readonly ObjectDetection _detector; private CancellationTokenSource _cts; public VideoProcessor(ObjectDetection detector) { _detector detector; } public void StartProcessing(string videoPath, ActionMat updateUI) { _cts new CancellationTokenSource(); Task.Run(() { using var capture new VideoCapture(videoPath); var frame new Mat(); while (!_cts.IsCancellationRequested capture.Read(frame)) { if (!frame.IsEmpty) { // 检测对象 var results _detector.Detect(frame); // 绘制结果 var visualized VisualizeResults(frame, results); // 更新UI updateUI(visualized); } // 控制处理速度 Thread.Sleep(30); // 约30FPS } }, _cts.Token); } public void StopProcessing() { _cts?.Cancel(); } private Mat VisualizeResults(Mat frame, ListDetectionResult results) { // 绘制检测结果到图像上 // 实现略... } }4.2 GPU加速配置要启用GPU加速需要修改ONNX运行时的配置var options new SessionOptions() { GraphOptimizationLevel GraphOptimizationLevel.ORT_ENABLE_ALL, ExecutionMode ExecutionMode.ORT_SEQUENTIAL }; // 检查CUDA可用性 if (OrtEnv.Instance.GetAvailableProviders().Contains(CUDAExecutionProvider)) { options.AppendExecutionProvider_CUDA(); Console.WriteLine(Using CUDA acceleration); } else { Console.WriteLine(CUDA not available, using CPU); } _session new InferenceSession(modelPath, options);4.3 模型量化与优化为了进一步提升性能可以考虑模型量化# 在导出ONNX时进行动态量化 model.export( formatonnx, imgsz640, dynamicTrue, int8True, # 启用INT8量化 datacoco128.yaml # 校准数据集 )量化后的模型大小可减少约75%推理速度提升2-3倍但精度会有轻微下降。5. 完整工程实现与部署5.1 WPF界面集成创建一个简单的WPF界面展示检测结果Window x:ClassYOLO26Demo.MainWindow xmlnshttp://schemas.microsoft.com/winfx/2006/xaml/presentation xmlns:xhttp://schemas.microsoft.com/winfx/2006/xaml TitleYOLO26 C# Demo Height720 Width1280 Grid Image x:NameVideoDisplay StretchUniform/ Button x:NameStartButton ContentStart HorizontalAlignmentLeft VerticalAlignmentTop Margin10 Width100 ClickStartButton_Click/ ComboBox x:NameModelSelector HorizontalAlignmentLeft VerticalAlignmentTop Margin120,10,0,0 Width200 SelectedIndex0 ComboBoxItem ContentYOLO26 Nano/ ComboBoxItem ContentYOLO26 Small/ ComboBoxItem ContentYOLO26 Medium/ /ComboBox /Grid /Window后台代码public partial class MainWindow : Window { private VideoProcessor _processor; private ObjectDetection _detector; public MainWindow() { InitializeComponent(); // 初始化检测器 string modelPath Assets/Models/yolo26n.onnx; string labelsPath Assets/Models/coco.names; _detector new ObjectDetection(modelPath, labelsPath); _processor new VideoProcessor(_detector); } private void StartButton_Click(object sender, RoutedEventArgs e) { string videoPath Assets/Videos/test.mp4; _processor.StartProcessing(videoPath, frame { Dispatcher.Invoke(() { VideoDisplay.Source ToBitmapSource(frame); }); }); } private BitmapSource ToBitmapSource(Mat mat) { // 转换Mat到BitmapSource // 实现略... } protected override void OnClosing(CancelEventArgs e) { _processor.StopProcessing(); base.OnClosing(e); } }5.2 部署注意事项实际部署时需要考虑以下因素依赖项打包包含ONNX运行时DLLOpenCV相关依赖模型文件和标签文件硬件要求最低配置4核CPU8GB内存推荐配置支持CUDA的NVIDIA GPU16GB内存性能监控public class PerformanceMonitor { private Stopwatch _sw; private Queuedouble _fpsQueue; private const int SAMPLE_SIZE 10; public PerformanceMonitor() { _sw new Stopwatch(); _fpsQueue new Queuedouble(SAMPLE_SIZE); } public void FrameProcessed() { if (!_sw.IsRunning) { _sw.Start(); return; } double fps 1000.0 / _sw.ElapsedMilliseconds; _sw.Restart(); if (_fpsQueue.Count SAMPLE_SIZE) _fpsQueue.Dequeue(); _fpsQueue.Enqueue(fps); } public double GetAverageFPS() { return _fpsQueue.Any() ? _fpsQueue.Average() : 0; } }5.3 常见问题解决方案模型加载失败检查ONNX文件路径是否正确验证模型是否完整下载确保ONNX运行时版本兼容GPU加速不工作确认安装了正确的CUDA和cuDNN版本检查显卡驱动是否为最新验证ONNX运行时是否包含CUDA支持内存泄漏问题确保所有IDisposable对象都被正确释放使用using语句包裹短期对象定期调用GC.Collect()在高频处理场景检测精度下降检查预处理是否与训练时一致验证输入图像色彩空间(RGB vs BGR)确认后处理的置信度阈值设置合理6. 进阶应用与扩展6.1 自定义模型训练要使用自定义数据集训练YOLO26模型from ultralytics import YOLO # 加载基础模型 model YOLO(yolo26n.pt) # 从预训练开始 # 训练自定义模型 results model.train( datacustom_dataset.yaml, epochs100, imgsz640, batch16, devicecuda, # 或 cpu workers4, projectcustom_yolo26 )数据集YAML文件示例# custom_dataset.yaml path: ./datasets/custom train: images/train val: images/val names: 0: defect_type1 1: defect_type2 2: defect_type36.2 多模型集成对于复杂场景可以集成多个专用模型public class MultiModelDetector { private ObjectDetection _generalDetector; private ObjectDetection _specializedDetector; public MultiModelDetector(string generalModelPath, string specializedModelPath) { _generalDetector new ObjectDetection(generalModelPath, coco.names); _specializedDetector new ObjectDetection(specializedModelPath, special.names); } public CombinedResult Detect(Mat image) { var generalResults _generalDetector.Detect(image); var specializedResults _specializedDetector.Detect(image); // 合并结果逻辑 // 实现略... } }6.3 云端协同处理将部分计算卸载到云端的架构设计public class CloudDetector { private readonly HttpClient _client; private readonly string _apiUrl; public CloudDetector(string apiKey) { _client new HttpClient(); _apiUrl $https://api.yolo26-service.com/v1/detect?key{apiKey}; } public async TaskListDetectionResult DetectAsync(Mat image) { // 压缩图像以减少传输量 var jpegBytes image.ToBytes(.jpg, 80); // 发送请求 var content new ByteArrayContent(jpegBytes); var response await _client.PostAsync(_apiUrl, content); // 解析响应 var json await response.Content.ReadAsStringAsync(); return JsonConvert.DeserializeObjectListDetectionResult(json); } }在实际项目中我通常会采用混合策略简单场景本地处理复杂场景云端处理通过智能路由实现最佳性能成本平衡。
与CasADi实现)
