c# ffmpeg高效率软硬解播放、转码+yolo11推理

【实例简介】

c# .net core9 使用新特性重制， 实现 ffmpeg 动态库调用的软硬解码及播放，项目分别使用了 
1.cpu解码 gdi绘图(解码快，绘图慢)  -> 可抽帧到图像中自行处理绘制
2.gpu解码 d2d绘图(解码快，绘图快)  -> 可抽帧到图像中自行处理绘制
3.gpu解码 d3d11绘图 （解码快对文件有要求，绘图速度最快)，使用原生NV12l图像格式直接写到GPU,对手机竖屏视频有兼容问题待修改。音画同步优自动跳帧，支持摄像头，rtsp直播流和音视频。
4.加入视频文件转码（转码时蓝色的有效的输出格式，选择其它会闪退）

海康类摄像机地址格式示例：

rtsp://admin:cwkey329@10.0.0.21:554/MPEG-4/ch2/main/av_stream

usb本机摄像头地址示例：

video=USB 2.0 CAMERA  (后面为自已的型号）

加入yolo11图像识别功能(CPU推理），使用yolo11n的80类标准模型库
识别对象如下
{person, bicycle, car, motorcycle, airplane, bus, train, truck, boat, traffic light, 
fire hydrant, stop sign, parking meter, bench, bird, cat, dog, horse, sheep, cow, 
elephant, bear, zebra, giraffe, backpack, umbrella, handbag, tie, suitcase, frisbee, 
skis, snowboard, sports ball, kite, baseball bat, baseball glove, skateboard, surfboard, 
tennis racket, bottle, wine glass, cup, fork, knife, spoon, bowl, banana, apple, sandwich, 
orange, broccoli, carrot, hot dog, pizza, donut, cake, chair, couch, potted plant, bed, 
dining table, toilet, tv, laptop, mouse, remote, keyboard, cell phone, microwave, oven, 
toaster, sink, refrigerator, book, clock, vase, scissors, teddy bear, hair drier, toothbrush}
全区识别，自定区域识别（CPU异步推理）

【实例截图】

【核心代码】

...

 //bgr输出帧 --------------------------------自已来处理帧
 rtmp1.outframeSample = (r, bgrBytes, bmpsize) =>
 {
     // 1. 推理
     //var dets = ir.dnn(bgrBytes, bmpsize);
     // 光趣点推理
     Rectangle rect = new Rectangle(200, 200, 800, 500);
     var dets = ir.dnn(bgrBytes, bmpsize, rect);
     foreach (var d in dets)
       Trace.WriteLine($"{d.Name}  {d.Score:0.00}  {d.Rect}");

     var li = dets.ToDictionary(d => d.Rect, d => d.Name);
     rtmp1?.RenderClear();
     rtmp1?.RenderLabel(li, 8);
     rtmp1?.RenderText("Yolo11", new PointF(1, 1));
     rtmp1?.RenderRect(rect, Color.LightGreen, 8);
 };

 //视频2线程处理 -----------------------------------------------------------------------------
 // 解码开关
 rtmp2.DecodMode = streamPlayer.GpuD2DDecoding;   //Gpu解码,使用directx的d2d绘图
 // 初始化driectx显示控件
 rtmp2.InterFace(pictureBox2.Handle);
 // 获取当前音量值
 trackBar2.Value = rtmp1.Volume;
 trackBar2.Scroll = (x, e) =>
 {
     rtmp2.Volume = (ushort)trackBar2.Value;
 };

...