文章目录一、技术方案整体介绍用到依赖库说明二、开发环境搭建三、实战一OpenCV实现车道线检测基础入门使用说明常见问题优化四、实战二YOLOv8实现道路目标检测识别车辆、行人、红绿灯五、实战三车道线目标检测融合简易自动驾驶视觉总流程六、项目进阶优化方向落地必看1、实时性优化2、识别稳定性优化3、拓展功能很多初学者想要入门自动驾驶视觉感知却找不到一套连贯、可落地的Python实操方案。自动驾驶图像识别本质就是让车载摄像头看懂路面环境识别车道线、车辆、行人、交通标志为车辆路径规划与安全避让提供依据。本文从环境搭建、传统视觉车道线检测再到深度学习目标检测完整实现。所有代码都经过本地调试运行新手跟着步骤复制就能跑通适合想要做智能小车、自动驾驶仿真项目、ADAS辅助驾驶原型开发的开发者。一、技术方案整体介绍自动驾驶视觉感知分为两大路线传统计算机视觉OpenCV依靠边缘检测、透视变换、霍夫变换实现车道线识别优势无需训练数据集、运行速度快适合入门学习缺点在强光、阴雨、弯道场景稳定性一般。深度学习目标检测YOLOv8识别行人、机动车、非机动车、红绿灯等障碍物鲁棒性更强是现阶段自动驾驶感知主流方案。本教程将两者结合搭建简易自动驾驶视觉识别流水线摄像头画面输入 → 图像预处理 → 车道线检测 道路障碍物识别 → 画面可视化标注。用到依赖库说明opencv-python图像读取、滤波、边缘检测、视频流处理numpy图像矩阵运算ultralyticsYOLOv8官方库快速实现目标检测推理matplotlib可选用于静态图像结果查看二、开发环境搭建推荐使用Python3.9~3.11版本高版本Python部分库兼容性较差。打开终端执行安装命令pipinstallopencv-python numpy ultralytics matplotlib安装慢可以加上国内镜像源pipinstallopencv-python numpy ultralytics matplotlib-ihttps://pypi.tuna.tsinghua.edu.cn/simple环境安装完成后简单验证OpenCV是否正常导入importcv2print(cv2.__version__)输出版本号即代表安装成功。三、实战一OpenCV实现车道线检测基础入门车道线识别是自动驾驶最基础的功能实现流程图像灰度化→高斯模糊降噪→Canny边缘检测→划定感兴趣区域ROI→透视变换鸟瞰图→霍夫直线检测→车道线拟合绘制。新建lane_detect.py完整源码importcv2importnumpyasnpdefregion_of_interest(img):# 划定道路感兴趣区域屏蔽天空、路边无效画面height,widthimg.shape[:2]polygonnp.array([[(int(width*0.1),height),(int(width*0.45),int(height*0.6)),(int(width*0.55),int(height*0.6)),(int(width*0.9),height)]])masknp.zeros_like(img)cv2.fillPoly(mask,polygon,255)roi_imgcv2.bitwise_and(img,mask)returnroi_imgdefdraw_lane_lines(img,lines):line_imgnp.zeros_like(img)iflinesisNone:returnimgforlineinlines:x1,y1,x2,y2line.reshape(4)cv2.line(line_img,(x1,y1),(x2,y2),(0,255,0),thickness5)returncv2.addWeighted(img,0.8,line_img,1,0)deflane_detection(frame):# 1.灰度转换graycv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)# 2.高斯模糊降噪blurcv2.GaussianBlur(gray,(5,5),0)# 3.Canny边缘提取edgescv2.Canny(blur,50,150)# 4.截取路面ROI区域roi_edgesregion_of_interest(edges)# 5.霍夫变换检测直线hough_linescv2.HoughLinesP(roi_edges,rho2,thetanp.pi/180,threshold40,minLineLength40,maxLineGap100)# 6.绘制车道线resultdraw_lane_lines(frame,hough_lines)returnresultif__name____main__:# 传入视频路径参数填0可调用本地摄像头实时识别capcv2.VideoCapture(road_video.mp4)whilecap.isOpened():ret,framecap.read()ifnotret:breakoutputlane_detection(frame)cv2.imshow(车道线检测,output)# 按q退出窗口ifcv2.waitKey(1)0xFFord(q):breakcap.release()cv2.destroyAllWindows()使用说明准备一段道路行车视频命名road_video.mp4放在同级目录想要实时摄像头测试将cv2.VideoCapture(road_video.mp4)修改为cv2.VideoCapture(0)运行脚本画面中绿色线条即为识别到的车道标线。常见问题优化弯道识别效果差可以增加透视变换代码将原图转换成鸟瞰视角再检测强光画面识别失效增加自适应阈值、白平衡预处理大量噪点产生多余线条调整Canny阈值、霍夫变换minLineLength参数。四、实战二YOLOv8实现道路目标检测识别车辆、行人、红绿灯仅识别车道线不足以保障行车安全系统需要实时感知前方障碍物。YOLO系列因为速度与精度均衡广泛用于自动驾驶、智能小车视觉项目。YOLOv8开箱即用无需手动下载权重首次运行自动下载预训练模型。新建road_object_detect.py完整代码fromultralyticsimportYOLOimportcv2defauto_detect_video(video_path):# 加载YOLOv8轻量模型nano版本适合低配置设备实时运行modelYOLO(yolov8n.pt)capcv2.VideoCapture(video_path)whilecap.isOpened():ret,framecap.read()ifnotret:break# 推理置信度阈值0.4过滤低可信度目标resultsmodel(frame,conf0.4)# 在原图绘制检测框、类别名称与置信度annotated_frameresults[0].plot()cv2.imshow(道路障碍物识别,annotated_frame)ifcv2.waitKey(1)0xFFord(q):breakcap.release()cv2.destroyAllWindows()if__name____main__:# 0本地摄像头填入视频文件路径读取视频auto_detect_video(road_video.mp4)运行之后可以自动识别画面内行人、小汽车、公交车、自行车、交通信号灯等COCO数据集内目标。拓展提示如果想要精准识别交通标志需要采集道路标志牌数据集微调训练YOLOv8模型。五、实战三车道线目标检测融合简易自动驾驶视觉总流程把上面两套模块整合实现一套完整视觉感知程序同时输出车道线和障碍物识别结果。新建autodrive_vision.pyimportcv2importnumpyasnpfromultralyticsimportYOLO# 复用车道线检测函数defregion_of_interest(img):height,widthimg.shape[:2]polygonnp.array([[(int(width*0.1),height),(int(width*0.45),int(height*0.6)),(int(width*0.55),int(height*0.6)),(int(width*0.9),height)]])masknp.zeros_like(img)cv2.fillPoly(mask,polygon,255)roi_imgcv2.bitwise_and(img,mask)returnroi_imgdefdraw_lane_lines(img,lines):line_imgnp.zeros_like(img)iflinesisNone:returnimgforlineinlines:x1,y1,x2,y2line.reshape(4)cv2.line(line_img,(x1,y1),(x2,y2),(0,255,0),thickness5)returncv2.addWeighted(img,0.8,line_img,1,0)deflane_detection(frame):graycv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)blurcv2.GaussianBlur(gray,(5,5),0)edgescv2.Canny(blur,50,150)roi_edgesregion_of_interest(edges)hough_linescv2.HoughLinesP(roi_edges,2,np.pi/180,40,minLineLength40,maxLineGap100)resultdraw_lane_lines(frame,hough_lines)returnresult# 主程序融合逻辑if__name____main__:modelYOLO(yolov8n.pt)capcv2.VideoCapture(road_video.mp4)whilecap.isOpened():ret,framecap.read()ifnotret:break# 第一步车道线绘制lane_framelane_detection(frame)# 第二步目标检测绘制障碍物框detect_resultmodel(lane_frame,conf0.4)output_framedetect_result[0].plot()cv2.imshow(Python自动驾驶图像识别系统,output_frame)ifcv2.waitKey(1)0xFFord(q):breakcap.release()cv2.destroyAllWindows()运行后画面同时展示绿色车道线、障碍物检测框完成自动驾驶视觉感知原型。六、项目进阶优化方向落地必看1、实时性优化硬件性能较弱时使用yolov8n.pt最小模型高端设备切换yolov8s.pt提升精度缩小输入图像分辨率降低每一帧运算量模型导出ONNX格式使用OpenVINO、TensorRT硬件加速推理适合移植到树莓派、Jetson嵌入式平台。2、识别稳定性优化车道线增加滑动窗口多项式拟合替代基础霍夫变换适配连续弯道增加前后帧平滑滤波消除画面闪烁目标检测采集本地道路数据集迁移学习解决通用模型对国内路况误检、漏检问题增加目标追踪ByteTrack避免相邻帧目标ID频繁跳动。3、拓展功能单目视觉距离估算根据检测框像素大小估算前车距离增加语义分割区分可行驶区域、人行道、绿化带接入CARLA自动驾驶仿真平台把视觉识别结果输出给控制模块实现仿真车辆自主行驶移植树莓派USB摄像头搭建实体智能小车。
)
