diff --git a/src/driverless_car/README.md b/src/driverless_car/README.md index 930234d00c..c7b9cae61c 100644 --- a/src/driverless_car/README.md +++ b/src/driverless_car/README.md @@ -1,14 +1,177 @@ -# 无人机图像分类深度学习Demo(无硬件/仿真依赖) -该项目实现了**无人机图像分类**的深度学习简单方向demo,无需无人机硬件和仿真软件,通过公开数据集模拟无人机采集的图像数据,搭建轻量化卷积神经网络(CNN)完成分类任务,并提供数据显示和可视化界面,帮助新手理解无人机深度学习的基本流程。 - -## 项目特点 -- 🚀 **无硬件依赖**:使用CIFAR-10公开数据集模拟无人机航拍图像,无需无人机硬件和仿真软件。 -- 🧠 **轻量化模型**:搭建适用于无人机端的轻量化CNN,兼顾性能与算力消耗。 -- 📊 **可视化界面**:包含数据集样本展示、训练过程实时可视化、预测结果展示三大可视化模块。 -- 🐞 **兼容性修复**:解决Matplotlib中文字体缺失、PyCharm后端兼容等问题,可直接运行。 - -## 环境配置 -### 1. 依赖库安装 -项目基于Python和PyTorch实现,需安装以下依赖库: -```bash -pip install torch torchvision matplotlib numpy \ No newline at end of file +无人机图像分类深度学习 Demo(无硬件 / 仿真依赖) +该项目实现了无人机图像分类的深度学习简单方向 demo,无需无人机硬件和仿真软件,通过公开数据集模拟无人机采集的图像数据,搭建轻量化卷积神经网络(CNN)完成分类任务,并提供数据显示和可视化界面,帮助新手理解无人机深度学习的基本流程。 +同时,本项目还扩展了无人机目标检测、语义分割等进阶方向的简化版实现,覆盖无人机视觉的核心应用场景,新手可逐步进阶学习。 +项目特点 +🚀 无硬件依赖:使用 CIFAR-10 / 公开检测 / 分割数据集模拟无人机航拍图像,无需无人机硬件和仿真软件。 +🧠 轻量化模型: +分类任务:搭建适用于无人机端的轻量化 CNN,兼顾性能与算力消耗; +检测任务:使用 YOLOv8n(nano 版本)轻量化预训练模型,直接推理无需复杂训练; +分割任务:使用轻量化 UNet(UNet-small),完成二分类语义分割,降低计算量。 +📊 可视化界面: +分类任务:数据集样本展示、训练过程实时可视化、预测结果展示; +检测任务:原图 + 目标框标注可视化、实时摄像头检测展示; +分割任务:原图 + 掩码 + 预测结果三图并列展示、训练损失曲线可视化。 +🐞 兼容性修复:解决 Matplotlib 中文字体缺失、PyCharm 后端兼容、SSL 证书验证失败等问题,可直接运行。 +环境配置 +1. 依赖库安装 +项目基于 Python 和 PyTorch 实现,需安装以下依赖库: +bash +运行 +# 基础依赖(分类任务) +pip install torch torchvision matplotlib numpy pillow +# 扩展依赖(检测/分割任务) +pip install ultralytics tqdm opencv-python +2. 环境说明 +Python 版本:3.8~3.11(兼容主流版本) +硬件:CPU 即可运行(GPU 可加速训练,需安装对应 CUDA 版本的 PyTorch) +系统:Windows/Linux/macOS(全平台兼容) +核心功能模块 +1. 无人机图像分类(基础) +功能介绍 +使用 CIFAR-10 数据集模拟无人机航拍的场景 / 物体分类,轻量化 CNN 模型完成 10 类分类(飞机、汽车、鸟类、猫、鹿、狗、青蛙、马、船、卡车),对应无人机航拍中常见的物体识别场景。 +关键流程 +数据集加载与可视化:展示 CIFAR-10 样本,模拟无人机采集的图像数据; +轻量化 CNN 搭建:包含卷积层、池化层、全连接层,参数精简适配无人机算力; +训练与可视化:实时展示训练损失 / 准确率曲线,支持模型保存; +预测演示:加载训练好的模型,对单张图像进行分类并展示结果。 +2. 无人机目标检测(进阶) +功能介绍 +分类任务的延伸,不仅识别类别,还能定位目标在图像中的位置,使用 YOLOv8n 预训练模型实现,覆盖无人机安防、巡检、物流等核心场景。 +关键流程 +数据来源:使用 YOLO 官方示例图像 / 模拟无人机航拍图像(无需本地数据); +模型推理:加载 YOLOv8n 预训练模型,直接输出目标的类别、置信度和边界框坐标; +可视化:在图像上绘制红色边界框 + 类别 + 置信度,支持批量图像检测和摄像头实时检测; +结果保存:自动保存检测后的图像到本地。 +3. 无人机语义分割(高阶) +功能介绍 +比目标检测更细粒度的任务,实现二分类分割(如道路 / 非道路),使用轻量化 UNet 模型,模拟无人机航拍中的场景分割需求(农田、建筑、道路分割)。 +关键流程 +模拟数据生成:自动生成包含道路、建筑、行人的无人机航拍图像,并生成对应的分割掩码; +轻量化 UNet 搭建:减少网络层数和通道数,降低训练耗时; +训练与收敛:少量 epoch 即可收敛,展示损失曲线; +可视化:三图并列展示原图、真实掩码、模型预测结果,伪色彩标注分割区域。 +使用说明 +1. 图像分类模块运行 +bash +运行 +# 运行分类任务主程序 +python drone_classification.py +程序会自动加载 CIFAR-10 数据集,展示样本后开始训练; +训练完成后,会展示预测结果和训练曲线; +可调整代码中的epochs、batch_size参数优化训练效果。 +2. 目标检测模块运行 +bash +运行 +# 运行检测任务主程序 +python drone_detection.py +程序会自动下载 YOLOv8n 预训练模型,使用内置示例图像进行检测; +支持替换为本地无人机航拍图像,只需修改图像路径; +取消注释可开启摄像头实时检测(模拟无人机摄像头)。 +3. 语义分割模块运行 +bash +运行 +# 运行分割任务主程序 +python drone_segmentation.py +程序会自动生成模拟航拍数据集,开始训练轻量化 UNet 模型; +训练完成后,展示 5 组样本的分割结果,自动保存结果图; +可修改num_samples参数调整数据集大小,epochs参数调整训练轮数。 +扩展方向 +数据集替换:将 CIFAR-10 替换为无人机航拍专用数据集(如 UC Merced Land Use Dataset、DroneDeploy 数据集),提升场景适配性; +模型优化:对分类模型使用迁移学习(MobileNetV2、ResNet18),对检测 / 分割模型进行微调(使用自定义无人机数据); +部署适配:将训练好的模型导出为 ONNX/TensorRT 格式,部署到无人机嵌入式设备(如 Jetson Nano、Raspberry Pi); +功能融合:结合分类、检测、分割功能,实现无人机端的多任务视觉处理(如先分类场景,再检测目标,最后分割区域)。 +常见问题解决 +Matplotlib 中文显示乱码:代码中已配置SimHei字体,若仍乱码,需手动安装对应中文字体; +YOLOv8 模型下载失败:代码中添加了模拟图像替代逻辑,无需网络也可运行; +训练速度慢:可减少数据集大小、降低图像分辨率、使用 GPU 加速训练; +摄像头检测无法启动:检查摄像头硬件连接,或安装opencv-python库。 +许可证 +本项目为学习用途的开源项目,可自由修改和分发,禁止用于商业用途。 +返回可以直接复制粘贴到README上的内容 +无人机图像分类深度学习 Demo(无硬件 / 仿真依赖) +该项目实现了无人机图像分类的深度学习简单方向 demo,无需无人机硬件和仿真软件,通过公开数据集模拟无人机采集的图像数据,搭建轻量化卷积神经网络(CNN)完成分类任务,并提供数据显示和可视化界面,帮助新手理解无人机深度学习的基本流程。 +同时,本项目还扩展了无人机目标检测、语义分割等进阶方向的简化版实现,覆盖无人机视觉的核心应用场景,新手可逐步进阶学习。 +项目特点 +🚀 无硬件依赖:使用 CIFAR-10 / 公开检测 / 分割数据集模拟无人机航拍图像,无需无人机硬件和仿真软件。 +🧠 轻量化模型: +分类任务:搭建适用于无人机端的轻量化 CNN,兼顾性能与算力消耗; +检测任务:使用 YOLOv8n(nano 版本)轻量化预训练模型,直接推理无需复杂训练; +分割任务:使用轻量化 UNet(UNet-small),完成二分类语义分割,降低计算量。 +📊 可视化界面: +分类任务:数据集样本展示、训练过程实时可视化、预测结果展示; +检测任务:原图 + 目标框标注可视化、实时摄像头检测展示; +分割任务:原图 + 掩码 + 预测结果三图并列展示、训练损失曲线可视化。 +🐞 兼容性修复:解决 Matplotlib 中文字体缺失、PyCharm 后端兼容、SSL 证书验证失败等问题,可直接运行。 +环境配置 +1. 依赖库安装 +项目基于 Python 和 PyTorch 实现,需安装以下依赖库: +bash +运行 +# 基础依赖(分类任务) +pip install torch torchvision matplotlib numpy pillow +# 扩展依赖(检测/分割任务) +pip install ultralytics tqdm opencv-python +2. 环境说明 +Python 版本:3.8~3.11(兼容主流版本) +硬件:CPU 即可运行(GPU 可加速训练,需安装对应 CUDA 版本的 PyTorch) +系统:Windows/Linux/macOS(全平台兼容) +核心功能模块 +1. 无人机图像分类(基础) +功能介绍 +使用 CIFAR-10 数据集模拟无人机航拍的场景 / 物体分类,轻量化 CNN 模型完成 10 类分类(飞机、汽车、鸟类、猫、鹿、狗、青蛙、马、船、卡车),对应无人机航拍中常见的物体识别场景。 +关键流程 +数据集加载与可视化:展示 CIFAR-10 样本,模拟无人机采集的图像数据; +轻量化 CNN 搭建:包含卷积层、池化层、全连接层,参数精简适配无人机算力; +训练与可视化:实时展示训练损失 / 准确率曲线,支持模型保存; +预测演示:加载训练好的模型,对单张图像进行分类并展示结果。 +2. 无人机目标检测(进阶) +功能介绍 +分类任务的延伸,不仅识别类别,还能定位目标在图像中的位置,使用 YOLOv8n 预训练模型实现,覆盖无人机安防、巡检、物流等核心场景。 +关键流程 +数据来源:使用 YOLO 官方示例图像 / 模拟无人机航拍图像(无需本地数据); +模型推理:加载 YOLOv8n 预训练模型,直接输出目标的类别、置信度和边界框坐标; +可视化:在图像上绘制红色边界框 + 类别 + 置信度,支持批量图像检测和摄像头实时检测; +结果保存:自动保存检测后的图像到本地。 +3. 无人机语义分割(高阶) +功能介绍 +比目标检测更细粒度的任务,实现二分类分割(如道路 / 非道路),使用轻量化 UNet 模型,模拟无人机航拍中的场景分割需求(农田、建筑、道路分割)。 +关键流程 +模拟数据生成:自动生成包含道路、建筑、行人的无人机航拍图像,并生成对应的分割掩码; +轻量化 UNet 搭建:减少网络层数和通道数,降低训练耗时; +训练与收敛:少量 epoch 即可收敛,展示损失曲线; +可视化:三图并列展示原图、真实掩码、模型预测结果,伪色彩标注分割区域。 +使用说明 +1. 图像分类模块运行 +bash +运行 +# 运行分类任务主程序 +python drone_classification.py +程序会自动加载 CIFAR-10 数据集,展示样本后开始训练; +训练完成后,会展示预测结果和训练曲线; +可调整代码中的epochs、batch_size参数优化训练效果。 +2. 目标检测模块运行 +bash +运行 +# 运行检测任务主程序 +python drone_detection.py +程序会自动下载 YOLOv8n 预训练模型,使用内置示例图像进行检测; +支持替换为本地无人机航拍图像,只需修改图像路径; +取消注释可开启摄像头实时检测(模拟无人机摄像头)。 +3. 语义分割模块运行 +bash +运行 +# 运行分割任务主程序 +python drone_segmentation.py +程序会自动生成模拟航拍数据集,开始训练轻量化 UNet 模型; +训练完成后,展示 5 组样本的分割结果,自动保存结果图; +可修改num_samples参数调整数据集大小,epochs参数调整训练轮数。 +扩展方向 +数据集替换:将 CIFAR-10 替换为无人机航拍专用数据集(如 UC Merced Land Use Dataset、DroneDeploy 数据集),提升场景适配性; +模型优化:对分类模型使用迁移学习(MobileNetV2、ResNet18),对检测 / 分割模型进行微调(使用自定义无人机数据); +部署适配:将训练好的模型导出为 ONNX/TensorRT 格式,部署到无人机嵌入式设备(如 Jetson Nano、Raspberry Pi); +功能融合:结合分类、检测、分割功能,实现无人机端的多任务视觉处理(如先分类场景,再检测目标,最后分割区域)。 +常见问题解决 +Matplotlib 中文显示乱码:代码中已配置SimHei字体,若仍乱码,需手动安装对应中文字体; +YOLOv8 模型下载失败:代码中添加了模拟图像替代逻辑,无需网络也可运行; +训练速度慢:可减少数据集大小、降低图像分辨率、使用 GPU 加速训练; +摄像头检测无法启动:检查摄像头硬件连接,或安装opencv-python库。 \ No newline at end of file