Skip to content
Closed
Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
63 commits
Select commit Hold shift + click to select a range
20e276a
更新代码
183899 Dec 1, 2025
91bf847
Merge branch 'OpenHUTB:main' into main
183899 Dec 1, 2025
08bccf0
Merge branch 'OpenHUTB:main' into main
183899 Dec 8, 2025
4a2ccc8
将原模块名更改为更加详细的名字
183899 Dec 8, 2025
da1e375
Merge branch 'OpenHUTB:main' into main
183899 Dec 15, 2025
1678aeb
Merge branch 'OpenHUTB:main' into main
183899 Dec 15, 2025
2b3e4b2
更新了控制器功能,增添了速度显示效果
183899 Dec 15, 2025
10f7798
Merge branch 'OpenHUTB:main' into main
183899 Dec 15, 2025
1f64807
补充并在原有的 drawer.py 中添加了 draw_point 方法
183899 Dec 16, 2025
b21c1f2
Merge branch 'OpenHUTB:main' into main
183899 Dec 16, 2025
c9d3f89
添加传感器数据采集模块
Dec 18, 2025
0d5b42a
模块化PID控制优化
0023csw Dec 18, 2025
9f0723c
Merge branch 'OpenHUTB:main' into main
pppzzz222 Dec 18, 2025
737c4bd
增加传感器数据采集模型及运行效果
Dec 18, 2025
cebf093
Merge branch 'OpenHUTB:main' into main
183899 Dec 18, 2025
417561d
添加新的转弯感知模块,修改main函数实现转弯时自主检测刹车
183899 Dec 18, 2025
8728dc7
Merge branch 'OpenHUTB:main' into main
pppzzz222 Dec 18, 2025
c15f438
修改readme文件
Dec 18, 2025
34dd8d3
Merge branch 'OpenHUTB:main' into main
pppzzz222 Dec 19, 2025
10fb819
添加LiDAR-IMU紧耦合里程计模块
Dec 19, 2025
837902a
简洁化与环境管理优化
0023csw Dec 19, 2025
a091bb1
Merge branch 'OpenHUTB:main' into main
pppzzz222 Dec 19, 2025
170d62e
Merge branch 'OpenHUTB:main' into main
pppzzz222 Dec 19, 2025
9027bb5
Merge branch 'OpenHUTB:main' into main
pppzzz222 Dec 19, 2025
a92adb9
更新readme文件
Dec 19, 2025
f756b9f
提交选题
ou-yang220 Dec 19, 2025
4ced0d4
Merge branch 'OpenHUTB:main' into main
pppzzz222 Dec 19, 2025
3b3f9b8
添加因子图优化后端模块代码
Dec 19, 2025
c24646f
docs: 新增README.md,记录车路协同与边缘智能研究方向
ou-yang220 Dec 19, 2025
0a46f15
docs: 修改文件名
ou-yang220 Dec 19, 2025
dcd6cb6
feat: 车路协同与边缘智能 路侧YOLOv7轻量化模型
ou-yang220 Dec 19, 2025
033223e
feat: 车路协同与边缘智能 路侧YOLOv7轻量化模型
ou-yang220 Dec 19, 2025
7dfbfea
PID控制器再度提升清晰度优化
0023csw Dec 19, 2025
90502cf
Merge branch 'main' into main
0023csw Dec 19, 2025
b989886
config: 新增.idea/忽略规则,解决中文配置文件追踪问题
ou-yang220 Dec 19, 2025
1326c3e
Merge branch 'OpenHUTB:main' into main
pppzzz222 Dec 19, 2025
3ac7328
更新README文件
Dec 19, 2025
8be8c36
fix: 解决.gitignore和dataloader.py合并冲突,适配车路协同主题
ou-yang220 Dec 19, 2025
c6797db
feat: 车路协同与边缘智能 路侧YOLOv7模型新增V2X通信功能
ou-yang220 Dec 19, 2025
8a066a7
fix: 解决.idea/中文路径解析异常,忽略车路协同相关伪路径
ou-yang220 Dec 19, 2025
ebbb588
Merge branch 'OpenHUTB:main' into main
183899 Dec 19, 2025
532b4ab
新增预测功能,提前预测转弯效果
183899 Dec 19, 2025
05bd688
fix: 忽略.idea/文件夹,清理车路协同主题项目状态
ou-yang220 Dec 19, 2025
ae3ff1e
FadingText透明度计算优化
0023csw Dec 19, 2025
02776d0
feat: 车路协同与边缘智能 路侧YOLOv7模型新增V2X通信功能
ou-yang220 Dec 19, 2025
3a4253b
车路协同(V2X)+边缘智能 路侧感知轻量化模型
ou-yang220 Dec 19, 2025
0cd6a4c
添加新的检测模块
abc123335 Dec 19, 2025
3269feb
Merge branch 'main' of https://github.com/abc123335/nn
abc123335 Dec 19, 2025
ce54974
Merge pull request #3955 from 0023csw/main
William4861 Dec 19, 2025
aa9599b
Merge pull request #3959 from abc123335/main
William4861 Dec 19, 2025
fa24369
重新更新了主程序文件
abc123335 Dec 19, 2025
763de6f
Merge branch 'main' of https://github.com/abc123335/nn
abc123335 Dec 19, 2025
f5f36d5
Merge pull request #3949 from pppzzz222/main
Arrebol01 Dec 19, 2025
896affd
Merge pull request #3961 from abc123335/main
William4861 Dec 19, 2025
9a72249
Merge pull request #3957 from ou-yang220/main
William4861 Dec 19, 2025
39c052d
Merge pull request #3954 from 183899/main
William4861 Dec 19, 2025
4643abc
更新了README.md文件
abc123335 Dec 19, 2025
f9e1b4d
Merge branch 'main' of https://github.com/abc123335/nn
abc123335 Dec 19, 2025
09ed501
运行新的项目,人体模型的搭建,成功搭建了关于neck的部分,并生成动图
sda-57 Dec 19, 2025
8ea7422
Merge branch 'OpenHUTB:main' into main
sda-57 Dec 19, 2025
dea156e
更新了requirements文件
abc123335 Dec 19, 2025
084a6bd
Merge pull request #3965 from abc123335/main
William4861 Dec 19, 2025
2129822
Merge branch 'OpenHUTB:main' into main
sda-57 Dec 19, 2025
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
Binary file modified .gitignore
Binary file not shown.
119 changes: 83 additions & 36 deletions README.md
Original file line number Diff line number Diff line change
@@ -1,54 +1,101 @@
# 神经网络实现代理
# AutoPilot System: Lane & Object Detection

利用神经网络/ROS 实现 Carla(车辆、行人的感知、规划、控制)、AirSim、Mujoco 中人和载具的代理。
这是一个结合了**传统计算机视觉**与**深度学习**的自动驾驶辅助系统原型。它利用 OpenCV 进行高精度的车道线检测,并集成 YOLOv8 模型实现对车辆、行人等障碍物的实时识别。

## 环境配置
![Status](https://img.shields.io/badge/Status-Active-success)
![Python](https://img.shields.io/badge/Python-3.8%2B-blue)

* 平台:Windows 10/11,Ubuntu 20.04/22.04
* 软件:Python 3.7-3.12(需支持3.7)、Pytorch(尽量不使用Tensorflow)
* 相关软件下载 [链接](https://pan.baidu.com/s/1IFhCd8X9lI24oeYQm5-Edw?pwd=hutb)
## ✨ 核心功能

## 功能模块表
| 模块类别 | 模块名 | 链接 | 其他 |
|-------------------|------------|-------------------------------------------------------------------------------|---------------------------------------------------------------------|
| 规划 | 车辆全局路径规划 | [carla_slam_gmapping](https://github.com/OpenHUTB/nn/tree/main/src/carla_slam_gmapping) | - |
### 1. 🛣️ 车道线检测 (Lane Detection)
* **视觉管线**: 灰度化 -> 高斯模糊 -> Canny 边缘检测 -> 动态 ROI -> 霍夫变换。
* **算法优化**:
* **智能平滑**: 使用 `deque` 历史队列消除车道线抖动。
* **斜率过滤**: 自动剔除路面阴影和垂直路标干扰。
* **可视化调参**: 提供 `tuner.py` 工具,实时寻找针对当前天气的最佳参数。

### 2. 🚗 目标检测 (Object Detection)
* **深度学习**: 集成 **YOLOv8 (Nano)** 模型。
* **识别对象**: 实时框出前方车辆 (Car)、卡车 (Truck)、巴士 (Bus) 和行人 (Person)。
* **性能**: 针对 CPU 优化,轻量级推理。

## 贡献指南
## 🛠️ 环境准备

准备提交代码之前,请阅读 [贡献指南](https://github.com/OpenHUTB/.github/blob/master/CONTRIBUTING.md) 。
代码的优化包括:注释、[PEP 8 风格调整](https://peps.pythonlang.cn/pep-0008/) 、将神经网络应用到Carla模拟器中、撰写对应 [文档](https://openhutb.github.io/nn/) 、添加 [源代码对应的自动化测试](https://docs.github.com/zh/actions/use-cases-and-examples/building-and-testing/building-and-testing-python) 等(从Carla场景中获取神经网络所需数据或将神经网络的结果输出到场景中)。
### 1. 运行环境
* Python 3.8+ (推荐 Python 3.13)
* 建议使用独立显卡 (GPU) 以获得更高帧率,但在 CPU 上也能运行 (FPS 5-10)。

### 约定
### 2. 安装依赖
请确保安装了最新版本的依赖库(包含 ultralytics):
```bash
pip install -r requirements.txt

* 每个模块位于`src/{模块名}`目录下,`模块名`需要用2-3个单词表示,首字母不需要大写,下划线`_`分隔,不能宽泛,越具体越好
* 每个模块的入口须为`main.`开头,比如:main.py、main.cpp、main.bat、main.sh等,提供的ROS功能以`main.launch`文件作为启动配置文件
* 每次pull request都需要保证能够通过main脚本直接运行整个模块,在提交信息中提供运行动图或截图;Pull Request的标题不能随意,需要概括具体的修改内容;README.md文档中提供运行环境和运行步骤的说明
* 仓库尽量保存文本文件,二进制文件需要慎重,如运行需要示例数据,可以保存少量数据,大量数据可以通过提供网盘链接并说明下载链接和运行说明
```

## 🚀 使用指南

### 文档生成
### 第一步:视觉参数调优 (可选但推荐)

如果发现车道线检测不准(乱飞或消失),请先运行调参工具:

```bash
python tuner.py sample.hevc

测试生成的文档:
1. 安装python 3.11,并使用以下命令安装`mkdocs`和相关依赖:
```shell
pip install mkdocs -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com
pip install -r requirements.txt
```
(可选)安装完成后使用`mkdocs --version`查看是否安装成功。

2. 在命令行中进入`nn`目录下,运行:
```shell
mkdocs build
mkdocs serve
* 按 `空格` 暂停,拖动滑动条调整 Canny 阈值和 ROI 区域。
* 记下最佳参数,并填入 `main.py` 顶部的配置区。

### 第二步:启动自动驾驶系统

直接运行主程序,系统将同时加载车道检测器和 YOLO 模型:

```bash
python main.py sample.hevc

```
然后使用浏览器打开 [http://127.0.0.1:8000](http://127.0.0.1:8000),查看文档页面能否正常显示。

## 参考
* **首次运行提示**: 程序会自动下载 `yolov8n.pt` 模型权重文件 (约 6MB),请保持网络连接。

* [代理模拟器文档](https://openhutb.github.io)
* 已有相关 [无人车](https://openhutb.github.io/doc/used_by/) 、[无人机](https://openhutb.github.io/air_doc/third/used_by/) 、[具身人](https://openhutb.github.io/doc/pedestrian/humanoid/) 的实现
* [神经网络原理](https://github.com/OpenHUTB/neuro)
## 📂 项目结构

```text
Project_Root/
├── main.py # [入口] 主程序,协调车道与YOLO检测
├── yolo_det.py # [模块] 封装 YOLOv8 目标检测逻辑
├── tuner.py # [工具] 视觉参数调试器
├── requirements.txt # 依赖清单
├── README.md # 项目文档
└── sample.hevc # 测试数据

```

## ⚠️ 常见问题

**Q1: 画面非常卡顿 (Low FPS)?**

* **原因**: 深度学习模型在没有 GPU 加速的电脑上运行较慢。
* **优化**: 可以在 `main.py` 中实现“跳帧机制”(例如每 3 帧跑一次 YOLO,中间帧沿用结果)。

**Q2: 报错 `ModuleNotFoundError: No module named 'ultralytics'`?**

* **解决**: 请运行 `pip install -r requirements.txt` 确保库已安装。

## 🔮 路线图 (Roadmap)

* [x] 基础 OpenCV 车道线检测
* [x] 可视化参数调试工具 (`tuner.py`)
* [x] 帧间平滑与防抖算法
* [x] 集成 YOLOv8 目标检测 (`yolo_det.py`)
* [ ] 性能优化:加入多线程或跳帧处理
* [ ] 车辆距离估算 (基于检测框大小)
* [ ] 偏离预警系统 (LDW)

## 📚 参考资料

* [Ultralytics YOLOv8 Docs](https://docs.ultralytics.com/)
* [OpenCV Computer Vision](https://opencv.org/)

```

通过网盘分享的文件:supercombo.h5
链接: https://pan.baidu.com/s/1yYc4aPBLnXRuWXEb0hyKMA?pwd=1234 提取码: 1234
```
Loading
Loading