Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
36 commits
Select commit Hold shift + click to select a range
18d4839
new分支:1.添加.gitignore忽略Lib目录 2.修改main.py优化无人机控制逻辑
xiaoshiyuan888 Dec 18, 2025
99c7bf4
Merge branch 'OpenHUTB:main' into new
xiaoshiyuan888 Dec 18, 2025
dd54e83
改进无人机手势控制系统,优化摄像头处理和手势稳定性
xiaoshiyuan888 Dec 18, 2025
09037fe
Merge branch 'OpenHUTB:main' into new
xiaoshiyuan888 Dec 19, 2025
d1726c9
优化手势识别算法,提升系统稳定性和用户体验
xiaoshiyuan888 Dec 19, 2025
0d155c7
Merge branch 'OpenHUTB:main' into new
xiaoshiyuan888 Dec 19, 2025
fd2edd8
Merge branch 'OpenHUTB:main' into new
xiaoshiyuan888 Dec 19, 2025
4b5e52e
优化英文界面,改进手势识别算法,增强单指识别准确率
xiaoshiyuan888 Dec 19, 2025
5aa3395
Merge branch 'new' of https://github.com/xiaoshiyuan888/nn into new
xiaoshiyuan888 Dec 19, 2025
87eeee6
Merge branch 'OpenHUTB:main' into new
xiaoshiyuan888 Dec 19, 2025
f1897a2
持续优化手势识别算法,解决位置敏感问题,增强全屏手势检测能力
xiaoshiyuan888 Dec 19, 2025
75421ae
Merge branch 'OpenHUTB:main' into new
xiaoshiyuan888 Dec 19, 2025
f095776
Merge branch 'OpenHUTB:main' into new
xiaoshiyuan888 Dec 19, 2025
a7cb67e
Merge branch 'OpenHUTB:main' into new
xiaoshiyuan888 Dec 19, 2025
1c7a07d
优化手势标签显示,修复中文字体缺失导致的问号问题
xiaoshiyuan888 Dec 19, 2025
a499a9b
Merge branch 'OpenHUTB:main' into new
xiaoshiyuan888 Dec 19, 2025
81afe79
Merge branch 'OpenHUTB:main' into new
xiaoshiyuan888 Dec 19, 2025
36f5403
新增:语音反馈系统,支持多平台音频播放
xiaoshiyuan888 Dec 19, 2025
d6aaa05
Merge branch 'OpenHUTB:main' into new
xiaoshiyuan888 Dec 20, 2025
fb866db
优化手势平滑处理,扩展语音反馈系统,增加手势状态追踪
xiaoshiyuan888 Dec 20, 2025
dc19f1c
Merge branch 'OpenHUTB:main' into new
xiaoshiyuan888 Dec 20, 2025
d831140
更新我的项目README.md文件
xiaoshiyuan888 Dec 20, 2025
6a4fd48
Merge branch 'OpenHUTB:main' into new
xiaoshiyuan888 Dec 20, 2025
fcd3d57
Merge branch 'OpenHUTB:main' into new
xiaoshiyuan888 Dec 21, 2025
15eb615
新增手势轨迹记录与回放功能,优化语音反馈系统
xiaoshiyuan888 Dec 21, 2025
86bc6a2
Merge branch 'OpenHUTB:main' into new
xiaoshiyuan888 Dec 21, 2025
9b42799
增加性能模式选择功能
xiaoshiyuan888 Dec 21, 2025
d0e6b06
Merge branch 'OpenHUTB:main' into new
xiaoshiyuan888 Dec 21, 2025
40d100c
增加性能模式选择功能
xiaoshiyuan888 Dec 21, 2025
729daf9
增加性能模式选择功能
xiaoshiyuan888 Dec 21, 2025
a78d784
Merge branch 'OpenHUTB:main' into new
xiaoshiyuan888 Dec 21, 2025
a73dbea
新增完整的性能统计与分析系统,实现实时性能监控、详细报告和系统资源管理功能
xiaoshiyuan888 Dec 21, 2025
3e28176
Merge branch 'OpenHUTB:main' into new
xiaoshiyuan888 Dec 21, 2025
0de8fdf
将手势控制无人机系统拆分为模块化架构,保持功能完整性,优化代码维护性
xiaoshiyuan888 Dec 21, 2025
3621c5b
Merge branch 'OpenHUTB:main' into new
xiaoshiyuan888 Dec 21, 2025
fb9744b
更新我的README文件和依赖文件
xiaoshiyuan888 Dec 21, 2025
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
84 changes: 59 additions & 25 deletions src/autonomus_drone_hand_gesture_project/README.md
Original file line number Diff line number Diff line change
@@ -1,40 +1,74 @@
# 手势控制AirSim无人机系统

[项目简介]
基于计算机视觉和语音反馈技术的手势控制无人机系统。使用纯OpenCV实现手部检测和手势识别,结合语音反馈系统,提供直观的无人机控制体验。系统支持AirSim仿真环境和真实无人机控制,具备手势平滑处理、状态追踪和多模式显示功能。
## 项目简介

[核心功能]
基于计算机视觉和语音反馈技术的手势控制无人机系统。使用纯OpenCV实现手部检测和手势识别,结合语音反馈系统,提供直观的无人机控制体验。系统支持AirSim仿真环境和真实无人机控制,具备手势平滑处理、状态追踪、性能监控和轨迹记录等完整功能。

1. 手势识别与控制
- 纯OpenCV实现:不依赖深度学习框架,使用肤色检测、轮廓分析和凸缺陷检测识别手势
- 多种手势支持:支持停止、前进、后退、上升、下降、左转、右转等多种控制手势
- 实时手势追踪:跟踪手部位置和状态,提供连续控制体验
## 核心功能

2. 智能语音反馈系统
- 多引擎支持:兼容pyttsx3(离线)和gTTS(在线)语音引擎
- 丰富语音提示:提供连接状态、飞行状态、手势识别、系统状态等多种语音反馈
- 智能语音队列:避免语音重叠,支持优先级播放和即时播放
### 1. 增强手势识别与控制
- **纯OpenCV实现**:不依赖深度学习框架,使用肤色检测、轮廓分析和凸缺陷检测识别手势
- **多种手势支持**:支持停止、前进、上升、下降、左转、右转、悬停等多种控制手势
- **智能手势平滑**:使用手势稳定性检测和位置平滑算法,减少误判和抖动
- **实时状态追踪**:跟踪手势生命周期(开始/活跃/结束),提供精准控制反馈

3. 增强手势平滑处理
- 手势状态追踪:实现手势状态机(none/starting/active/ending),跟踪手势生命周期
- 稳定性检测:使用手势稳定性计数器和位置稳定性权重,减少误判
- 冷却时间机制:防止手势切换过于频繁,提高控制精度
### 2. 智能语音反馈系统
- **多引擎支持**:兼容pyttsx3(离线)和gTTS(在线)语音引擎
- **丰富语音提示**:提供连接状态、飞行状态、手势识别、系统状态等多种语音反馈
- **智能语音队列**:避免语音重叠,支持优先级播放和即时播放
- **中文语音优化**:自动检测并优先使用中文语音引擎

4. 多平台兼容性
- 跨平台音频播放:支持pygame、pydub和系统默认播放器
- 自动库检测:自动检测可用库并选择最优方案
- 详细错误处理:完善的错误处理和降级方案
### 3. 详细性能监控与分析
- **实时性能监控**:监控帧率、CPU使用率、内存使用率、手势识别时间
- **智能性能报告**:生成详细性能报告,包括手势统计、无人机命令成功率等
- **性能阈值警告**:自动检测性能问题并提供优化建议
- **日志记录导出**:支持导出CSV格式性能日志,便于分析和优化

### 4. 多模式性能优化
- **三种性能模式**:
- **最快模式**:性能优先,降低识别精度换取更高帧率
- **平衡模式**:平衡性能与精度,适用于大多数场景
- **最准模式**:精度优先,提供最准确的手势识别
- **动态参数调整**:根据不同模式自动调整检测间隔、图像缩放等参数

### 5. 手势轨迹记录与回放
- **轨迹录制**:实时记录手势轨迹,支持保存到文件
- **轨迹回放**:加载并回放录制的手势轨迹
- **轨迹可视化**:在视频画面上实时显示手势轨迹
- **轨迹管理**:支持开始/停止录制、保存/加载轨迹、暂停/继续回放

### 6. 高级用户界面
- **中文界面**:完整的中文用户界面,包括状态栏、帮助栏和警告信息
- **多显示模式**:支持普通、详细和最小化三种显示模式
- **性能图表**:实时显示FPS性能图表
- **调试信息**:可选的详细调试信息显示

### 7. AirSim无人机控制
- **模拟与真实控制**:支持AirSim模拟器和真实无人机控制
- **安全控制逻辑**:包含手势冷却时间、控制间隔等安全机制
- **紧急停止**:一键紧急停止和降落功能
- **连接管理**:自动检测AirSim连接状态,支持模拟模式

## 环境依赖

[环境依赖]
在运行代码之前,请确保已安装以下Python库:

```bash
# 基础依赖
pip install opencv-python pillow numpy
# 基础库
pip install opencv-python>=4.5.0
pip install numpy>=1.19.0
pip install Pillow>=8.0.0

# 可选但推荐
pip install psutil>=5.8.0 # 系统资源监控

# AirSim无人机控制(可选)
pip install airsim
pip install msgpack-rpc-python>=0.4.0 # AirSim依赖

# 语音反馈系统(选择安装)
pip install pyttsx3 # 离线语音(推荐)
pip install gtts pygame # 在线语音(需要网络)
pip install pyttsx3>=2.90 # 离线语音(推荐)
pip install gtts>=2.2.0
pip install pygame>=2.0.0 # 在线语音(需要网络)

# 完整安装(推荐)
pip install -r requirements.txt
16 changes: 10 additions & 6 deletions src/autonomus_drone_hand_gesture_project/requirements.txt
Original file line number Diff line number Diff line change
@@ -1,6 +1,10 @@
mediapipe==0.10.7
opencv-python==4.8.1.78
numpy==1.24.4
tensorflow==2.14.0
pandas==2.1.4
pillow==10.1.0
opencv-python>=4.5.0
numpy>=1.19.0
Pillow>=8.0.0
psutil>=5.8.0
pyttsx3>=2.90
gtts>=2.2.0
pygame>=2.0.0
pydub>=0.25.1
airsim>=1.7.0
msgpack-rpc-python>=0.4.0
Loading