diff --git a/src/autonomus_drone_hand_gesture_project/README.md b/src/autonomus_drone_hand_gesture_project/README.md index 0b5c35f915..45f02648d4 100644 --- a/src/autonomus_drone_hand_gesture_project/README.md +++ b/src/autonomus_drone_hand_gesture_project/README.md @@ -1,40 +1,74 @@ # 手势控制AirSim无人机系统 -[项目简介] -基于计算机视觉和语音反馈技术的手势控制无人机系统。使用纯OpenCV实现手部检测和手势识别,结合语音反馈系统,提供直观的无人机控制体验。系统支持AirSim仿真环境和真实无人机控制,具备手势平滑处理、状态追踪和多模式显示功能。 +## 项目简介 -[核心功能] +基于计算机视觉和语音反馈技术的手势控制无人机系统。使用纯OpenCV实现手部检测和手势识别,结合语音反馈系统,提供直观的无人机控制体验。系统支持AirSim仿真环境和真实无人机控制,具备手势平滑处理、状态追踪、性能监控和轨迹记录等完整功能。 -1. 手势识别与控制 - - 纯OpenCV实现:不依赖深度学习框架,使用肤色检测、轮廓分析和凸缺陷检测识别手势 - - 多种手势支持:支持停止、前进、后退、上升、下降、左转、右转等多种控制手势 - - 实时手势追踪:跟踪手部位置和状态,提供连续控制体验 +## 核心功能 -2. 智能语音反馈系统 - - 多引擎支持:兼容pyttsx3(离线)和gTTS(在线)语音引擎 - - 丰富语音提示:提供连接状态、飞行状态、手势识别、系统状态等多种语音反馈 - - 智能语音队列:避免语音重叠,支持优先级播放和即时播放 +### 1. 增强手势识别与控制 +- **纯OpenCV实现**:不依赖深度学习框架,使用肤色检测、轮廓分析和凸缺陷检测识别手势 +- **多种手势支持**:支持停止、前进、上升、下降、左转、右转、悬停等多种控制手势 +- **智能手势平滑**:使用手势稳定性检测和位置平滑算法,减少误判和抖动 +- **实时状态追踪**:跟踪手势生命周期(开始/活跃/结束),提供精准控制反馈 -3. 增强手势平滑处理 - - 手势状态追踪:实现手势状态机(none/starting/active/ending),跟踪手势生命周期 - - 稳定性检测:使用手势稳定性计数器和位置稳定性权重,减少误判 - - 冷却时间机制:防止手势切换过于频繁,提高控制精度 +### 2. 智能语音反馈系统 +- **多引擎支持**:兼容pyttsx3(离线)和gTTS(在线)语音引擎 +- **丰富语音提示**:提供连接状态、飞行状态、手势识别、系统状态等多种语音反馈 +- **智能语音队列**:避免语音重叠,支持优先级播放和即时播放 +- **中文语音优化**:自动检测并优先使用中文语音引擎 -4. 多平台兼容性 - - 跨平台音频播放:支持pygame、pydub和系统默认播放器 - - 自动库检测:自动检测可用库并选择最优方案 - - 详细错误处理:完善的错误处理和降级方案 +### 3. 详细性能监控与分析 +- **实时性能监控**:监控帧率、CPU使用率、内存使用率、手势识别时间 +- **智能性能报告**:生成详细性能报告,包括手势统计、无人机命令成功率等 +- **性能阈值警告**:自动检测性能问题并提供优化建议 +- **日志记录导出**:支持导出CSV格式性能日志,便于分析和优化 + +### 4. 多模式性能优化 +- **三种性能模式**: + - **最快模式**:性能优先,降低识别精度换取更高帧率 + - **平衡模式**:平衡性能与精度,适用于大多数场景 + - **最准模式**:精度优先,提供最准确的手势识别 +- **动态参数调整**:根据不同模式自动调整检测间隔、图像缩放等参数 + +### 5. 手势轨迹记录与回放 +- **轨迹录制**:实时记录手势轨迹,支持保存到文件 +- **轨迹回放**:加载并回放录制的手势轨迹 +- **轨迹可视化**:在视频画面上实时显示手势轨迹 +- **轨迹管理**:支持开始/停止录制、保存/加载轨迹、暂停/继续回放 + +### 6. 高级用户界面 +- **中文界面**:完整的中文用户界面,包括状态栏、帮助栏和警告信息 +- **多显示模式**:支持普通、详细和最小化三种显示模式 +- **性能图表**:实时显示FPS性能图表 +- **调试信息**:可选的详细调试信息显示 + +### 7. AirSim无人机控制 +- **模拟与真实控制**:支持AirSim模拟器和真实无人机控制 +- **安全控制逻辑**:包含手势冷却时间、控制间隔等安全机制 +- **紧急停止**:一键紧急停止和降落功能 +- **连接管理**:自动检测AirSim连接状态,支持模拟模式 + +## 环境依赖 -[环境依赖] -在运行代码之前,请确保已安装以下Python库: ```bash -# 基础依赖 -pip install opencv-python pillow numpy +# 基础库 +pip install opencv-python>=4.5.0 +pip install numpy>=1.19.0 +pip install Pillow>=8.0.0 + +# 可选但推荐 +pip install psutil>=5.8.0 # 系统资源监控 # AirSim无人机控制(可选) pip install airsim +pip install msgpack-rpc-python>=0.4.0 # AirSim依赖 # 语音反馈系统(选择安装) -pip install pyttsx3 # 离线语音(推荐) -pip install gtts pygame # 在线语音(需要网络) \ No newline at end of file +pip install pyttsx3>=2.90 # 离线语音(推荐) +pip install gtts>=2.2.0 +pip install pygame>=2.0.0 # 在线语音(需要网络) + +# 完整安装(推荐) +pip install -r requirements.txt \ No newline at end of file diff --git a/src/autonomus_drone_hand_gesture_project/requirements.txt b/src/autonomus_drone_hand_gesture_project/requirements.txt index 2d313aa3a7..1921bea688 100644 --- a/src/autonomus_drone_hand_gesture_project/requirements.txt +++ b/src/autonomus_drone_hand_gesture_project/requirements.txt @@ -1,6 +1,10 @@ -mediapipe==0.10.7 -opencv-python==4.8.1.78 -numpy==1.24.4 -tensorflow==2.14.0 -pandas==2.1.4 -pillow==10.1.0 \ No newline at end of file +opencv-python>=4.5.0 +numpy>=1.19.0 +Pillow>=8.0.0 +psutil>=5.8.0 +pyttsx3>=2.90 +gtts>=2.2.0 +pygame>=2.0.0 +pydub>=0.25.1 +airsim>=1.7.0 +msgpack-rpc-python>=0.4.0 \ No newline at end of file