diff --git a/src/autonomus_drone_hand_gesture_project/README.md b/src/autonomus_drone_hand_gesture_project/README.md index e69de29bb2..0b5c35f915 100644 --- a/src/autonomus_drone_hand_gesture_project/README.md +++ b/src/autonomus_drone_hand_gesture_project/README.md @@ -0,0 +1,40 @@ +# 手势控制AirSim无人机系统 + +[项目简介] +基于计算机视觉和语音反馈技术的手势控制无人机系统。使用纯OpenCV实现手部检测和手势识别,结合语音反馈系统,提供直观的无人机控制体验。系统支持AirSim仿真环境和真实无人机控制,具备手势平滑处理、状态追踪和多模式显示功能。 + +[核心功能] + +1. 手势识别与控制 + - 纯OpenCV实现:不依赖深度学习框架,使用肤色检测、轮廓分析和凸缺陷检测识别手势 + - 多种手势支持:支持停止、前进、后退、上升、下降、左转、右转等多种控制手势 + - 实时手势追踪:跟踪手部位置和状态,提供连续控制体验 + +2. 智能语音反馈系统 + - 多引擎支持:兼容pyttsx3(离线)和gTTS(在线)语音引擎 + - 丰富语音提示:提供连接状态、飞行状态、手势识别、系统状态等多种语音反馈 + - 智能语音队列:避免语音重叠,支持优先级播放和即时播放 + +3. 增强手势平滑处理 + - 手势状态追踪:实现手势状态机(none/starting/active/ending),跟踪手势生命周期 + - 稳定性检测:使用手势稳定性计数器和位置稳定性权重,减少误判 + - 冷却时间机制:防止手势切换过于频繁,提高控制精度 + +4. 多平台兼容性 + - 跨平台音频播放:支持pygame、pydub和系统默认播放器 + - 自动库检测:自动检测可用库并选择最优方案 + - 详细错误处理:完善的错误处理和降级方案 + +[环境依赖] +在运行代码之前,请确保已安装以下Python库: + +```bash +# 基础依赖 +pip install opencv-python pillow numpy + +# AirSim无人机控制(可选) +pip install airsim + +# 语音反馈系统(选择安装) +pip install pyttsx3 # 离线语音(推荐) +pip install gtts pygame # 在线语音(需要网络) \ No newline at end of file diff --git a/src/autonomus_drone_hand_gesture_project/gesture_config.json b/src/autonomus_drone_hand_gesture_project/gesture_config.json index c60f9cec3d..145a26faac 100644 --- a/src/autonomus_drone_hand_gesture_project/gesture_config.json +++ b/src/autonomus_drone_hand_gesture_project/gesture_config.json @@ -67,6 +67,9 @@ "show_speech_status": true, "show_gesture_history": true, "show_stability_indicator": true, + "show_trajectory": true, + "show_trajectory_heatmap": false, + "trajectory_max_points": 100, "show_gesture_info": true, "show_control_help": true, "show_detection_overlay": true, @@ -96,10 +99,17 @@ "announce_gesture_changes": true, "announce_hand_status": true, "announce_performance": true, + "announce_recording": true, "min_gesture_confidence": 0.7, "gesture_start_threshold": 3, "gesture_end_threshold": 10 }, + "recording": { + "auto_save": false, + "default_filename": "gesture_recording.pkl", + "playback_speed": 1.0, + "loop_playback": false + }, "system": { "version": "1.0", "last_updated": "2025-12-19 20:51:44",