Skip to content

baefthde/Avatar-beta3

Repository files navigation

🤖 Avatar-System für OpenWebUI - Vollständiges Paket

📦 Paket-Inhalt

Dieses ZIP-Paket enthält das komplette Avatar-System für OpenWebUI mit allen notwendigen Dateien:

🎨 Frontend-Komponenten

frontend/
├── src/
│   ├── AvatarApp.js              # Haupt-Avatar-Anwendung
│   ├── App.js                    # Erweiterte Haupt-App
│   └── components/
│       ├── AvatarEmotion.js      # Emotionsanalyse & TTS
│       └── OpenWebUIBridge.js    # WebSocket-Integration
├── package.json                  # Node.js Dependencies
└── .env                          # Frontend-Konfiguration

🔧 Backend-Services

backend/
├── server.py                     # FastAPI-Hauptserver
├── avatar_service.py             # WebSocket-Avatar-Service
├── openwebui_plugin.py           # OpenWebUI-Integration
├── requirements.txt              # Python-Dependencies
└── .env                          # Backend-Konfiguration

📚 Dokumentation & Integration

├── AVATAR_INSTALLATION.md        # Detaillierte Installationsanleitung
├── OPENWEBUI_AVATAR_PLUGIN.py    # Plugin für OpenWebUI (direkt kopierbar)
└── README.md                     # Diese Datei

🚀 Schnellstart

1. Dateien Entpacken

unzip avatar_system_complete.zip -d /your/project/folder
cd /your/project/folder

2. Backend Setup

cd backend
pip install -r requirements.txt
python server.py

3. Frontend Setup

cd frontend
yarn install  # oder npm install
yarn start    # oder npm start

4. OpenWebUI Plugin Installieren

  1. Öffnen Sie OpenWebUI → Admin Panel → Functions
  2. Kopieren Sie den Inhalt von OPENWEBUI_AVATAR_PLUGIN.py
  3. Erstellen Sie eine neue Funktion und fügen Sie den Code ein
  4. Konfigurieren Sie die Valves (WebSocket-URL etc.)

🎯 System-Features

✅ Avatar-Anpassung

  • 2D/3D umschaltbar - Vollständige Kontrolle über Avatar-Typ
  • Erscheinungsbild: Geschlecht, Hautfarbe, Haarfarbe, Frisur
  • Kleidung: Oberteile, Hosen, Schuhe mit Farbauswahl
  • Körperform: Verschiedene Körpertypen und Gesichtsformen

✅ KI-Integration

  • Emotionsanalyse: 8+ Emotionen (Freude, Trauer, Wut, Überraschung, etc.)
  • Mehrsprachig: Deutsch und Englisch vollständig unterstützt
  • Text-to-Speech: Automatische Lippensynchronisation
  • Kontextuelle Reaktionen: Avatar reagiert auf Chat-Inhalte

✅ OpenWebUI Integration

  • Echtzeit-WebSocket: Nahtlose Kommunikation
  • Chat-Event-Processing: Automatische Emotionserkennung
  • Voice-Output-Sync: Mundbewegung bei Sprachausgabe
  • Multi-Avatar-Management: Mehrere Avatare pro Nutzer

🔧 Technische Details

Architektur

┌─────────────────┐    ┌──────────────────┐    ┌─────────────────┐
│   OpenWebUI     │────│  Integration     │────│   Avatar-App    │
│                 │    │  Plugin/Bridge   │    │                 │
│ • Chat Events   │    │ • WebSocket      │    │ • 3D Rendering  │
│ • Voice Output  │    │ • Event Relay    │    │ • Anpassungs-UI │
│ • User Context  │    │ • Embed Handler  │    │ • AI Integration │
└─────────────────┘    └──────────────────┘    └─────────────────┘

Technologie-Stack

  • Frontend: React 19, Three.js, React Three Fiber, Tailwind CSS
  • Backend: FastAPI, WebSockets, Motor (MongoDB), Python 3.11+
  • Integration: OpenWebUI Pipe Functions, Socket.io-Client
  • 3D-Rendering: Three.js, WebGL, Canvas API
  • Styling: OpenWebUI-kompatibles Design-System

API-Endpunkte

# Avatar-Management
GET    /api/avatars           # Alle Avatare abrufen
POST   /api/avatars           # Neuen Avatar erstellen
PUT    /api/avatars/{id}      # Avatar aktualisieren
DELETE /api/avatars/{id}      # Avatar löschen

# Emotionsanalyse
POST   /api/analyze-emotion   # Text-Emotion analysieren
POST   /api/chat/message      # Chat-Nachricht verarbeiten

# System
GET    /api/health            # System-Status
WS     /api/ws/{id}          # WebSocket-Verbindung

🛠️ Konfiguration

Environment Variables

Frontend (.env):

REACT_APP_BACKEND_URL=http://localhost:8001

Backend (.env):

MONGO_URL=mongodb://localhost:27017
DB_NAME=avatar_system
CORS_ORIGINS=http://localhost:3000,http://localhost:8080

OpenWebUI Plugin Konfiguration

class Valves:
    AVATAR_SERVER_URL = "ws://localhost:8765"
    ENABLE_EMOTION_ANALYSIS = True
    ENABLE_VOICE_SYNC = True
    DEFAULT_LANGUAGE = "de"

🎮 Verwendung

1. Avatar erstellen

  1. Gehen Sie zu http://localhost:3000/avatar
  2. Wählen Sie 2D oder 3D
  3. Passen Sie Erscheinungsbild an
  4. Speichern Sie den Avatar

2. OpenWebUI verwenden

  1. Aktivieren Sie das Avatar-Plugin
  2. Starten Sie einen Chat
  3. Avatar reagiert automatisch auf Emotionen

3. Chat-Befehle (Optional)

/avatar status    # System-Status
/avatar register  # Avatar registrieren
/avatar help      # Hilfe anzeigen

🔍 Testing & Debugging

API-Tests

# Emotionsanalyse testen
curl -X POST "http://localhost:8001/api/analyze-emotion" \
  -H "Content-Type: application/json" \
  -d '{"text": "Das ist fantastisch!", "language": "de"}'

# System-Health prüfen
curl http://localhost:8001/api/health

WebSocket-Test

const ws = new WebSocket('ws://localhost:8765');
ws.onopen = () => {
    ws.send(JSON.stringify({
        type: 'chat_message',
        message: 'Hello Avatar!',
        language: 'de'
    }));
};

📖 Weitere Ressourcen

  • Detaillierte Installation: AVATAR_INSTALLATION.md
  • OpenWebUI Plugin: OPENWEBUI_AVATAR_PLUGIN.py
  • Live-Demo: http://localhost:3000 (nach Installation)

🐛 Troubleshooting

Häufige Probleme

WebSocket-Verbindung fehlschlägt:

  • Überprüfen Sie Backend-Status: curl http://localhost:8001/api/health
  • Avatar-Server-Logs: tail -f backend_logs.log

Avatar wird nicht angezeigt:

  • WebGL aktiviert? Browser-Konsole prüfen
  • 3D-Hardware-Beschleunigung aktiviert?

OpenWebUI Plugin reagiert nicht:

  • Plugin-Konfiguration (Valves) überprüfen
  • WebSocket-URL korrekt: ws://localhost:8765

📝 Lizenz & Autor

Entwickelt von: E1 - Emergent AI System
Version: 1.0
Datum: September 2024

Dieses Avatar-System wurde als vollständige Lösung für OpenWebUI entwickelt und bietet professionelle Avatar-Integration mit modernster Technologie.


🎉 Viel Erfolg mit Ihrem Avatar-System!

Bei Fragen oder Problemen konsultieren Sie die AVATAR_INSTALLATION.md oder testen Sie die API-Endpunkte direkt.

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors