SmartGlassesStream

Android live camera preview for smart glasses. This experimental project was developed and physically validated with Ray-Ban Meta Glasses Gen 2 and the Meta Wearables Device Access Toolkit (DAT). It manages registration, device availability, permission and session lifecycles, HEVC decoding, and a low-latency Surface-backed preview.

The session, decoding, and preview architecture may guide support for other smart-glasses brands, but compatibility is not automatic: each manufacturer must provide an equivalent camera-streaming API to replace the Meta-specific DAT integration.

Highlights

• live glasses-camera preview on Android;
• explicit device-session and stream state handling;
• HEVC decoding away from the main thread;
• MockDeviceKit feed for development without physical glasses;
• Kotlin and Jetpack Compose interface;
• intentionally narrow Hello World scope.

For setup and hardware-test details, see the Portuguese documentation below. Issues and pull requests in English or Portuguese are welcome. Use of Meta DAT remains subject to the terms in LICENSE.

Português

Hello World Android para visualizar no telefone, em tempo real, o vídeo capturado pela câmera de óculos inteligentes. Esta implementação foi desenvolvida e validada com Ray-Ban Meta Glasses Gen 2 e o Meta Wearables DAT.

A arquitetura de sessão, streaming, decodificação HEVC e preview pode orientar adaptações para outras marcas e modelos. A compatibilidade não é automática: cada fabricante precisa disponibilizar uma API de câmera equivalente, e sua integração substitui a camada específica do Meta Wearables DAT.

Escopo

O aplicativo implementa somente:

Meta Glasses → câmera → stream HEVC → preview Android

Ele mostra os estados de registro com o Meta AI, disponibilidade dos óculos, permissão da câmera, sessão e stream. Também permite conectar, iniciar e parar a transmissão.

Não inclui fotos, gravação, áudio, compartilhamento, backend, banco de dados, IA, OCR, voz ou funcionalidades de display.

Estrutura

Meta Glasses/
├── meta-wearables-dat-android/  # referência oficial
└── SmartGlassesStream/          # este repositório

O SDK Meta Wearables DAT é obtido pelo Gradle/GitHub Packages; não existe dependência local no checkout oficial.

Pré-requisitos

• Android Studio com JVM 21
• JDK 17+ para o alvo do projeto
• Android SDK Platform 36 e Build Tools 36
• GitHub Personal Access Token clássico com read:packages
• Telefone Android 12/API 31 ou mais recente
• App Meta AI atualizado
• Ray-Ban Meta Glasses Gen 2 com Developer Mode ativado

Configure localmente, sem versionar, em local.properties:

sdk.dir=C\:\\Users\\edson\\AppData\\Local\\Android\\Sdk
github_token=SEU_TOKEN

Build e testes

.\gradlew.bat assembleDebug
.\gradlew.bat test
.\gradlew.bat lint

O APK de debug é gerado em ~/.gradle/project-builds/smartglassesstream/app/outputs/apk/debug/app-debug.apk.

Teste com óculos físicos

1. Emparelhe os óculos com o Meta AI.
2. Ative Developer Mode no Meta AI para os óculos.
3. Conecte o telefone ao computador e autorize a depuração USB.
4. Execute o app pelo Android Studio.
5. Toque em Conectar aos óculos e conclua o registro no Meta AI.
6. Vista os óculos, mantendo-os ligados e desdobrados.
7. Toque em Iniciar Stream.
8. Autorize a câmera dos óculos no Meta AI quando solicitado.
9. Confirme o preview ao vivo e use Parar Stream para encerrar.

Teste sem óculos

Em um build de debug, toque em Ativar óculos simulados. O MockDeviceKit cria um Ray-Ban Meta simulado e usa o vídeo app/src/main/assets/mock_stream.mp4 como feed.

Limitação de validação

Builds e testes automatizados validam integração, estados e compilação. O funcionamento final de Bluetooth, Meta AI, firmware e vídeo real deve ser confirmado fisicamente com os óculos.