[Bug]: Som adiantado após o vídeo acelerar no Firefox

[zerorobs]

Descrição do problema

Assistindo a CazéTV, dá para ver que o som começa a ficar mais adiantado do que o vídeo assim que o player começa a acelerar.

Passos para reproduzir

1. Abra qualquer transmissão ao vivo
2. Ative o modo automático
3. Espere até que o vídeo seja um pouco acelerado.
4. Veja o erro

Comportamento esperado

O áudio acompanhasse o vídeo.

Comportamento atual

O áudio fica adiantado.

Ambiente

• Navegador e versão: Firefox 152.0.4
• Versão da extensão: 1.3.0
• Modo em uso: Automático
• Sistema operacional: Windows 11

Live afetada

Qualquer uma que esteja acontecendo.

Capturas de tela / console

Irrelevante, já que é problema com o áudio.

Checklist

• Procurei nas issues existentes e este problema ainda não foi reportado
• Testei com a versão mais recente da extensão

[joaogfc]

@
Reabrindo. A PR #42 entrou na main e mira exatamente este problema (extrai a aplicação de velocidade para um adaptador testado, com um curto intervalo por degrau no Gecko e retorno imediato a 1.0x). Mas o fecho automático foi disparado pelo "Closes #40" da PR, e a correção ainda NÃO foi validada numa live real no Firefox, que é justamente o ambiente do bug.

Deixo aberta até alguém confirmar em live real no Firefox que o áudio deixou de adiantar durante a aceleração. Se você puder testar a próxima versão publicada e reportar aqui, ajuda muito. Obrigado pelo report.
@

[zerorobs]

@ Reabrindo. A PR #42 entrou na main e mira exatamente este problema (extrai a aplicação de velocidade para um adaptador testado, com um curto intervalo por degrau no Gecko e retorno imediato a 1.0x). Mas o fecho automático foi disparado pelo "Closes #40" da PR, e a correção ainda NÃO foi validada numa live real no Firefox, que é justamente o ambiente do bug.

Deixo aberta até alguém confirmar em live real no Firefox que o áudio deixou de adiantar durante a aceleração. Se você puder testar a próxima versão publicada e reportar aqui, ajuda muito. Obrigado pelo report. @

A atualização foi feita no Firefox há cinco minutos e, se já foi a nova versão com a suposta correção, infelizmente não foi corrigido. Segue o diagnóstico:

{ "zerodelay": "1.5.0", "browser": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:152.0) Gecko/20100101 Firefox/152.0", "lang": "pt-BR", "mode": "auto", "settings": { "enabled": true, "playbackRate": 1.25, "showPlaybackRate": true, "showLatency": true, "showHealth": true, "showEstimation": false, "showCurrent": false, "showBadge": true, "bufferTarget": 4, "auto": true, "skip": true, "skipThreathold": 30, "band": false, "centerBuffer": 3 }, "degraded": false, "caps": { "stats": true, "progress": true, "videoData": true, "setRate": true, "getRate": true, "seekLive": true, "playVideo": true, "stateObject": true }, "video": { "id": "Tzcn1pJ0zNw", "channel": "", "isLive": true }, "appliedRate": 1, "yieldedToUser": false, "controller": { "buffer_ema": 5.45750294321917, "drain_ema": -0.20030817416336544, "engaged": false, "auto_target": 9, "auto_cooldown": 0, "rate": 1, "catching_up": false }, "session": { "startedAt": 1784069164566, "watchSec": 2804, "recoveredSec": 49.9, "rebuiltSec": 0, "jumps": 0, "stalls": 4, "latencyAvg": 9 }, "samples": [ [ 2678, 8.47, 5.69, 1 ], [ 2679, 8.44, 4.62, 1 ], [ 2680, 8.44, 3.61, 1 ], [ 2681, 8.45, 7.58, 1 ], [ 2682, 8.44, 6.8, 1 ], [ 2683, 8.46, 5.56, 1 ], [ 2684, 8.47, 4.54, 1 ], [ 2685, 8.47, 3.51, 1 ], [ 2686, 8.44, 7.48, 1 ], [ 2687, 8.48, 6.49, 1 ], [ 2688, 8.47, 5.2, 1 ], [ 2689, 8.44, 4.17, 1 ], [ 2690, 8.45, 3.18, 1 ], [ 2691, 8.46, 7.2, 1 ], [ 2692, 8.46, 6.2, 1 ], [ 2693, 8.44, 5.18, 1 ], [ 2695, 8.48, 3.94, 1 ], [ 2696, 8.45, 4.41, 1 ], [ 2697, 8.46, 6.91, 1 ], [ 2698, 8.46, 5.91, 1 ], [ 2699, 8.49, 4.9, 1 ], [ 2700, 8.48, 3.62, 1 ], [ 2701, 8.46, 5.55, 1 ], [ 2702, 8.46, 6.6, 1 ], [ 2703, 8.44, 5.58, 1 ], [ 2704, 8.48, 4.6, 1 ], [ 2705, 8.46, 3.58, 1 ], [ 2706, 8.47, 7.61, 1 ], [ 2707, 8.48, 6.61, 1 ], [ 2708, 8.45, 5.58, 1 ], [ 2709, 8.44, 4.3, 1 ], [ 2710, 8.45, 3.31, 1 ], [ 2711, 8.47, 7.3, 1 ], [ 2712, 8.45, 6.27, 1 ], [ 2713, 8.47, 5.29, 1 ], [ 2714, 8.47, 4.29, 1 ], [ 2716, 8.46, 3.03, 1 ], [ 2717, 8.47, 7.02, 1 ], [ 2718, 8.47, 6, 1 ], [ 2719, 8.45, 4.73, 1 ], [ 2720, 8.46, 3.73, 1 ], [ 2721, 8.46, 2.94, 1 ], [ 2722, 8.45, 6.69, 1 ], [ 2723, 8.43, 5.67, 1 ], [ 2724, 8.46, 4.68, 1 ], [ 2725, 8.47, 3.69, 1 ], [ 2726, 8.45, 4.8, 1 ], [ 2727, 8.46, 6.66, 1 ], [ 2728, 8.48, 5.67, 1 ], [ 2729, 8.5, 4.64, 1 ], [ 2730, 8.47, 3.35, 1 ], [ 2731, 8.44, 7.31, 1 ], [ 2732, 8.46, 6.33, 1 ], [ 2733, 8.46, 5.29, 1 ], [ 2734, 8.47, 4.05, 1 ], [ 2735, 8.47, 3.06, 1 ], [ 2737, 8.45, 7.05, 1 ], [ 2738, 8.48, 5.81, 1 ], [ 2739, 8.45, 4.78, 1 ], [ 2740, 8.46, 3.8, 1 ], [ 2741, 8.44, 7.76, 1 ], [ 2742, 8.47, 7.02, 1 ], [ 2743, 8.46, 5.75, 1 ], [ 2744, 8.46, 4.72, 1 ], [ 2745, 8.48, 3.74, 1 ], [ 2746, 8.46, 7.46, 1 ], [ 2747, 8.51, 6.48, 1 ], [ 2748, 8.46, 5.16, 1 ], [ 2749, 8.46, 4.17, 1 ], [ 2751, 8.46, 2.91, 1 ], [ 2752, 8.45, 7.12, 1 ], [ 2753, 8.46, 5.87, 1 ], [ 2754, 8.46, 4.85, 1 ], [ 2755, 8.46, 3.82, 1 ], [ 2756, 8.44, 7.52, 1 ], [ 2757, 8.44, 6.52, 1 ], [ 2758, 8.47, 5.54, 1 ], [ 2759, 8.46, 4.54, 1 ], [ 2760, 8.44, 3.52, 1 ], [ 2761, 8.47, 7.53, 1 ], [ 2762, 8.44, 6.51, 1 ], [ 2763, 8.46, 5.52, 1 ], [ 2764, 8.46, 4.51, 1 ], [ 2765, 8.47, 3.27, 1 ], [ 2766, 8.46, 7.25, 1 ], [ 2768, 8.44, 6.22, 1 ], [ 2769, 8.46, 4.98, 1 ], [ 2770, 8.47, 3.98, 1 ], [ 2771, 8.45, 3.46, 1 ], [ 2772, 8.47, 6.97, 1 ], [ 2773, 8.45, 5.92, 1 ], [ 2774, 8.47, 4.92, 1 ], [ 2775, 8.47, 4.16, 1 ], [ 2776, 8.48, 3.89, 1 ], [ 2777, 8.45, 6.84, 1 ], [ 2778, 8.47, 5.86, 1 ], [ 2779, 8.47, 4.86, 1 ], [ 2780, 8.45, 3.83, 1 ], [ 2781, 8.44, 6.58, 1 ], [ 2782, 8.46, 6.59, 1 ], [ 2783, 8.47, 5.56, 1 ], [ 2784, 8.46, 4.28, 1 ], [ 2785, 8.48, 3.3, 1 ], [ 2787, 8.47, 7.26, 1 ], [ 2788, 8.45, 5.97, 1 ], [ 2789, 8.44, 4.98, 1 ], [ 2790, 8.46, 3.99, 1 ], [ 2791, 8.47, 3.68, 1 ], [ 2792, 8.46, 6.96, 1 ], [ 2793, 8.43, 5.93, 1 ], [ 2794, 8.46, 5.7, 1 ], [ 2795, 8.43, 3.97, 1 ], [ 2796, 8.49, 7.66, 1 ], [ 2797, 8.48, 6.6, 1 ], [ 2798, 8.47, 5.52, 1 ], [ 2799, 8.43, 4.45, 1 ], [ 2800, 8.43, 3.17, 1 ], [ 2801, 8.43, 7.13, 1 ], [ 2803, 8.47, 6.14, 1 ], [ 2804, 8.48, 4.85, 1 ] ] }

E o resumo:

ZeroDelay — resumo da sessão assistido: 47m18s atraso recuperado: 50s pulos para o ao vivo: 0 · travadas: 4 latência média: 9s github.com/joaogfc/ZeroDelay

[abrantesdavid]

Dei uma olhada no engine/rate-applier.js e acho que pode existir um ponto específico ainda causando o desync no Firefox.

Mesmo com o GECKO_HOLD_MS limitando as mudanças via player.setPlaybackRate(), o syncVideoRate() continua podendo escrever diretamente em video.playbackRate a cada tick.

Então, no Gecko, pode estar acontecendo algo assim:

• ZeroDelay altera a velocidade pela API do player;
• o YouTube/Firefox ajusta ou reverte o <video>;
• no tick seguinte, syncVideoRate() escreve de novo em video.playbackRate;
• isso acaba gerando várias mudanças diretas no HTMLMediaElement, mesmo com o rate limiter ativo.

Como já existem relatos de desync de áudio/vídeo no Firefox envolvendo mudanças de playbackRate, talvez valha testar uma abordagem mais simples:

No Gecko, usar somente:

player.setPlaybackRate() / player.getPlaybackRate()

e evitar escrever diretamente em:

video.playbackRate

O <video> poderia ficar só para leitura/telemetria.

Também acho que ajudaria bastante adicionar temporariamente ao diagnóstico os dois valores separados:

player.getPlaybackRate()

e

video.playbackRate

Assim dá para verificar se eles divergem exatamente no momento em que o áudio começa a ficar adiantado.

Talvez um teste de regressão interessante seja simular o video.playbackRate sendo revertido entre ticks e garantir que, no Gecko, o rate-applier não tente sobrescrevê-lo novamente.

Não consegui testar em uma live real no Firefox, então é só uma hipótese de investigação, mas achei que valia registrar porque parece um ponto ainda não coberto pela correção da #42.