Repository navigation
fix: bump hypercore to 11.40.4 to stop replicator read stalls - #577
Merged
Merged
Conversation
hypercore 11.39.0 drops the next block request after a get() that timed out, and forgets blocks a peer still holds after it drops one below its contiguous length. Both stall reads after a seeder clears a block. Fixed upstream in holepunchto/hypercore#896, released in 11.40.0. The web-member test that pins the hypercore version under @varanda/core moves to 11.40.4; web-member itself stays on hypercore 10.38.2.
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
O que muda e por quê
Sobe o
hypercorede 11.39.0 para 11.40.4 (versão exata) empackages/coreeapps/cli. Só opackage-lock.jsonda raiz muda. Ocorestore7.15.0 pede^11.39.0e passa a usar a mesma cópia, sem precisar de bump.A 11.39.0 tem dois defeitos no replicador, corrigidos em holepunchto/hypercore#896 (issue holepunchto/hypercore#891) e lançados na 11.40.0:
_updatePeer: uma entrada velha em_queued(umget()que estourou o tempo, por exemplo num bloco que o par limpou) sai da fila como se o pedido tivesse sido enviado e gasta a única atualização do par. Oget()seguinte não é pedido (cerca de metade das vezes com um par só) e espera o tempo todo.onrange: um bloco descartado abaixo de_remoteContiguousLengthfaz o par esquecer que o outro lado ainda tem os blocos seguintes, e as leituras depois que um semeador limpa um bloco apagado podem travar.É a causa do teste instável
apps/cli/test/pages-lifecycle.test.js, contornado no #568.Reprodução isolada (dois hypercores no mesmo processo, sem rede: o escritor limpa o bloco 1, o leitor estoura o tempo nele e depois lê um bloco guardado, 76 vezes): 38/76 leituras estouraram o tempo na 11.39.0 e 0/76 na 11.40.4.
O que mais entra entre 11.39.0 e 11.40.4
Diff dos pacotes do npm: 9 arquivos, +416/-215, mesmas dependências. Os números abaixo são PRs de holepunchto/hypercore. O que pode pesar:
verifydo núcleo agora reajusta uma prova de upgrade que começa em outro tamanho, em vez de descartá-la. É a maior mudança (boa parte delib/merkle-tree.jsreescrita) e mexe na verificação de provas. As correções seguintes apertam limites (tamanho derivado, número de nós, raiz não guardada).advertisedByempackages/core/lib/deletion.jslêpeer.remoteContiguousLengthepeer.remoteBitfield, que são internos do hypercore. Os dois continuam existindo, e com a correção 2 passam a mostrar que o par tem os blocos depois de um bloco descartado (antes não mostravam).get()pendente nos blocos removidos.get(seq, { raw: true })ao mesmo tempo recebem o mesmoBuffer. Conferi que o código não escreve nos blocos que lê (ossodium_memzerozeram buffers próprios: texto aberto e chaves). Comencryption, o hypercore já copia o bloco.waitForRecoverybehaviour explicit holepunchto/hypercore#900:recover()aceita opções e lança erro fora da sessão padrão ou semRECOVERY_PEERS. O código não chamarecover().clear()apaga toda a subárvore irmã comdeleteTreeNodeRange, que ohypercore-storage3.4.0 do lockfile já tem.destroyedin replicator holepunchto/hypercore#904 (o replicador não roda tarefas depois de destruído), Don't attach to a stream that closed while the core was opening holepunchto/hypercore#911, Remove a closed session's extensions from connected peers holepunchto/hypercore#915, Never return less than the position from a remote bitfield segment's findFirst holepunchto/hypercore#923, Restore every remote bitfield page when unclearing a local range holepunchto/hypercore#927, Don't treat empty requests as cancelled in the receiver queue holepunchto/hypercore#937 e Fully remote proof encode decode holepunchto/hypercore#950.Reconferido, como pede o item "Manutenção (nona rodada)" de
docs/verification.md: o reanexo da réplica do diário de vínculo (reattachMainempackages/core/lib/sync.js) continua valendo.Hypercore#replicate(mux)ainda aceita um Protomux; a única mudança é queattachToagora ignora um fluxo em destruição (holepunchto/hypercore#911), ereattachMainjá pula sockets destruídos.packages/web-member/test/member.test.jsconfere a versão do hypercore embaixo de@varanda/core: a expectativa passa de11.39.0para11.40.4. O hypercore do própriopackages/web-membercontinua no 10.38.2, que tem os mesmos defeitos e não tem correção na 10.x. Fica para outra decisão.Não mexi nas menções a 11.39.0 em
docs/verification.md(tabela de versões do spike do navegador e o item da nona rodada),docs/protocol.mde no comentário depackages/core/lib/frame-guard.js: registram o que foi medido ou observado naquela versão.Não pus entrada no
CHANGELOG.md, porque é só troca de dependência. Se quiserem uma linha em "Não lançado", eu ponho.Issue
Sem issue. Segue o #568.
Como verificar
npm ci --ignore-scripts,npm run lint,npm testenpm run demo.npm run prepare:native -w apps/app: o worklet empacotado (apps/app/assets/worklet/main.bundle.js) traz o código da 11.40.4.O que rodei (macOS, Node 24.22.1), sobre a
mainem 70a3af2. Antes do commit a branch passou para amainem 7da6597, que só trouxe mudanças no app, em docs e num comentário depages-lifecycle.test.js, e o lint passou de novo:npm ci --ignore-scripts,npm run lint,npm run demo(DEMO OK) enpm run prepare:native -w apps/apppassaram.npm testcompleto: 670 de 673 arquivos passaram. As 3 falhas:packages/web-member/test/member.test.js: a expectativa de versão acima. Corrigida; sozinho passa (26/26).packages/core/test/seeder-delete.test.js: o teste "mediaRead stops serving a range deleted while its reads are in flight" estourou 120 s.packages/core/test/seeder-feira.test.js: falhou a asserção "the edit photo is served while the listing lives".mediaReaddevolvenulllogo depois que a mídia baixou. Parece instabilidade que já existe, não regressão:seeder-delete: 1 falha em 19 execuções na 11.40.4 e 1 em 19 na 11.39.0 (o teste 19, "the new item in the re-declared core is served");seeder-feira: 7/7 na 11.40.4 e 8/8 na 11.39.0;main(run 43496203724, 2026-11-13) e a deperf/shared-moment-preview(run 43507039202), ainda na 11.39.0, falharam esse mesmo teste 19 doseeder-delete.Checklist
npm run lint,npm test(ounpm test -- --affected=origin/main) enpm run demopassamO primeiro item fica desmarcado porque o
npm testcompleto teve as 3 falhas acima. Conferências em aparelho pendentes: o worklet Bare empacota o hypercore, mas não rodei o build de debug do Android nem o simulador iOS.