alternative method = mimic observed sample

[gschwend]

Buscar o método já desenvolvido pelo DESC (Roman-Rubin), aprender a usar e rodar um train/estimate/evaluate com ele. Comparar resultado com o training set aleatório do mesmo tamanho.

[luigilcsilva]

Movendo para Blocked. Razão: falta de tracts na tabela matches_truth. O método que eu queria usar para cumprir essa issue era:

1. Fazer o merge da tabela object com a tabela truth, usando a matches_object como intermediária (script já está pronto)
2. Selecionar uma sample aleatória de uns 4,000,000 de objetos.
3. Gerar um training set degradado com GridSelection do rail.
4. Gerar um training set randômico de mesmo tamanho do training set degradado a partir desses 4,000,000 de objetos.
5. Rodar o pipeline do pz_compute para os training sets dos passos 4 e 5, e comparar as métricas.

[luigilcsilva]

arquivos em /lustre/t1/cl/lsst/dp02/primary/catalogs

object
157 arquivos (tracts) [2897, … , 5074]
coadd_patches/dp02_CoaddPatches.csv
157 unique tracts [2897, … , 5074]
truth_match
166 tracts (dentro de truth_summay, junto com truth_galaxy) [2723, … , 5074]
9 tracts de diferença
sobrando 14 tracts: [2723, … , 2735, 2896]
faltando 5 tracts [4848, 4849, 5062, 5063, 5064]
matches_truth
152 arquivos (tracts) - comparando com a tabela objects, os tracts faltantes são: [4848, 4849, 5062, 5063, 5064]

Estamos cientes dos tracts faltantes. Seguiremos assim.

[luigilcsilva]

Passos:

1. Gerar um test set a partir de um sample do catálogo inteiro.
2. Gerar um sample que não inclua valores do test set anterior.
3. Em cima dessa sample, fazer um training set degradado e outro aleatório.
4. Rodar o pz_compute e comparar as métricas.