Luigi Silva apresenta o trabalho “hipscatalog_gen: A Python Workflow for Scalable Catalog HiPS Production in HPC Environments”
Entre os dias 8 e 12 de junho a comunidade internacional astronômica se reuniu em Estrasburgo, na França, para o evento IVOA Northern Spring 2026 Interoperability Meeting (acesse o site do evento) com a finalidade de discutir avanços em padrões, aplicações, interoperabilidade e infraestrutura para acesso, publicação e reutilização de dados astronômicos.
Colaborando de forma ativa para a discussão e apresentando novas soluções para o debate, o cientista de dados do LIneA, Luigi Silva, participou do evento de forma online na sessão Applications 1, com o trabalho “hipscatalog_gen: A Python Workflow for Scalable Catalog HiPS Production in HPC Environments”. O trabalho descreve um pacote Python desenvolvido para a produção escalável de produtos Catalog HiPS compatíveis com clientes como o Aladin.
A proposta “hipscatalog_gen” visa oferecer uma solução complementar, orientada a workflows, para ambientes em que os catálogos astronômicos já estão integrados a ecossistemas modernos de processamento distribuído em Python e HPC. O pipeline suporta entradas em Parquet, CSV/TSV e HATS, executa com Dask tanto localmente quanto em ambientes SLURM, e gera produtos HiPS padronizados acompanhados de metadados, produtos auxiliares, logs estruturados e telemetria de execução. No contexto do LIneA, o hipscatalog_gen também tem uma aplicação direta: o pipeline deverá alimentar o Sky Viewer com catálogos HiPS, permitindo a visualização interativa de objetos astronômicos no céu e contribuindo para tornar esses produtos mais acessíveis à comunidade científica.
A apresentação realizada por Luigi também foi uma oportunidade de demonstrar os resultados iniciais de benchmarks realizados com subconjuntos do Dark Energy Survey (DES), data release 2 (DR2), e do Legacy Survey of Space and Time (LSST), data preview 1 (DP1), no cluster Apollo do LIneA, no contexto de preparação para operações e fluxos de dados em escala do LSST. Em um dos benchmarks representativos, o pipeline gerou uma árvore padrão de catálogo HiPS e arquivos de suporte a partir de um catálogo DES DR2 “skinny” com 691 milhões de linhas em cerca de 37 minutos.
Os dados utilizados nesses testes são disponibilizados por meio da infraestrutura do IDAC-BR, que permite à comunidade brasileira acessar dados de grandes levantamentos astronômicos, como os do LSST.
O LIneA é um instituto de ciência e tecnologia privado cuja missão é viabilizar a participação de pesquisadores e estudantes em colaborações internacionais, apoiar centros emergentes, fornecer acesso a acervos de dados astronômicos e a uma infraestrutura de processamento intensivo de dados, e desenvolver soluções para problemas de big data nas áreas de astronomia e cosmologia. Atualmente as atividades do LIneA são apoiadas pela FINEP e pelo INCT do e-Universo.
