Atividades Administração/Planejamento

• Renovaçâo do Comitê de Assessoramento Técnico
• Proposta de parceria com o Porto Maravalley
• Reunião IMPA 
• Reunião na FINEP
• Reuniâo na FAPESP

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Criação e submissão do plano de autenticação e autorização para o IDAC-BR;
• Participação em reuniões do grupo de coordenação dos IDACs do Rubin Observatory para tratar da integração de sistemas de autenticação e autorização, e de transferência de dados;
• Realizada parceria com Autoridade de Certificação da UNESP para registro do LIneA como Autoridade de Registro para emissão de certificados digitais, necessários para a integração do sistema de transferência de dados do Rubin Observatory (Rucio) com o do IDAC-BR;
• Foi iniciada discussão com a COTIC/LNCC sobre parceria para instalação e experimentos com equipamento de processamento de Inteligência Artificial na infraestrutura do LIneA;
• Foi iniciado o projeto de habilitação do novo roteador com reuniões técnicas com os engenheiro de redes da Juniper/Binário;
• Participação em reuniões de alinhamento do projeto da Rede de e-Ciência da RNP;
• Iniciada a participação do LIneA nos encontros SIG-GID promovido pela área de P&D da RNP;
• Criação e submissão do relatório trimestral da contribuição in-kind do IDAC-BR para o Rubin Observatory;
• Foi iniciado processo de cotação junto aos fornecedores para a aquisição de um servidor de banco de dados com 500 TB, um NAS com 2PB e equipamentos para modernizar a solução de firewall;
• Realizada a contratação da empresa Binário para a prestação dos serviços de suporte e instalação do novo roteador Juniper;

Apoio ao usuário

• Foram realizados quarenta atendimentos aos usuários via sistema de chamados;
• Foram registrados três usuários em nosso ambiente e também realizado duas atualizações de registro;
• Foi realizada a adequação de contas de usuários com o objetivo de manter o ambiente de gestão de identidades federadas em conformidade com as regras da CAFe;

Operação e projetos

• Configuração da relação de confiança necessária entre as novas aplicações que entraram na fase de produção e o sistema de autenticação federada
• Correção de erros críticos no banco de dados da ferramenta de monitoramento;
• Migração da ferramenta de monitoramento para um ambiente mais robusto e exclusivo para corrigir problemas de desempenho, incluindo sua atualização para a última versão disponível;
• Correções de segurança na ferramenta de métricas que dá acesso público ao status da infraestrutura e os jobs do cluster de processamento de alta performance;
• Foi criado infraestrutura virtualizada para estudo e análise da implementação das ferramentas e da infraestrutura necessárias para o recebimento dos dados do LSST;
• Foram iniciados testes de desempenho de leitura e escrita no sistema de armazenamento Lustre, com o objetivo de identificar problemas de performance na escrita e na leitura de dados;
• Foram implementados ajustes e melhorias no processo de backup das máquinas do ambiente de processamento de alta performance (HPC);
• Iniciados novos testes e ajustes no fluxo de ingestão de dados utilizando o Apache NiFi em preparação para o comissionamento do IDAC-BR;
• Foram escritas e atualizadas documentações técnicas de diversos procedimentos a fim de melhorar o conhecimento interno e padronizar processos de operação da infraestrutura computacional;
• Realizada a migração da réplica do banco de dados do MPC do antigo para o novo servidor de banco de dados do IDAC;
• Foi realizada a instalação da plataforma PZ Server em produção;

Desenvolvimento e melhorias nas plataformas científicas:

LIneA Science Platform

• Implementado o deploy do backend com URLs distintas para os ambientes de desenvolvimento (dev) e produção (prod), garantindo a separação e a integridade dos ambientes.
• Implementado o fluxo completo de autenticação no frontend, permitindo o login e o gerenciamento de sessões de usuário de forma segura.
• Realizada a atualização dos cards de acesso às plataformas, com adição de informações e descrições aprimoradas para melhorar a experiência do usuário.
• Elaborada a documentação detalhada do processo de deploy para o ambiente de produção, garantindo a reprodutibilidade e a agilidade em futuras atualizações.
• Realizado o deploy do ambiente de produção em versão beta, disponibilizando a plataforma para testes e validação em um cenário real.

SkyViewer

• Realizadas atualizações em elementos da interface do usuário (frontend) e adicionado um indicador visual (flag) de versão “beta” na aplicação.
• Elaborada a documentação detalhada do processo de deploy do SkyViewer em produção.
• Implementado um menu customizado para catálogos e surveys, permitindo uma seleção e navegação mais intuitiva e organizada.
• Adicionada a funcionalidade de coordenadas padrão (default) para cada survey, agilizando a visualização inicial ao carregar os dados.
• Realizado o deploy final da aplicação SkyViewer no ambiente de produção beta.

TargetViewer

• Implementado um sistema de filtro dinâmico na tabela de alvos, permitindo ao usuário refinar buscas.
• Desenvolvida a funcionalidade de visibilidade dinâmica de colunas, permitindo que o usuário personalize quais informações são exibidas na tabela de alvos.
• Removidos os rótulos UCD (UCD labels) da interface de associação de campos, simplificando e agilizando o processo de mapeamento de colunas.
• Implementada a funcionalidade de ordenação de valores ao clicar no cabeçalho de uma coluna, facilitando a análise e organização dos dados.
• Criada a documentação completa para a instalação e operação da aplicação nos ambientes de desenvolvimento e produção.
• Adicionado um indicador visual (flag) de versão “beta” na barra de título da aplicação.

Portal SSO

• Finalizada a reestruturação e reconfiguração do ambiente de processamento de alto desempenho (HPC) após o upgrade do cluster Apolo, restabelecendo sua capacidade operacional.
• Retomado o processamento de predições de ocultação estelar, com a projeção ampliada para um intervalo de dois anos no futuro.
• Monitoramento para geração de predições, em modo alerta, do objeto interestelar 3I/ATLAS, dada sua importância e demanda científica;

PZ Server

• Deploy em ambiente de produção. Serviço operante disponível em https://pzserver.linea.org.br 
• Escrita de documentação em inglês para o usuário com opções de tradução para português brasileiro e espanhol
• Atualização do material de apoio (jupyter notebook tutorial) com correções de versões das dependências visando a compatibilidade com o kernel padrão do LSST disponível no RSP. 
• Atualização do front-end com textos explicativos e links para as novas páginas de documentação. 
• Upload de catálogos de redshifts espectroscópicos públicos.  
• Implementação de novas configurações para escolha dos dados de entrada nos pipelines no ambiente de testes (ex.: escolher entre magnitude e fluxo, qual tipo de fluxo, correção, etc). 
• Refactoring do pipeline Combine Redshift Catalogs (antigo Combine Spec-z Catalogs) para implementar o uso do LSDB no back-end. 
• Correção de bugs na tela de detalhes dos produtos.
• Remoção do botão de login social via Github para restringir usuários a apenas membros do LSST com RSP account válida.   

PZ Compute

• Testes no ambiente HPC, levantamento de problemas ocasionados pela atualização de bibliotecas de terceiros, encaminhamento ao helpdesk.  

Colaboração técnica com o Observatório Vera Rubin

Transformed EFD – ConsDB

• Implementado um sistema de versionamento nos arquivos de configuração para gerenciar futuras alterações e garantir a compatibilidade.
• Os modelos Pydantic foram expandidos para suportar o versionamento da configuração e novos campos para metadados IVOA (UCDs, unidades e descrições aprimoradas);
•  A classe Summary foi refatorada, substituindo o método most_recent_value_in_last_minute por uma nova lógica capaz de consultar dados anteriores ao início de um intervalo de exposição ou visita;
•  Integrada a pré-agregação diretamente na classe de consulta do InfluxDB. Consultas de dados de alta frequência agora utilizam a agregação no lado do banco de dados, resultando em um ganho significativo de performance;
• O mapeamento de tópicos para consultas foi reestruturado para se adequar às novas estratégias de pré-agregação, reduzindo a quantidade de consultas redundantes;
• Os métodos de geração de schema foram atualizados para ler a nova estrutura de configuração e preencher corretamente as informações de versionamento e os metadados IVOA;
• Todos os testes pytest impactados foram refatorados para se alinharem com a nova lógica de consulta, as novas estruturas de dados e o formato de configuração atualizado;
• Todos os arquivos de configuração foram atualizados para estar em compliance com a metodologia de configuração dos sdm_schemas;

Comunicação, Divulgação e Educação:

OBS: atividades reduzidas no mês de julho devido a férias de colaboradores do time de CDE.

• Colaboração com informações para o Relatório final INCT
• LIneA News
• Certificados do evento First Look:
  • confecção
  • envio para os participantes
• Notícias:
  • Nota de pesar: John Peoples
  • DP1 Liberado
  • First Look
  • LSST DA Fellowship 
  • O que as imagens do LSST não revelam?
  • LIneA avança na produção de metadados essenciais para o Observatório Rubin
  • LSST LATAM 2025
  • Cientista de dados do LIneA é selecionado para participar do RCW
  • Portal do Sistema Solar do LIneA é destaque em artigo de ocultações estelares e colaboração científica
  • Post informativo sobre o IDAC
  • Portal do Sistema Solar do LIneA completa um ano oferecendo mais de 50 milhões de predições de ocultações.  
• Textos:
  • 500º artigo do DES tem participação brasileira 

Divulgação Científica

• Galáxias Medusas

Curso: 

• Treinamento RCW (para o BPG)
• Certificado de apresentação (Luigi e Andreia)

Atividades Administração/Planejamento

• Participação no 1º Workshop da Rede de e-Ciência organizada pela RNP
• Realização do evento First Look Brasil na Academia Brasileira de Ciências
• Participação no programa Sem Censura da TV Brasil 

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Realizadas reuniões e cotação junto a empresa Binário, representante da Juniper, com o objetivo de contratar serviço de suporte e instalação do novo roteador;
• Reunião com técnicos do CBPF e da UNESP sobre a ferramenta de transferência de dados Rucio;
• Iniciadas discussões internas para a integração de todas as etapas necessárias para disponibilização de DRs do LSST de forma coordenada;
• Foi realizada a aquisição de peças sobressalentes para melhorias no ambiente de virtualização;
• Foram realizados contatos com os responsáveis pelos IDACs do Canadá, UK e França e colaboradores do LSST para alinhamento acerca de alternativas para a transferência do catálogo DP1 e para sanar dúvidas sobre a configuração da ferramenta de transferência de dados Rucio.

Apoio ao usuário

• Foram realizados trinta e seis atendimentos aos usuários via sistema de chamados.
• Liberação de acesso aos dados do PZ Server alocados na nova storage a partir do ambiente de HPC.
• Implementadas correções no sistema de escalonamento de permissões para atender requisitos do projeto Photo-z.
• Melhorias no processo de gestão de identidades e nos procedimentos relacionados ao provisionamento e remoção de contas de usuários

Operação e projetos

• Finalizada manutenção do ambiente de HPC com a resolução do problema de reinicialização espontânea dos nós. Para isso, foi necessário compilar e instalar versão do Lustre Client no ambiente.
• Realizada a avaliação de vulnerabilidades no serviço SSH no servidor de acesso remoto à infraestrutura.
• Implementadas configurações de hardening no servidor de transferência de dados que será usado como endpoint para receber dados do DP1 e transferências via Globus.
• Implementadas melhorias no sistema de monitoramento de transferência de dados com o monitoramento ativo das portas dos switches que estão conectadas ao servidor de transferência de dados.
• Realizada a instalação e configuração do sistema de transferência Globus na novo servidor de transferência de dados e a integração do serviço ao sistema de autenticação local.
• Ajustes na configuração de rede dos nós de trabalho do cluster kubernetes
• Implementadas melhorias e ajustes no monitoramento do IDAC DB Server.
• Realizadas correções no backup do servidor de acesso do Cluster Apollo.
• Realizada a renovação do certificado de criptografia Shibboleth do provedor de identidades do LIneA tanto na federação CAFe quanto no Google Workspace.
• Iniciada a migração do Apache-Nifi de homologação para produção com o objetivo de preparar o ambiente para os testes de integração de sistemas utilizando o catálogo DP1 do LSST.
• Atividades relacionadas ao novo banco de dados de catálogos
  • Importação dos catálogos astronômicos DES DR2; GAIA DR3 e 2MASS
  • Criação de papéis pré-definidos para facilitar o gerenciamento de contas de acesso
• Iniciados testes de ingestão de dados de arquivos .parquet com a solução desenvolvida pela Timbira com DuckDB.

Desenvolvimento e melhorias nas plataformas científicas:

LIneA Science Platform

• Implementação de autenticação via CILogon/SAML na landing page do LSP e na aplicação Sky Viewer
• Implementação de login com credenciais do Rubin Observatory na aplicação Sky Viewer 
• Implementação de controle da visibilidade de determinadas imagens HIPS de acordo com grupos de usuários registrados no sistema 

Portal SSO

• Reestruturação e reconfiguração do ambiente responsável pelo processamento HPC após upgrade do cluster Apolo (em andamento)

PZ Server

• Implementação de flexibilidade para upload de dados em qualquer formato para alguns tipos de dados. 
• Realização de  testes no servidor da Orchestration após manutenção do Cluster 
• Preparação de documentação para o procedimento de deploy em produção 
• Implementação da exibição dos produtos de dados originários na tela de detalhes dos produtos derivados para acesso à dados de proveniência 
• Atualização do formulário de upload de dados com novos campos de atributos 
• Atualização das telas de submissão dos pipelines no site do PZ Server 
• Disponibilização do catálogo DES DR2 no ambiente de testes 
• Implementação de endpoint para checar propriedade para evitar que usuários apaguem ou alterem produtos de outros usuários programaticamente
• Implementação de método para atualizar metadados via biblioteca Python pzserver 
• Atualização da documentação para o usuário e notebooks de tutorial 
• Implementação de página de aviso de manutenção 
• Desenvolvimento de scripts e notebooks para automatizar a conversão de catálogos para o formato HATS, em preparação para os pipelines que envolvem cross-matching de catálogos 
• Reuniões com stakeholders do Rubin Observatory para levantamento de requisitos 

PZ Compute

• Desenvolvimento de scripts e notebooks de Data Preparation para dar flexibilidade na criação de skinny tables (dados de entrada) variando parâmetros
  • Desenvolvimento de notebooks de validação científica para dados e resultados em todos os estágios do pipeline 
  • Testes de validação do pipeline após a manutenção do cluster 

Colaboração técnica com o Observatório Vera Rubin

Transformed EFD – ConsDB

• Refatoramento dos arquivos de configuração para aumentar incluir e aumentar a compatibilidade com a linguage IVOA;
• Refatoramento da pipeline para incluir a demanda de consultas fora de intervalos temporais previstos;
• Refatoramento de funções de transformação para atender a demanda dos cientistas;
•  Produção parcial de documentação ;

Comunicação, Divulgação e Educação:

• Notícias:
  • Anúncio do DP1 para junho
  • LIneA na mídia (notícias externas)
  • Anúncio do curso de treinamento RSP para membros do BPG
  • Press release das primeiras imagens do Vera Rubin Obs.
  • Diretor do LIneA participa do Sem Censura
• Evento First Look:
  • organização e solicitação de lista de e-mails 
  • envio do material para a ABC
  • envio dos e-mails para os convidados especiais
  • liberação do Sympla
  • postagem nas redes sociais
  • envio dos e-mails gerais
  • envio de e-mail para comitês
  • encomenda dos flyers com a programação
  • revisão do flyer criado pela Flávia da Matta
  • organização da planilha de convidados especiais
  • encomenda das ecobags
  • encomenda dos banners
  • encomenda dos blocos e canetas
  • articulação com os patrocinadores
  • alinhamento com fotógrafo
  • elaboração de cartas convites: Felipe Braga-Ribas e Riccardo Sturani
  • contagem regressiva para o evento nas redes sociais
  • revisão do texto feito pela Corcovado
  • press release das primeiras imagens do Vera Rubin Obs.
• Ícones para o LSP
• Textos:
  • Evento First Look Brasil
  • Liberação do DP1
  • Participação do LIneA no 1º Workshop de e-Ciência da RNP

Divulgação Científica

• Cantadas astronômicas para o dia dos namorados.

Curso: 

• Treinamento Rubin Science Platform. 
• Disponibilização do vídeo do treinamento no YouTube para a comunidade. 

Site:

• Atualização da página “LIneA na mídia” com as notícias externas sobre o LIneA.
• Atualização da página “Entrevistas” com as entrevistas concedidas pelo diretor do LIneA ao Sem Censura e TV Brasil.
• Atualização da página “Workshops e Encontros” com o evento First Look Brasil.

Atividades Administração/Planejamento

• Prestação de contas do INCT do e-Universo submetido ao CNPq
• Reunião na Secretaria Municipal de Ciência e Tecnologia
• Organização evento Rubin First Look

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Realizadas reuniões com o fornecedor Binário/Juniper para discutir sobre o serviço de instalação do roteador;
• Realizada reunião de alinhamento com a engenharia de HPC da HPE sobre a atualização do cluster apolo que foi realizada recentemente;
• Participação no Workshop RNP 2025 com a apresentação sobre a gestão de identidades em ambiente multi-colaboração no contexto das colaborações internacionais;
• Reunião com os times de suporte a e-ciência e de engenharia de redes da RNP para tratar sobre a aquisição da solução de rede spine-and-leaf;
• Reuniões de alinhamento com o time da Timbira para tratar das estratégias de ingestão e de leitura de dados no novo servidor de banco de dados do IDAC Brasil;
• Foi enviado comunicado sobre a extensão do prazo de retorno a todas as firmas participantes do certame de aquisição da solução de rede spine-and-leaf;
• Apresentação da infraestrutura de autenticação e autorização do LIneA na reunião quinzenal de coordenação dos IDACs;

Apoio ao usuário e Gestão de dados

• Atualização de várias sessões do site de documentação que agora também está disponível nos idiomas espanhol e inglês;
• Disponibilização de arquivos do MaNGA para download em massa a pedido de usuário da UFSM;
• Iniciada a migração dos dados de diversas aplicações para os locais definitivos na nova storage;

Operação e projetos

• Migradas todas as aplicações e plataformas para o novo proxy web com alta disponibilidade e balanceamento de carga; 
• Desativação do antigo servidor proxy web;
• Continuação da investigação do problema de reinicialização espontânea dos nós do cluster apolo. As conclusões preliminares apontam que a combinação do uso do Rocky-9.5 com o cliente Lustre 2.15.6 causa o reboot espontâneo.
• Aplicadas várias melhorias e correção de bugs na plataforma Jupyter Hub incluindo a disponibilização de nova versão da imagem do servidor Jupyter Notebook;
• Extração das tabelas de catálogos astronômicos DES DR2; GAIA DR3 e 2MASS do antigo servidor de banco de dados visando sua importação no novo servidor do IDAC;

Desenvolvimento e melhorias nas plataformas científicas:

OBS: atividades reduzidas no mês de maio devido a parada para manutenção das máquinas e férias de colaboradores do time de desenvolvimento.  

LIneA Science Platform

• Correção de bug na tela de associação de colunas do Target Viewer no DES Science Server 
• Inclusão de mais cards de serviços (por ex. portal solar system)    
• Ajustes estéticos e link para página de monitoramento no cabeçalho
• Padronização dos cabeçalhos no User Query e Target Viewer 
• Implementação de autenticação com SAML
• Correção de bug no número de linhas das tabelas na tela de registro de novos produtos no Target Viewer 

Portal SSO

• Os containers que estruturam o portal foram duplicados na nova storage, em função da produção elevada de arquivos (thumbnails), de modo a tirar essa carga do sistema de arquivos lustre. A produção de predições se manteve inalterada;
• Em conjunto com o Grupo do Rio, produziu-se um artigo sobre ocultações estelares e a plataforma para a revista da SAB;

Photo-z Server

• Novas funcionalidades na biblioteca pzserver para o usuário fazer alterações nos metadados dos seu produtos de forma programática. 
• Criação de endpoint para checagem de propriedade de produtos acessados via biblioteca pzserver.     

Colaboração técnica com o Observatório Vera Rubin

OBS:. as atividades de colaboração técnica como observatório Vera Rubin ocorrem desde 2024 e tem como objetivo desenvolver o serviço de sumarização dos metatados do ConsDB (Consolidated Database of Image Metadada) em janelas de tempo fixas e em outras dimensões de tempo de janela variável (eventos). Resumidadmente, o serviço é chamado de Transformed EFD. O serviço já estava em testes e produz mais de 1300 colunas somadas em diferentes tabelas de informações sumarizadas: dados meteorológicos, dados técnicos, informações de posição, informações de sensores e operação tanto do telecópio principal quanto do telescópio auxliar, informações da LSSTCam e LATISS (LSST Atmospheric Transmission and Slitless Spectrograph), entre outros.

• Realizou-se a atualização da descrição de todas as colunas nas tabelas do serviço;
• Os esquemas de todas as tabelas do Transformed EFD foram adequados e inseridos nos serviços TAP do Rubin Science Platform (versão desenvolvimento);
• Houve uma revisão detalhada e correção de todos os manifestos kubernetes para implantação e operação do serviço que opera tanto dados legados quando dados em tempo real;
• O serviço entrou em modo de produção na última semana de Maio/25.

Comunicação, Divulgação e Educação:

• Notícias:
  • Design Sprint (completa)
  •  Aplicação do curso de aprendizado de máquina aplicado à astronomia
  • DES meeting 2025 (participação da Julia)
  • WRNP 2025 (participação do Carlos)
  • Aviso de manutenção na infra do LIneA
  • Anúncio da nova data para o Rubin First Look
• Relatório dos bolsistas (repositório no drive)
• Rubin First Look
  • organização da programação
  • alinhamento para detalhes da transmissão
  • ajustes nos banners
  • criação do evento no Sympla para retirada dos ingressos
  • reunião com a Phoebe do NOIRLab
  • reunião com fornecedores (HPE)
  • reunião de desenvolvimento dos flyers
  • orçamento e compra dos itens para montagem do kit
• Tabelamento das notícias externas sobre o LIneA
• Revisão e atualização dos nomes na lista de email: all-bpg-lsst e ja-bpg-lsst

Divulgação Científica

• Nomenclatura do projeto LSST
• Dia nacional do Físico

Curso: 

• Confecção e entrega dos certificados do curso “Aprendizado de Máquina Aplicado à Astronomia”
• Planejamento de cursos futuros

Site:

• Atualização da aba “documentos” (inclusão do relatório sobre o design sprint)

Atividades Adminstração/Planejamento

• Pedido de remanejamento feito à FINEP
• Preparação de relatório financeiro do INCT do e-Universo  para o CNPq 
• Organização do evento Rubin First Look 
• Participação em encontro com o diretor do Dark Energy Survey sobre curadoria dos dados a longo prazo  

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Reuniões de alinhamento com Timbira para tratar da implantação da nova solução de banco de dados;
• Reuniões de alinhamento com a equipe de engenharia de rede do POP-RJ para tratar da implementação do novo roteador de borda Juniper ACX7024;
• Reunião com fornecedor de soluções de cibersegurança para avaliar a possibilidade de contratação de serviços e licenças;
• Reunião de alinhamento com a equipe de engenharia de HPC da HPE para planejar a instalação e atualização do cluster Apollo, e a instalação de novos equipamentos;
• Finalização do Termo de Referência para aquisição de equipamentos de rede e serviços para o projeto de rede Spine-and-Leaf visando modernizar a infraestrutura de rede local para o IDAC Brasil;
• Participação da reunião quinzenal do grupo de coordenação de infraestrutura dos IDACs;

Gestão de dados

• Foi realizada uma cópia de segurança de todos os dados mantidos no Lustre FS – 278 terabytes – para a nova storage numa área com volume de 300 TB;

Operação e projetos

• Instalação e configuração de novos nodes de gerenciamento e acesso no cluster apolo;
• Instalação e configuração da nova storage HPE 4510 de 1.2 PB em atendimento aos requisitos de implantação do IDAC Brasil;
• Reorganização das conexões físicas da rede infiniband com o objetivo de expandir a capacidade de interligação de novos servidores na rede ib0;
• Migração do sistema operacional CentOS-7.6 para Rocky-8.10 e da versão do sistema de arquivos Lustre FS de 2.12.6 para 2.15.6;
• Atualização do sistema de gerenciamento do cluster HPCM da versão 1.10 para a 1.13 que possui suporte a sistemas RedHat 8 e 9;
• Atualização do sistema operacional dos nós do cluster apolo do CentOS-7.6 para o Rocky-9.5;
• Atualização do sistema gerenciador de processos do cluster apolo Slurm da versão 18.8 para 24.05;
• Iniciada a atualização da plataforma Open OnDemand da versão 3.0.1 para a 4.0, incluindo o sistema operacional do servidor de CentOS-7.6 para Rocky-9.5;
• Foi iniciado o “troubleshooting” do ambiente do cluster apolo após serem relatados diversos problemas de estabilidade do ambiente de HPC durante os testes de validação;

Desenvolvimento e melhorias nas plataformas científicas:

LIneA Science Platform

• Preparação de jupyter notebook de caracterização de dados de uma lista de targets para visualização no Target Viewer 
• Comparação de performance de consultas no banco com busca por coordenadas em regiões do céu (cone search) utilizando diferentes métodos (PgSphere versus Q3C) 
• Inclusão de banner de aviso de ambiente de testes na landing page do LSP-dev   

Portal SSO

• Aprimoramentos de desempenho: ajuste dinâmico do Parsl (tamanho de bloco 10, até 100 workers), comentário da chamada .count com filtro de magnitude e suporte a resultados parciais em jobs;
• Melhorias no mapa interativo: correção de plotagem, marcador “CA Instant”, renomeação do botão de download KM, desabilitação de KMZ fora da Terra, atualização do layout da legenda com mensagem “sem dados disponíveis” e variável condicional para ocultar linhas e sombras sem dados;
• Qualidade e estabilidade: padronização de hooks de pre‑commit, limpeza de código nos componentes DayTime/NightTime/OccultationKmzDownload e reforço do tratamento de exceções no endpoint get_occultation_paths;
• Foram adicionadas predições de para o período de Abril a Junho de 2026 para todos os objetos atualmente monitorados.

Photo-z Server

• Implementação de novo método para o usuário atualizar metadados dos seus produtos através da biblioteca Python pzserver 
• Atualização de dependências com alertas de vulnerabilidades 
• Criação de lista de email para comunicação com usuários beta testers 

Comunicação, Divulgação e Educação:

• Mutirão para atualização do site de documentação para o usuário docs.linea.org.br com verificação e atualização do conteúdo de 24 páginas, implementação de plugin para possibilitar versões em outros idiomas, tradução e disponibilização de todos os textos em inglês e espanhol.    
• Notícias:
  • Prévia da notícia sobre o design sprint
  • LIneA organiza Workshop sobre Workflows e Plataformas Científicas
  • Parada programada do ambiente HPC
  • Jovem pesquisador do BPG é selecionado para programa do LSST Discovery Alliance
  • Rubin Community Workshop 2025
  • LIneA é convidado a fazer parte da Rede de e-Ciência pela RNP
• LIneA news (1º trimestre)
• Evento Rubin First Look
  • Desenvolvimento da arte
  • Reunião com equipe da Academia Brasileira de Ciências
  • Save the date!
  • Inscrição no evento
  • Comunicação para as autoridades, reitores e público geral
• Projeto FINEP:
  • Revisão dos links
• Relatório INCT
  • Informações dos bolsistas
  • Lista de publicações dos pesquisadores associados

Divulgação Científica

• Dia mundial da astronomia

Curso: 

•  Confecção e entrega dos certificados do curso “Introdução ao Aprendizado de Máquina”
• Curso de abril:
  • Desenvolvimento e validação do curso “Aprendizado de máquina aplicado à astronomia”
  • Aplicação do curso em 24/04
  • Atualização do Google Sala de aula

Site:

•  Nova aba para “Workshops e Eventos”

Atividades de Planejamento

• Participação no workshop e-Ciência: Projetando Soluções Colaborativas para os Desafios do Brasil, organizado pelo CGEE na FINEP nos dias 18 e 19 de março;
• Organização do workshop online Workflows e plataformas científicas: em preparação para o DR1 do LSST nos dias 25 e 26 de março.
• Preparação para o evento Rubin First Look a ser realizado no dia 17 de junho em colaboração com o Rubin Observatory, NSF e DOE. 
• Preparação de relatório trimestral das contribuições in-kind e planos para o próximo trimestre;
• Plano de encerramento da contribuição do CNPq para o INCT do e-Universo.

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Reuniões de alinhamento com Timbira para tratar dos testes de ingestão de dados utilizando o catálogo DP02.
• Substituição de recurso na equipe de TI com a saída de um analista júnior e a contratação de um analista pleno;
• Preenchimento e submissão de proposta para o edital da rede de centros de e-ciência promovido pela RNP;
• Continuação do desenvolvimento do documento de propostas formais para o projeto da rede spine and Leaf, incluindo várias reuniões com os fornecedores interessados;
• Reunião de alinhamento com o time de engenharia de HPC da HPE para o projeto de atualização do cluster apollo e do Lustre FS, incluindo a instalação dos novos servidores de administração e acesso (login) do ambiente do novo servidor de armazenamento NAS HPE Apolo 4510 de 1.2 petabytes;

Gestão de dados

• Desenvolvimento dos pipelines de transferência e ingestão dos catálogos 2MASS e GAIA DR3 com a plataforma Apache-Nifi utilizando o servidor DTN;
• Iniciado o desenvolvimento de pipeline de dados para movimentação dos dados do LSST utilizando como caso de uso o catálogo DP0.2;
• Implementadas diversas melhorias no atual sistema gerenciador de banco de dados visando corrigir problemas nas consultas das plataformas Userquery e Solar System;
• Conversão do catálogo DES DR2 para o formato HIPS compatível com a ferramenta catalog overlay do Aladin;
• Estudo de dimensionamento do volume de dados do LSST para imagens coadicionadas.  

Apoio ao usuário

• Foram realizados vinte e três atendimentos aos usuários via sistema de chamados, incluindo Office Hours.
• Foram realizadas apresentações sobre a infraestrutura geral do IDAC e sobre o uso do ambiente de HPC com foco no ambiente do Cluster Apollo e nas plataformas JupyterHub e Open OnDemand.

Operação e projetos

• Implantação de ambiente para o desenvolvimento da nova solução de autorização 
• Realizados juntamente com a equipe da Timbira testes sistemáticos de ingestão de dados no novo servidor de banco de dados do IDAC Brasil com consideráveis avanços na leitura de arquivos do tipo Parquet com a ferramenta DuckDB no Postgres.
• Iniciada a criação de um ambiente de testes e homologação para implantação de um novo serviço de diretórios de usuários baseado no OpenLDAP já considerando o aspecto de segurança com foco no IDAC Brasil;
• Testes de integração do sistema de gerenciamento COmanage com o ambiente de testes do OpenLDAP.  
• Iniciados testes de uso do novo ambiente de alta disponibilidade para as aplicações usando como caso de uso a plataforma PZServer-dev.
• Iniciada a atualização da plataforma do Skybot;

Desenvolvimento e melhorias nas plataformas científicas:

LIneA Science Platform

• Finalização do desenvolvimento inicial da landing page da nova interface LIneA Science Platform e deploy da aplicação no ambiente de testes.   
• Desenvolvimento de uma versão reduzida da plataforma, somente com microsserviços relacionados ao LSST para servir de user interface para o IDAC-Brasil.  
• Adequação das páginas e menus da plataforma para funcionarem em dispositívos móveis.   
• Adequação da identidade visual com implementação de header e footer nos padrões do site institucional do LIneA. 
• Disponibilização dos dados do catálogo DES DR2 para visualização com a funcionalidade catalog overlay do Aladin no Sky Viewer. 
• Atualização de documentação para o usuário (páginas about). 
• Implementação de melhorias no formulário de registro de listas de targets (botão clear form).     
• Testes de verifiação após instalação de bibliotecas e plugins para suporte a consultas no banco de dados com funções geométricas (ADQL, Q3C, PgSphere) através da aplicação User Query e do acesso remoto TAP service através do programa TOPCAT. 
• Produção de material de apoio ao usuário com exemplos de queries (SQL e ADQL). 

Portal SSO

• Melhorias no Frontend incluindo informativo de novos releases, correção de links quebrados.
• Implementação de nova técnica de query Gaia substituindo círculos por consulta polinomial e otimização de áreas usando PCA (principal component analysis).
• Estudos para a implementação de um catálogo de posições gaia J20XX para compensar o movimento próprio das estrelas desde 2016 e otimizar a área da consulta.
• Implementada nova pipeline de predições que separa downloads de efemérides (bsps) do serviço de predição.
• Iniciada a atualização da pipeline de predição que usa a nova orchestration (um asteroide por thread).

Photo-z Server

• Melhorias na inicialização da orchestration – criação de bot de monitoramento para verificar se o serviço no ar antes de submeter processos ao cluster.  
• Correção de bugs na leitura de tabelas CSV sem cabeçalho.     
• Implementação de checagem de colunas obrigatórias para upload de arquivo.
• Implementação de flexibilidade no formato do aquivo de saída para resultados dos pipelines de cross-matching. 

Photo-z Compute

• Refatoração do script de criação de skinny tables usando DASK no Jupyter OnDemand. 

Comunicação, Divulgação e Educação:

• Workshop:
  • Desenvolvimento da arte para o evento
  • Envio de convite para o BPG
  • Elaboração da apresentação para o workshop
  • Atualização do site do evento
• Proposta FINEP: Evento First Look
  • Revisão e atualização da proposta
  • Preenchimento do formulário
• Notícias:
  • Instalação da câmera do LSST (envio para SAB, FINEP, CNPq e FAPERJ)
  • LIneA participa do debate sobre e-ciência no Brasil
  • Primeiro curso de 2025 aborda o tema Aprendizado de Máquina
• Preparação para o Design Sprint

Divulgação Científica

• Eclipse Lunar
• Chegada do Outono

Curso: 

• Introdução ao Aprendizado de Máquina:
  • Envio do material por e-mail para os participantes
  •  atualização do Google Sala de Aula
  • confecção e envio dos certificados

•  Desenvolvimento do próximo curso: Aprendizado de Máquina com aplicações para Astronomia

Site:

•  Atualização de planilhas

Atividades de Planejamento e Gestão

• Preparação e busca de patrocínio para o evento Design Sprint
• Preparação e busca de patrocínio para o evento LSST First Look  

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Foram organizadas várias reuniões para apresentar o projeto de atualização da rede local para os fornecedores HPE Aruba, Juniper, Cisco e Dell. Ficou decidido que o time LIneA irá preparar e publicar uma RFP para padronizar o escopo do projeto.
• Reunião de alinhamento com a equipe de HPC da HPE sobre a instalação dos equipamentos recém chegados e a atualização do cluster Apollo tendo sido planejada a execução para a primeira semana de abril de 2025;
• Realizadas tratativas com a Laniaq para a correção do problema de memória apresentado no novo servidor de banco de dados do IDAC. Foi criada uma minuta com o histórico de problemas envolvendo o processo de compras e o atendimento de suporte pela firma Laniaq;

Gestão de dados

• Foram realizados ajustes nas permissões de dados públicos do DES DR2 e movimentações para organizar diversos subprodutos deste catálogo;
  • Foram gerados arquivos parquet com dados simulados do LSST para testes de ingestão no Postgres.    

Apoio ao usuário

• Foram realizados trinta e dois atendimentos aos usuários via sistema de chamados, incluindo Office Hours.
• Realizada atualização na documentação na seção de registro de usuários, visando facilitar o ingresso de usuários no ambiente computacional do LIneA.

Operação e projetos

• Finalizada a primeira etapa de reinstalação do Cluster ICEx. Iniciada etapa de configuração. Incluindo escrita da documentação do ambiente.
• Iniciada primeira etapa de instalação do novo gerenciador de pacotes EUPS.
• Iniciada avaliação do ambiente do Open OnDemand para o projeto de atualização desta plataforma na ocasião da atualização do cluster apollo, que está planejada para ser realizada no próximo mês de abril;
• Migração de vários servidores virtuais da infraestrutura do POP-RJ para o data center do LNCC, entre os quais estão os serviços de monitoramento, de inventário e de gestão de identidades
• Implementação de cópia de segurança de serviços críticos e validação da restauração. Entre os serviços inclusos no processo de cópia e restore está o sistema de gestão de autenticação e o de monitoramento ativo.
• Foi disponibilizado um dashboard para o servidor de banco de dados IDAC DB Server, permitindo o monitoramento e a visualização de métricas essenciais para a administração do sistema.
• Foi implementado um novo Zabbix Proxy no data center do POP, com o objetivo de realizar o monitoramento da infraestrutura de forma eficiente e descentralizada. Essa implementação visa melhorar a coleta de dados, reduzir a carga no servidor principal (zabbix)
• Implementado o monitoramento ativo da sincronização da réplica do banco de dados do MPC mantida no LIneA, com o objetivo de garantir que o banco de dados esteja sempre atualizado conforme as necessidades operacionais. Além disso, foram configurados alertas automáticos.

Desenvolvimento e melhorias nas plataformas científicas:

LIneA Science Platform

• Reativação do projeto LIneA Science Platform e início do desenvolvimento do front-end para uma nova landing page com acesso a todos os serviços 
• Geração do catálogo DES DR2 na versão HIPS no formato TSV para alimentar a funcionalidade Catalog Overlay do Aladin no novo Sky Viewer.  
• Estudo para otimização dos parâmetros de configuração do pipeline hipsimage_gen e recriação das imagens HIPS para dois tracts do LSST DP0.2 com os parâmetros otimizados. 
• Deploy da primeira versão do novo Target Viewer, ainda em desenvolvimento, no ambiente de testes.  

Photo-z Server

• Validação dos resultados do pipeline Training Set Maker com dados do LSST DP0.2 
• Exibição de produtos ainda em contrução na lista de produtos 
• Exibição dos UCDs das colunas na tela de associação de colunas da ferramenta de upload 
• Exibição da origem de um produto na interface (upload feito pelo usuário ou criado por um pipeline interno)  

Photo-z Compute

• Finalização dos scripts para execução end-to-end no ambiente de HPC via plataforma OnDemand. 
• Atualização da documentação para o desenvolvedor. 
• Quatro encontros com atividades de passagem de conhecimento e preparação para o desligamento de uma desenvolvedora bolsista.
• Investigação de bugs causados por incompatibilidade de versões de bibliotecas. 

Comunicação, Divulgação e Educação:

• Notícias:
  • Workshop Apache NiFi
  • Reunião CAT 
  • Implantação do IDAC-Brasil
  • In memoriam, Marcio Maia
• Reunião CAT
  • Vídeo adicionado ao youtube
  • Envio do material para os membros do CAT
• Certificados para os participantes do Workshop Apache NiFi
• Workflows e Plataformas Científicas: preparação para o LSST DR1
  • Desenvolvimento do site
  • Formulário para inscrições
• Documento com informações para os bolsistas
• Revisão do documento para FINEP

Comunicação:

• Revisão de textos
• Mentoria

Divulgação Científica:

• 11 de fevereiro: dia internacional das meninas e mulheres na ciência (homenagem as cientistas do Vera Rubin)
• Os fenômenos astronômicos no Carnaval

Curso: 

• Desenvolvimento do curso “Introdução ao Aprendizado de Máquina”
• Validação do curso
• Anúncio do curso do mês
• Aplicação em 27/02

Site:

1. Investigação de Imagens no Site

• Análise das imagens que não estavam carregando, com foco principal nas imagens das notícias.
• Diagnóstico e identificação do problema.
• Propostas de soluções para correção.

2. Alteração do E-mail do Administrador Geral

• Atualização do e-mail do administrador geral.
• Início das configurações necessárias para garantir o funcionamento correto do novo e-mail. (Dev)

3. Testes Locais para Implementação de Site Bilíngue

• Realização de testes em ambiente local para avaliar a viabilidade da implementação de um site bilíngue. (Plugins)
• Análise das melhores abordagens para tradução de conteúdo.

4. Atualização de Redes Sociais

• Atualização do cabeçalho e rodapé do site para refletem informações atualizadas das redes sociais.
• Adicionado Threads e Bluesky

5. Melhorias em Elementos Visuais do Site

• Criação de um carrossel para a seção de anúncios.
• Remoção do carrossel automático na seção “Colaborações Científicas”, conforme necessidade identificada.

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Realizado o recebimento da nova storage Apollo 4510 adquirida junto à HPE e que fará parte da solução de armazenamento do IDAC Brasil;
• Assinado contrato de serviço com a HPE para a instalação novos nós de serviço do cluster Apolo, incluindo a atualização do sistema operacional
• Assinado contrato de serviço de instalação e configuração do novo sistema NAS adquirido junto à HPE;
• Iniciadas as tratativas para a aquisição dos equipamentos de rede e a contratação de serviço com o objetivo de atualizar a infraestrutura de rede local do LIneA com a adoção da nova arquitetura de rede Spine-And-Leaf;
• Reunião de alinhamento com o Pedro do POP-RJ para definir as próximas etapas da instalação do novo roteador Juniper ACX 7024.

Apoio ao usuário

• Foram realizados vinte e sete atendimentos aos usuários via sistema de chamados
• Foi finalizada a primeira etapa de apoio ao projeto iMaNGA que visava otimização de código e instruções de uso do cluster de processamento. Iniciado apoio à segunda etapa do projeto. Etapa de processamento dos dados
• Implementadas mudanças na estrutura do sistema de autenticação e do COManage de modo a padronizar os atributos compartilhados pelo CILogon. Para isso foi criado um procedimento exclusivo para que todos os usuários já registrados passem pela atualização de registro utilizando sua credenciais institucionais via CILogon;

Operação e projetos

• Migração do servidor virtual do Zabbix para um novo hospedeiro com o objetivo de melhorar a performance.
• Levantamento de peças de servidores a serem adquiridas para a manutenção corretiva do hardware e fim de garantir a continuidade operacional desses equipamentos
• Implementado quadro de monitoramento no Grafana para exibir dados relevantes da aplicação PZ Server
• Atualização completa do sistema operacional do servidor Skybot
• Migração dos blocos de endereçamento IP em toda a infraestrutura de rede do LIneA no POP-RJ, tendo sido liberado o endereço da rede 146.134.17.0/24, que pertence ao LNCC e estava cedido ao LIneA, e configurado o novo bloco 177.84.200.192/26. Foi necessário a criaçao de rotas estáticas no roteador do LIneA;
• Interação com o suporte do POP-RJ para ajustes na configuração de rede ao longo do caminho entre Petrópolis e Rio para habilitar o roteamento do novo endereço configurado no POP-RJ;
• Realizados diversos ajustes na configuração dos firewalls do LIneA no POP-RJ e no LNCC para habilitar a comunicação entre a nova rede e a infraestrutura do datacenter em Petrópolis;
• Realizadas diversas reuniões de alinhamento com os fornecedores HPE, Cisco, Juniper e Dell para as propostas dos equipamentos e serviços de rede;
• Em andamento os testes de ingestão de dados na nova solução Postgres de banco de dados do IDAC, com avanços significativos pela equipe da Timbira utilizando a ferramenta DuckDB;
• Participação na reunião de transferência de dados com os IDACs e o Data Management do LSST;
• Iniciados os testes com o Apache-Nifi utilizando o hardware do novo servidor DTN;

Desenvolvimento e melhorias nas plataformas científicas:

DES Science Server

• Correção de bug no botão de logout 

IDAC Science Server

• Criação do pipeline hipsimage para paralelização da criação das imagens HIPS no cluster Apollo
• Exibição de imagens de teste do LSST DP0.2 no novo Sky Viewer para validação da ferramenta
• Back-end novo Target Viewer (continuação)
  • Integração do target viewer com o MyDB para que o usuário registre as suas póprias tabelas na ferramenta de visualização 
• Preparação de novas queries de exemplo incluindo associação entre tabelas de levantamentos diferentes (em andamento)  

Photo-z Server

• Atualização das bibliotecas HATS e LSDB e adaptações para conformidade com as mudanças trazidas nas novas versões 
• Exibição do número total de linhas na tela de descrição de um produto registrado, quando se trata de dados tabulares 
• Exibição de informações de monitoramento (por exemplo, status de processos) na página de lista de produtos 
• Pop-up de confirmação para usuário ao deletar produto 

Photo-z Compute

• Desenvolvimento de funções para adaptação do pipeline pz-compute para execução em jupyter notebook dentro do serviço Open OnDemand (em andamento)
• Automatização da execução do notebook de caracterização dos dados de entrada no início da execução do pipeline.  

Portal SSO

• Desenvolvimento do componente de mapas dinâmicos incluindo opções de download do mapa estilo SORA e formato KMZ para Google Maps e Google Earth;
• Implantação de tabelas de cache para os destaques (contagens) para agilizar o carregamento da página inicial;
• Correção de bug presente no envio de emails de subscrição;
• Correção de bug no cache automático de classes e subclasses de asteroides na página inicial;
• Extensão da documentação para o usuário;
• Implementação em estágio de testes de rotina para downloads de BSPs separados da pipeline principal;
• Correção em bug na pipeline de predições para corrigir falhas em casos de asteroides sem magnitudes absolutas definidas;
• Processamento de predições para estender resultados até 03/2026;

ConsDB (Observatório Vera Rubin):

• Refatoramento para a separação de workflows em Kubernetes jobs e cronjobs;
• Implementação de gerenciamento de retomada de tarefas enfileiradas e não processadas;
• Implementação de gerenciamento e retomada de tarefas falhadas em modo automático;
• Implementação de pytests em parte das rotinas;
• Atualização em esquemas de bancos de dados e tabelas para corrigir/adicionar colunas;

Comunicação, Divulgação e Educação:

• Retrospectiva 2024
  • Envio de e-mails para comunidade
  • Preparação de slides
  • Apresentação (14/01)
• Notícias:
  • Mais de mil pessoas inscritas nos cursos oferecidos pelo LIneA em 2024
  • Retrospectiva 2024 
• Workshop Apache NiFi
  • Organização (data, hora)
  • Arte para anúncios
  • Aplicação dias 22 e 23 de janeiro
  • Produção dos certificados (em andamento)
• Bolsas INCT do e-Universo
  • Organização do material necessário para pedido de extensão das bolsas do INCT do e-Universo
• Mudança na forma de registro LIneA
  • Criação de três páginas no site (/atualiza, /atualizapublico e /welcome)
  • Notificação da mudança: envio de e-mail para os usuários (colaboração e público)
  • Envio das orientações do processo de mudança

Comunicação:

• Revisão de notícias
• Mentoria 

Divulgação Científica:

• Qual planeta do Sistema Solar você seria?
• Por que as estrelas piscam?

Curso: 

• Produção dos certificados do curso de TOPCAT 
• Finalização do curso “TOPCAT: casos de uso astronômicos”
• Desenvolvimento do curso “Machine Learning” 

Site:

• Organização das tarefas no github
• Atualizações de planilhas:
  • Conversando sobre TI
  • LIneA em números
  • Relatório de atividades
• Atividades realizadas:

Página Divulgação

• Corrigido erro nas notícias quebradas (imagens internas agora aparecem).
• Adicionada a data de publicação dentro das postagens.

Página Educação

• Em Publicações: adicionada paginação.
• Em Teses e Dissertações: adicionada paginação.
• Em Webinars:
  • Adicionada a tag “em andamento” e ajustada a leitura da string no campo.
  • Ajustada a exibição da data do webinar para incluir o ano (ex.: 20 de agosto de 2024).

Página Centro de e-Ciência

• Em Relatório de Atividades: adicionada paginação.
• Em Conversando sobre TI: adicionada paginação.
• Em Enquetes: adicionada paginação.

Página Inicial

• Ajustado o carrossel de anúncios.
• Atualizados os links de redes sociais no cabeçalho e rodapé.

Atividades de Planejamento e Gestão

• Assinatura de convênio com a FINEP
• Abertura de conta para receber recursos FINEP
• Cadastramento do LIneA no Instituto de Inteligência Artificial
• Reunião presencial de planejamento (10/12)
• Contratação HPE para instalação de novos nós no cluster Apollo
• Renovação de bolsas

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Com o apoio do PoP-RJ/RNP foi finalizado o processo de aquisição do Autonomous System Number (ASN) junto ao registro.br, necessário para a desvinculação das redes do LIneA do ASN LNCC;
• Reunião de alinhamento com os técnicos da Laniaq para ajustes na configuração do equipamento recém instalado;
• Contratação da firma WHanna HPC para apoiar o time de infraestrutura na reinstalação do cluster ICEX;
• Realizadas tratativas junto ao CNPq e à HPE para a importação da nova storage para o IDAC Brasil;
• Contratação da HPE para execução dos serviços de garantia e suporte, e instalação e configuração dos nós de administração e acesso do cluster apollo;

Gestão de dados

• Investigação sobre a qualidade das imagens HIPS geradas a partir de dados do LSST, ajuste fino de configurações baseado na comparação com o DES. 
• Criação de skinny tables do LSST DP0.2 no formato HDF5 para alimentar algoritmos específicos no pipeline photo-z compute.
• Conversão de tabelas de dados do LSST e dados públicos do DES DR2, DESI EDR, Gaia DR3 e 2MASS para o formato de particionamento espacial hierárquico HATS.  
• Correção de problemas nos índices espaciais Q3C na tabela do 2MASS no banco de dados;

Apoio ao usuário

• Desenvolvimento e implementação de aplicação de apoio aos usuários para exibição de endereço IP público;
• Implementada nova página de aviso de registro direto no website do LIneA;
• Foram realizados trinta e seis atendimentos aos usuários via sistema de chamados e agendamento de office hours;
• Em andamento o apoio ao projeto iMaNGA através de Office Hours paraa otimização de código e instruções de boas práticas de uso do cluster de processamento. Ticket #14786;
• Iniciada a implementação de novas filas Slurm exclusivas para os membros da colaboração LSST e BPG-LSST. [card 433]

Operação e projetos

• Realizada instalação e configuração do novo servidor de banco de dados do IDAC Brasil para o projeto LSST;
• Iniciada a implementação da solução de banco de dados PostgreSQL com a assessoria da firma Timbira;
• Instalação e configuração básica do novo roteador, incluindo o cabeamento e habilitação de acesso remoto;
• Implementadas melhorias no sistema de backup do website;
• Realizada a atualização do sistema de gerenciamento de contas do LDAP;
• Implementadas melhorias no sistema de gerenciamento do Cluster – slurm como, rotação de logs e banner de instruções; 
• Iniciado o processo de avaliação de compatibilidade do sistema de armazenamento Lustre com o SO Rocky 8.6;
• Implementadas melhorias sistema de monitoramento de storages permitindo o monitoramento individual dos discos;
• Finalizada a cópia de segurança das licenças das interfaces de gerenciamento iDRAC dos servidores Dell/
• Iniciada a avaliação do sistema de monitoramento Prometheus;
• Realizada a atualização da aplicação GDrive bem como foram implementadas melhorias no script de monitoramento e de download de vídeos da nuvem do Zoom;

Desenvolvimento e melhorias nas plataformas científicas:

DES Science Server

• Melhorias nas páginas de conteúdo sobre a ferramenta (página About) 

IDAC Science Science Server

• Front-end novo Target Viewer: configuração do ambiente; instalação do React, Node, Nextjs, Material UI; implementação da página Home contendo a lista de catálogos; acesso a um catálogo específico e a página de registro do catálogo; página de detalhes para catálogos, lista de registros da tabela e Aladin linkado ao target selecionado; página de registro de um novo catálogo; formulário dividido em steps, com informações básicas do catálogo e interface para associação de colunas a UCDs; template para páginas About, Contact, Tutorials, componentes de layout Header e Footer; 
• Back-end novo Target Viewer: reinstalação do Django + Django Rest, criação de devcontainer, configuração do Ngnix e criação de banco de dados de teste para o novo Target Viewer; 
• Instalação do ambiente de testes nas novas URLs dedicadas em local isolado do antigo DES Science Server 
• Conclusão do desenvolvimento do pipeline HIPS Image, entrando em fase de validação científica;

JupyterHub

• Atualização da página de início com simplificação da página de login e três opções de recursos para criação de containers, a ser selecionado pelo usuário.  

Photo-z Server

• Correção de bug em botão para deletar produtos; 
• Mudanças na página de login para incluir autenticação com CILogon para usuários internacionais membros do LSST;   
• Implementação de tooltip com descrição dos dados para cada produto adicionado pelos usuários;  
• Conclusão do estudo detalhado e escrita de relatório de performance do hats e lsdb;
• Correção de bug na leitura de arquivos FITS pela biblioteca Python pzserver ;
• Integração do back-end do pipeline Combine Spec-z Sample na página de pipelines do PZ Server; 
• Adição de suporte a novo tipo de produto: “Training Results” para permitir a hospedagem de arquivos .pkl resultantes do treinamento dos algoritmos do pipeline RAIL; 
• Melhorias no front-end – padronização do rodapé;
• Correção de bug da deamon da orchestration. 

Photo-z Compute

• Implementação de automatização da criação de relatórios de qualidade dos resultados (output QA) com gráficos e estatísticas básicas sobre os photo-zs e sobre o desempenho do processo (time profiling) 
• Melhorias no script de setup do ambiente de desenvolvimento 
• Adaptação de todos os scripts que utilizavam Hipscat para adequação ao novo HATS
• Disponibilização de notebooks de QA dos dados de entrada do pipeline photo-z compute em página pública na internet, com acesso aberto para dados públicos (DES) e com solicitação de senha de acesso ao conteúdo para autorização em caso de dados privados (LSST). 

Portal SSO

• Implementação em produção do serviço de subscrição de predições de ocultações;

Comunicação, Divulgação e Educação:

• Histórico dos cursos 2024
• Notícias:
  • Python e Banco de Dados
  • TOPCAT: confira o panorama do último curso do ano
  • Cientista de dados do LIneA participa de workshop organizado pelo INPE
  • Associação LIneA anuncia convênio com a FINEP para fortalecer a ciência brasileira
  • LIneA: Retrospectiva 2024
  • INCT do e-Universo: Resultados, Impactos e Perspectivas Finais
  • Novidade: Portal do Sistema Solar LIneA disponibiliza serviço de subscrição
• Relatório INCT
  • revisão do relatório
  • entrega da versão final
  • divulgação do material
• Análise dos usuários LIneA
• Rubin media training session

Comunicação:

• Revisão de textos para notícias
• Mentoria 

Divulgação Científica:

• Porque as nebulosas brilham?
• Dia nacional da astronomia 
• Você conhece as referências de física e astronomia dessas capas de álbuns?
• Solstício de verão 

Curso: 

• Certificados do curso de Python e Banco de Dados
• Validação do curso TOPCAT
• Aplicação do curso em 12/12

Site:

• Atualização das teses e dissertações
• Conclusão das tarefas de desenvolvimento nas páginas de cursos e LIneA na Mídia
•  Organização da planilha “LIneA na Mídia” para utilização no site

Atividades de Planejamento

• Apoio ao BPG no planejamento de atividades técnicas de apoio à ciência a serem realizadas no período de 2025-2027;
• Apoio a preparação na redação do projeto INCT a ser submetido ao CNPq;  

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Reunião com os técnicos da Laniaq para fechar os últimos detalhes do planejamento de instalação do novo servidor de banco de dados do IDAC Brasil;
• Reunião inicial com o time da Timbira para discutir os primeiras atividades para implementação da solução de banco de dados do IDAC Brasil;
• Continuação das tratativas junto ao registro.br com o envio da documentação existente que comprova a habilitação do LIneA ao serviço de redes (RNP);
• Iniciadas tratativas com a HPE para a contratação do serviço de garantia e suporte, e instalação e configuração dos nós de administração e acesso do cluster apollo;

Gestão de dados

• Download de ~600 imagens simuladas e 4 catálogos do LSST dos servidores do NERSC via servidor DTS utilizando a ferramenta Globus; Organização e disponibilização destes dados no sistema de arquivos Lustre FS;
• Realizada transferência de 1500 arquivos do tipo FITS do catálogo IMaNGA, que foram organizados e disponibilizados no sistema de arquivos Lustre FS para processamento;
• Desenvolvido o primeiro protótipo do pipeline de fluxo de dados para o PZ Compute utilizando Apache-Nifi; 

Apoio ao usuário

• Foram realizados quarenta e dois atendimentos aos usuários via sistema de chamados e agendamento de office hours;
• Apoio ao projeto de processamento de Cubos iMaNGA através do cluster apollo. ticket #14678;
• Implementadas melhorias no procedimento de registro para facilitar o preenchimento do formulário de registro por parte dos novos usuários;

Operação e projetos

• Automatização do procedimento de ajuste de contas de usuários para acesso ao ambiente de HPC utilizando playbooks Ansible; 
• Iniciada a instalação física do novo servidor de banco de dados para o projeto IDAC Brasil no datacenter do LNCC. Também foram realizados diversos testes de hardware pelos técnicos da Laniaq para validar o funcionamento do equipamento;
• Implementadas melhorias na interface de inicialização de servidores da plataforma JupyterHub, que passa a exibir menus com opção de seleção de imagem e de configuração de servidor baseados no perfil do usuário;
• Corrigidos erros na consulta do sistema de monitoramento dos servidores de banco de dados que reportavam inconsistências no serviço;
• Iniciado o planejamento e testes para atualização da solução de armazenamento de alta performance Lustre FS;
• Realizadas melhorias no dashboard  do grafana de utilização do cluster apollos. Também foi implementado o dashboard para o monitoramento do portal pz-server;
• Foi realizada a recuperação do ambiente do site de produção, após a ocorrência de bugs nas subpáginas da plataforma wordpress;

Desenvolvimento e melhorias nas plataformas científicas:

DES Science Server

• Disponibilização de vídeos tutoriais de apoio ao usuário no site do DES Science Server   

IDAC Science Server

• Implementação da primeira versão funcional do novo Sky Viewer em ambiente de testes integrado ao Aladin Sky Atlas;
• Disponibilização das imagens do DES DR2 no novo Sky Viewer;   
• Customizações de front-end (cabeçalho padrão do LIneA) no novo Sky Viewer;   
• Envio de email de estatísticas diárias para administrador;
• Início do desenvolvimento do pipeline HIPS Image;

Portal SSO

• Correções em falhas detectadas na rotina (praia Fortran) no registro de resultados.
• Disponibilização de nova versão de documentação.
• Implementação de algoritmo TOPSIS para classificação de resultados enviados via subscrição.
• Implementação em homologação do serviço de subscrição de predições de ocultações.
• Definição e implementação parcial de testes para definir o impacto do passo temporal em predições como uma função do semi-eixo orbital do objeto.

Photo-z Server

• Escrita de documentação da API;
• Adaptação dos scripts de pre-processamento do x-matching para compatibilizar com a migração de hipscat para hats;
• Disponibilização dos relatórios de QAs em página pública;
• Estudo detalhado e escrita de relatório de performance do hats e lsdb;
• Conclusão da integração entre o front-end e o back-end da página de pipelines; 
• Implementação de autenticação com CILogon e autorização de usuários com direito a acesso a dados proprietários utilizando a API do Rubin Observatory; 

Photo-z Compute

• Atividades de validação científica de resultados do pipeline; 
• Desenvolvimento de scripts Python para a semi-automação de processos;
• Desenvolvimento de notebooks para submissão de processos via OnDemand.     

Comunicação, Divulgação e Educação:

• Notícias:
  • Rubin Observatory anuncia construção completa do seu telescópio
  • Bolsistas INCT do e-Universo se reúnem para encontro online
  • 21ª SNCT: destaque das atividades oferecidas pelo LIneA
  • Resumo das inscrições no curso: Análise de dados
  • Resultado FINEP
• Relatório INCT:
  • Revisão do texto
  • Envio de imagens solicitadas
• Declaração para bolsista (IC do INCT)
• Envio do modelo de relatório para os bolsistas INCT
• Resumo: atuação do LIneA
• Histórico dos cursos 2024 (em desenvolvimento)

Comunicação:

• Resumo executivo relatório INCT
• Orientações para articular com a imprensa

Divulgação Científica:

• Histórias de terror (halloween)
• Qual a diferença entre sonda e satélite?
• O que você sabe sobre constelações?
• 26 anos da estação espacial internacional

Curso: 

• Certificados do curso de análise de dados
• Anúncio do curso: Python e Banco de Dados
• Aplicação da aula (14/11)
• Google Classroom atualizado com o material

Site:

• Reunião com desenvolvedor para acompanhamento das atividades
• Problemas com o site (19 a 22/11)
• Mudanças para o site de desenvolvimento 

Atividades de Planejamento

• Revisão do planejamento estratégico 2024 e plano de trabalho para 2025/1.  
• Preenchimento e submissão do relatório anual referente ao ano fiscal americano de 2024 à colaboração LSST com todo o plano de trabalho do IDAC Brasil para 2025;

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Reuniões com a firma Laniaq Inc. para planejar a instalação e a configuração do novo servidor de banco de dados do IDAC Brasil;
• Contratação da firma Timbira especializada em bancos de dados PostgreSQL com o objetivo de assessorar o time de infraestrutura na implementação da solução de banco de dados do IDAC Brasil;
• Agendamento da visita dos técnicos da FINEP para a vistoria dos equipamentos financiados pelo projeto APLSST;
• Contratação do serviço especializado de suporte e garantia junto à Binário/Juniper para o equipamento roteador Juniper ACX7024
• Continuação das tratativas junto ao registro.br para a aquisição de um sistema autônomo de anúncio de redes (ASN) com o apoio da equipe de suporte à e-Ciência da RNP e do POP-RJ;
• Reuniões com a firma Unitech/Dell para alinhamento sobre a extensão do contrato de garantia e suporte dos servidores que compõem a solução Lustre FS após o fim do período de garantia dos equipamentos;
• Solicitada a adesão do LIneA ao sistema RNP para atender aos requisitos do registro.br para a aquisição do Sistema Autônomo de Números (Autonomous System Number);

Redes e Segurança

• Concluída a primeira etapa de homologação da integração do sistema de autenticação e de autorização do IDAC Brasil aos sistemas do Rubin Observatory em ambiente de homologação;
• Finalizada a atualização da solução de scanner de vulnerabilidades OpenVAS visando manter o ambiente mais seguro e em conformidade com o conjunto de normas SIRTFI, necessárias para atender aos requisitos de uso do integrador de provedores de identidades CILogon;
• Atualizações em diversos servidores e sistemas para corrigir vulnerabilidades identificadas pelo scanner OpenVAS;
• Implementação de um novo web proxy na infraestrutura do POP-RJ e alteração nas regras de segurança do firewall com o objetivo de tornar o acesso às aplicações mais seguro a partir da internet;

Gerenciamento de dados

• Instalação e configuração da instância de homologação do Apache-Nifi utilizando containers docker com acesso ao sistema de arquivos t0 e t1 do Lustre;
• Definidos os requisitos básicos para o desenvolvimento do principal pipeline de fluxo de dados para o projeto Photo-Z utilizando a solução Apache-Nifi;

Apoio ao usuário

• Realizados quarenta atendimentos aos usuários via sistema de chamados;
• Finalizado o desenvolvimento da primeira versão da aplicação para automatizar o envio de vídeos das gravações de reuniões para a plataforma Youtube;
• Realizada reunião de alinhamento para definição do escopo do apoio do time de infraestrutura ao projeto IMANGA. Iniciadas as tratativas para a transferência de dezenas de terabytes de dados através da plataforma Globus e do servidor DTS do LIneA;

Operação e projetos

• Continuação das atividades de planejamento e documentação para a reestruturação do cluster ICEX;
• Iniciada a primeira etapa de reinstalação da nova versão do sistema operacional EL8 e do software HPCM no cluster ICEX;
• Reorganização dos cabos da rede infiniband EDR no rack R7C, no CPD do LNCC, em preparação para a instalação do novo servidor de banco de dados do IDAC Brasil;
• Migradas diversas aplicações de infraestrutura para containers docker;
• Finalizada a migração dos servidores de nomes de domínio (DNS) do LIneA para o EL9, tendo sido melhorados diversos aspectos de segurança incluindo a utilização do SELinux. Além disso, foram configuradas zonas específicas para as redes privadas incluindo a disponibilização de um servidor interno dedicado a elas;
• Recuperação dos volumes de armazenamento da storage IS5600 com a instalação de discos sobressalentes;
• Iniciado o planejamento para atualização do atual sistema de gerenciamento de virtualização Proxmox;

Desenvolvimento e melhorias nas plataformas científicas:

Science Server

• Customização da página de erro de login devido a usuário não autorizado 
• Definição de requisitos para o novo pipeline de automatização e paralelização da criação de imagens HIPS 
• Ativação da ferramenta Google Analytics para monitoramento de tráfego de usuários. 
• Revisão da lista de datasets disponíveis e remoção de conjuntos de dados obsoletos do menu do Sky Viewer 
• Correção de bug na consulta de metadados ao COmanage 
• Início do desenvolvimento do novo Sky Viewer – integração da nova versão do software Aladin com a interface do Science Server (em andamento)        
• Correção de bug no trigger que libera a permissão para leitura das tabelas recém-criadas no MyDB com a ferramenta User Query, para que sejam acessíveis pela plataforma Jupyter Hub através da biblioteca Python dblinea. 
• Atualização do Jupyter notebook de tutorial 2_acesso_a_dados.ipynb com um exemplo de acesso a tabelas do MyDB criadas pelo usuário no User Query. 
• Publicação dos dados do levantamento 2MASS no TAP Service do LIneA  

Portal SSO

• Continuação no desenvolvimento do serviço de subscrição criando novas funções no backend e corrigindo bug no frontend;
• Atualização da documentação do usuário para o uso do Portal Web;
• Atualização do frontend na página inicial para refletir todas as implementações do último release;
• Continuidade na produção do artigo científico envolvendo o portal;
• Inclusão e execução da classe Near-Earth Asteroids – NEAs (ou Near-Earth Objects em outras nomenclaturas);
• Inclusão de caching e atualização do frontend para melhorar a experiência do usuário em função do considerável aumento de predições devido aos NEAs.

Photo-z Server

• Melhorias nos arquivos de log da Orchestration com a adição de informações provenientes do Celery Beat 
• Upload do catálogo de redshifts espectroscópicos de galáxias provenientes do survey DESI (EDR) no PZ Server. 
• Confeção de QA notebook de caracterização da amostra DESI EDR.  
• Correção de bugs na checagem da finalização de processos dos pipelines do PZ Server.  
• Implementação da página de submissão do pipeline Training Set Maker   

Photo-z Compute

• Confecção de 5 Jupyter notebooks para investigação de possíveis objetos duplicados no catálogo simulado do LSST, usando ferramentas de HPC para inspeção do conjunto completo de dados armazenados no Lustre.  
• Escrita de manual para o usuário sobre os sctipts individuais (de treinamento e estimativa do pz-compute e de scripts auxiliares de pré e pós-processamento). 
• Manual de como adicionar um novo algoritmo de photo-z no pipeline pz-compute. 
• Testes de escalabilidade com o algoritmo LePhare.    

Comunicação, Divulgação e Educação:

• Notícias:
  • Afiliados ganham posições de destaque no DESC
  • LIneA Science Server operado pelo LIneA
  • Jovem pesquisador do BPG é selecionado para participar presencialmente do DESC Sprint week
  • Membros do BPG participam da XLVII reunião da SAB
  • LIneA na Mídia: mais de 70 notícias abordam o maior projeto da astronomia para a próxima década
  • Highlights do curso de Jupyter Notebook 
  • Aviso de manutenção
• Evento bolsistas INCT:
  • organização do evento (dia, hora, slides)
  • contato com bolsistas
  • aplicação do evento dia 14 e 15 de outubro
• Relatório INCT:
  • ajuste das últimas pendências
  • envio para diagramação
  • criação de repositório para imagens
  • finalização da parte escrita do relatório
• Semana Nacional de Ciência e Tecnologia
  • Criação da arte
  • Divulgação das atividades
  • Atividades
    • Breve manual da divulgação científica para astronomia (14/10)
    • O fim do mundo (15/10)
    • Mesa redonda: a diversidade da astronomia (16/10)
    • [curso] Análise de dados: incidência de dengue no Brasil (17/10)
    • Os astrônomos respondem (18/10)

Comunicação:

• Revisão de textos/notícias diversas
• Revisão do relatório INCT

Divulgação Científica:

• Chegada da Primavera
• Nossas redes sociais
• Prêmio Nobel
• Brasileiro dá entrevista para a NASA
• Dia dos professores
• NASA lança maior sonda planetária

Curso: 

•  Aplicação do curso Jupyter Notebook
•  Validação do curso Análise de Dados: incidência de dengue no Brasil
• Aplicação do curso Análise de Dados: incidência de dengue no Brasil
• Desenvolvimento do curso Python + Banco de dados
• Material adicionado ao Classroom: Jupyter e Análise)
• Certificados Jupyter Notebook

Site:

• Reunião de alinhamento com o desenvolvedor web
• Entrega parcial das pendências do site
• (re)introdução das publicações retiradas do site 

Atividades Gerais e de Planejamento

• Preparação de relatório final do INCT;
• Preparação de Plano de Trabalho para o ano Fiscal 2025 a ser submetido ao Rubin Observatory;
• Planejamento operacional para primeiro semestre de 2025;
• Entrevistas à imprensa; 

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Contratação da firma A3 Tech para a manutenção no piso elevado e organização dos cabos de rede nos switches;
• Iniciadas as discussões com a equipe do GidLab/RNP acerca do uso dos protocolos de autenticação e autorização OIDC e OAuth2 necessários para a integração do IDAC Brasil ao LSST;
• Em andamento o inventário e o planilhamento das fontes de energia dos equipamentos, incluindo o uso dos circuitos elétricos e o consumo energético dos equipamentos no datacenter;
• Contratação de um engenheiro de dados via bolsa CNPq para apoio no uso da solução Apache-Nifi e no desenvolvimento de pipelines de fluxos de dados;
• Recebimento no LNCC de parte dos novos equipamentos adquiridos pelo INCT do e-Universo para o IDAC Brasil: roteador ACX7024 (Juniper), servidor de banco de dados (Laniaq Inc.) e dois servidores de serviço do cluster Apollo (HPE Proliant DL360);
• Iniciadas as tratativas junto ao registro.br para a aquisição de um sistema autônomo de anúncio de redes (ASN) com o apoio da equipe do POP-RJ;

Gerenciamento de dados

• Provisionada infraestrutura virtualizada para a instalação do Apache Nifi e o desenvolvimento e testes dos fluxos de dados;

Apoio ao usuário

• Realizados mais de trinta atendimentos aos usuários via sistema de chamados, incluindo office hours de suporte;
• Validado o processo de criação de kernels python no Jupyter Notebook via Open OnDemand, visando a melhor experiência do usuário com a plataforma. Também foi desenvolvida e liberada a documentação de uso no site docs.linea.org.br;  

Operação

• Atualizações do firmware das controladoras e dos discos das storages ME4024 e ME4084 que compõem o Lustre FS, com o objetivo de corrigir falhas e problemas de segurança;
• Início das atividades de planejamento e documentação para a reestruturação do cluster ICEX. Também foi realizada a verificação das conexões físicas das redes ethernet e infiniband;
• Validação das configurações de cópia de segurança e de restauração de dados visando garantir a recuperação do ambiente de registro de usuários e do website;
• Provisionamento de ambiente para a instalação e testes da plataforma Dataverse;
• Reinstalação e configuração do ambiente do Jupyter Hub para corrigir erros no provisionamento dos servidores Jupyter Notebook;
• Realizado o InfraDay #15 com a migração dos servidores sistemas de DNS para o novo Rocky Linux 9.4;

Redes e segurança da informação

• Finalizada a reinstalação e configuração do servidor DTS, incluindo a habilitação do sistema de transferência de dados Globus integrado à autenticação federada do LIneA via CILogon;
• Implementados os endpoints de homologação e produção no SATOSA para a integração dos sistemas de autenticação e autorização do IDAC Brasil ao sistema do Observatório Rubin (LSST). Também foi solicitado o registro desses endpoints à equipe do LSST;
• Iniciada a avaliação para o desenvolvimento de uma solução para lidar com a autorização dos direitos de acesso a dados do LSST;
• Troca das placas do piso elevado que fica embaixo dos racks do LIneA, pois estavam cedendo, o que impedia a colocação de novos equipamentos nos racks;
• Aplicação de patches de segurança em vários servidores para corrigir problemas de segurança identificados pela ferramenta de detecção de vulnerabilidades;

Desenvolvimento e melhorias nas plataformas científicas:

DES Science Server + User Query:

• Deploy do Science Server e User Query no ambiente de produção.
• Padronização do rodapé igual ao site institucional em todas as plataformas, com links para redes sociais e agências de fomento.  
• Atualização dos metadados para autenticação (Uniform Resource Identifiers) 
• Atualização da página de contato com email para helpdesk; 
• Setup inicial do repositório do novo Sky Viewer que será feito baseado na nova versão do Aladin com instalação e configuração do Django e Django Rest, React, Nginx e update do Node. 
• Registro de catálogos para overlay no Sky Viewer (antigo) 
• Atualização das páginas de resumo sobre os surveys DES, Gaia e 2MASS no User Query e dos metadados sobre as tabelas (colunas, UCDs, etc) 
• Habilitação do serviço TAP (table access protocol) para acesso remoto aos dados hospedados no LIneA via API 
• Documentação para o usuário com exemplos de uso no User Query e TAP service
• Atualização da página inicial do User Query (padronização banners plataformas LIneA)   

Photo-z Server

• Atualização dos metadados para autenticação (Uniform Resource Identifiers) 
• Atualização de pacotes e dependências 
• Finalização do deploy da aplicação no ambiente de testes no novo servidor srvorch-dev – integração do PZ Server com a Orchestration 
• Atualização da página de documentação 
• Correção de bug na função de atualizar os metadados de um data product 
• Início da preparação para a implementação de login federado via CILogon com SAML2 e autorização via Rubin Authorization API for IDACs (em andamento) 
• Integração do pipeline Training Set Maker com a biblioteca Python pzserver para disparo de processos via Python scripts 
• Adaptação dos catálogos fotométricos de entrada do PZ Compute (skinny tables) para alimentar também os pipelines de x-matching 
• Container que consome rabbitMQ para registrar o produto dos pipelines como novos data products no PZ Server
• Nova classe que faz requisições na orchestration para lidar com tokens expirados 
• Correção de bug no suporte a tabelas no formato CSV no pipeline Training Set Maker 
• Correção de bug  – falha no carregamento do arquivo HTML auxiliar de descrição de um data product no PZ Server 

Photo-z Compute

• Finalização da implementação do suporte ao algoritmo LePhare (rail-lepahre) 
• Script para automação da conversão de tabelas em formato HIPSCat em paralelo no cluster usando DASK 
• Expansão da flexibilização do pipeline pz-compute com a possibilidade de entrada de parâmetros de configuração via arquivo YAML para todos os cinco algoritmos.  
• Script para seleção randômica de objetos e criação de conjunto de treinamento representativo nos dados de simulação em paralelo no cluster usando DASK 
• Scripts de checagem de resultados 
• Finalização do script de preparação de dados de entrada com correção da extinção da Galáxia. 
• Início do testes de validação usando a plataforma Open OnDemand 
• Finalização do pipeline pz-compute em produção e respectivas documentações para o desenvolvedor e para o operador.   
  

Comunicação, Divulgação e Educação:

• Notícias:
  • InfraDay #15
  • Cientista de dados do LIneA participa de entrevista em programa da Record
  • Aviso de manutenção na infraestrutura
• Relatório INCT:
  • Revisão do texto
  • Inclusão de informações
  • Inclusão de novos tópicos
  • Atualização da planilha financeira
• Evento: Explorando o Portal do Solar System LIneA
• Organização de informações sobre o BPG (
  • PIs, instituições e e-mails;
  • mapa com alcance nacional
  • logo das instituições
• Vídeo INCT
  • Pedido de modificações
  • Entrega do vídeo
• Criação de novas redes sociais (Blue Sky e Threads)
• Organização para SNCT 2024
• Colaboração com ajustes para o documento BPG-LSST enviado ao Ministério
• Envio de e-mail aos bolsistas: prorrogação do INCT do e-Universo

Comunicação:

• Curadoria das informações que saíram na mídia (agosto)
• Revisão das notícias
• Revisão do relatório do INCT

Curso: 

• Validação do curso de Jupyter Notebook
• Lançamento do curso de Jupyter
• Envio das instruções para os interessados no curso de Jupyter
• Envio dos certificados referente ao curso “Desenvolvendo Software Científico”

Divulgação Científica:

• 25 anos do Observatório Chandra
• Noite internacional de observação da Lua
• É um pássaro ou avião? Não, é o cometa do ano!
• Início da primavera

Site:

• Contratação de um desenvolvedor web (18/09) para implementação de melhorias e ajustes.
• Inclusão de documentos na página “Documentação”
• Criação da página “LIneA News”
  • Inclusão de notícias 2024
  • Inclusão de notícias dos anos anteriores
• Atualização das publicações de 2024
• Revisão e atualização das publicações entre 2017 a 2008

Atividades Gerais e de Planejamento

• Entrevista com vários veículos de comunicação para divulgar a assinatura do acordo entre o LIneA e o laboratório SLAC da Universidade de Stanford.
• Validação do vídeo sobre o INCT do e-Universo que completa a divulgação do trabalho sendo feito pelo INCT e LIneA e apresentando o IDAC do LSST.
• Preparação do relatório final do INCT do e-Universo descrevendo seu apoio ao LIneA.
• Visita ao datacenter (LNCC) no dia 21/08/2024 para verificação de algumas atividades, incluindo:

• Confirmação da capacidade de suporte de peso do piso no datacenter;
• Verificação da capacidade de energia das PDUs em outro rack;
• Validação das conexões do firewall.

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Foram realizadas entrevistas para contratação temporária de um engenheiro de dados para assessorar o time na implementação da nova arquitetura de dados e no desenvolvimento de fluxos de dados com Apache-Nifi;
• Foram realizadas reuniões com o time de suporte à e-ciência da RNP para discutir melhorias na infraestrutura de rede local;
• Foram realizadas reuniões de alinhamento com a firma Laniaq Inc. e visita ao datacenter, para tratar do plano de instalação do novo servidor de banco de dados;
• Foi realizada reunião com as equipes do LNCC e do POPRJ para tratar da reestruturação da rede externa e da troca de blocos IPv4 entre o LIneA e o LNCC;
• Foi realizada reunião de alinhamento com o time de infraestrutura da UNESP sobre a solução Rucio para a transferência de dados entre o IDAC brasileiro e o LSST;
• Foi iniciado o inventário e o planilhamento das fontes de energia dos equipamentos, incluindo o uso dos circuitos elétricos e o consumo energético dos equipamentos no datacenter;

Gerenciamento de dados

• Foi finalizada a reestruturação dos diretórios para os dados do DES com o objetivo de preparar o ambiente para uso das plataformas Science Server e User Query;
• Levantamento de informações e contato com stakeholders no LSST para viabilizar o download de conjuntos de dados;
• Download da tabela MatchesTruth a partir do repositório do LSST no Google Cloud;
• Movimentação de dados do LSST no Lustre e organização dos datasets do LSST;  
• Foi implementado acesso ao banco de dados de catálogos para a plataforma User Query para os dados DES, incluindo o desenvolvimento e a implementação de códigos para a automatização das permissões de uso no PostgreSQL;

Apoio ao usuário

• Foi implementado no ambiente de produção o novo design da página de login, a qual inclui os botões de acesso para autenticação via CAFe, CILogon e Google;
• Está em desenvolvimento e em testes uma ferramenta que automatiza o upload de vídeos para o canal do do LIneA no Youtube.
• Realizados ajustes nas configurações de parâmetros do escalonador de jobs Slurm, visando a melhor performance dos jobs no cluster Apollo. 
• Foram implementadas melhorias no formulário de triagem para registro de novos usuários incluindo versões em inglês em português;

Operação

• Realizada a atualização e o re-provisionamento das imagens dos nós de computação do cluster Apollo;
• Foi realizada a reconfiguração de quotas de usuários nos sistemas de arquivos de armazenamento temporário (T0) e nos diretórios pessoais; 
• Foram incluídos novos sistemas no servidor de cópias de segurança incluindo testes de restauração para validar as cópias;
• Foram iniciados testes para a completa atualização dos sistemas de servidores de nomes de domínio (DNS) do LIneA para o Rocky Linux 9;

Redes e segurança da informação

• Foi finalizada a organização do inventário de blocos de endereços de redes utilizados pelo LIneA no LNCC e no POPRJ;
• Foi iniciada a instalação e configuração da versão mais atual da solução de scanner de vulnerabilidades OpenVAS para manter o ambiente em conformidade com o conjunto de normas SIRTFI;
• Foram iniciados testes com a nova solução de firewall OPNSense incluindo mudanças na configuração lógica das redes virtuais;
• Foi iniciada a atualização do sistema da antiga DTS com o objetivo de habilitar o ambiente para testes com a solução de transferência de dados Rucio, adotada oficialmente pelo LSST;

Desenvolvimento e melhorias nas plataformas científicas:

DES Science Server + User Query:

• Correção de bug no botão de download de imagens FITS a partir do Science Server. 
• Padronizações na aparência das páginas do Science Server e User Query – adequação à identidade visual do novo site com links para as redes sociais.     
• Implementação de página de erro de autenticação ou autorização em conformidade com a identidade visual para informar o usuário em caso de falha no login.
• Remoção de funcionalidades obsoletas no Target Viewer (rating/reject, menu de permissão). 
• Implementação da visualização do mapa de sistemáticos “fração de detecção” nas 5 bandas. 
• Validação científica das imagens DES DR2. 
• Atualização da aplicação para adequação ao novo serviço de autenticação CILogon com mudanças no provedor de metadados. 
• Escrita de documentação de apoio ao usuário com exemplos de uso do User Query. 
• Revisão e melhorias nos textos sobre os levantamentos DES, Gaia e 2MASS.
• Reinstalação total do ambiente de testes, início da preparação para instalação do ambiente de produção.
• Investigação de possíveis soluções para reduzir o tempo de carregamento das imagens HIPS no Sky Viewer.  
• Atualização do jupyter notebook de tutorial com exemplos de acesso aos dados gerados no User Query através do JupyterHub.

Photo-z Server

• Deploy do serviço de orquestração de processos submetidos pelas aplicações no cluster no novo servidor srvorch-dev – integração do serviço com a aplicação PZ Server (em andamento).
• Desenvolvimento de método para criação de training sets simulados a partir da seleção de amostra no sistema de arquivos Lustre. 
• Implementação da primeira versão do pipeline Combine Spec-z Catalog. 
• Testes de cross-matching com LSDB usando dados do LSST DP0.2 

Photo-z Compute

• Implementação de parâmetros de configuração específicos dos algoritmos FlexZBoost e GPz. 
• Adaptação do “prepare-pz-tests” para o novo scheduler Slurm, para preparar processos executados em produção com controle de proveniência
• Notebooks de controle de qualidade dos dados de saída e de estatísticas resumidas – em andamento. 
• Notebooks de controle de qualidade dos dados de entrada com exibição de propriedades dependentes da região no céu (mapas) – em andamento. 
• Suporte para leitura de arquivos de entrada no formato hipscat adicionado
• Atualização da documentação para o desenvolvedor com instruções para as duas configurações diferentes: modo de desenvolvimento e modo de produção.

Solar System:

• Serviço de subscrição:
  • Implementação do registro e autenticação de usuários sem uso de senha (passwordless).
  • Conclusão da implementação e revisão de banners, telas, e templates de email.
• Implementação de incertezas nas predições enviadas para homologação:
  • Cálculo de incertezas nas predições, tanto temporal quanto espacial, foi implementado.
  • Correção de falhas nas predições para Plutão e asteroides com caracteres especiais no nome.
  • Implementação de novas métricas, como a fração iluminada da Lua durante os eventos.
• Links persistentes
  • Em fase de testes, foi implementada uma solução para identificadores que resistem a pequenas atualizações nas predições, garantindo a permanência dos identificadores no banco de dados.
• Curso sobre o portal
  • Desenvolvimento continuado de uma biblioteca Python a ser utilizada no curso.
  • Estrutura e slides do curso foram elaborados e revisados.
• NIMA: calculador de efemérides
  • Testes realizados com o NIMA para assegurar sua futura implementação na refatoração do serviço.
• 
  

Comunicação, Divulgação e Educação:

• Notícias:
  • Panorama dos inscritos e participantes no curso “Fundamentos de Banco de Dados”;
  • Notificação de interrupção nas plataformas científicas (problemas no LNCC);
  • Panorama dos inscritos e participantes no curso “Desenvolvendo Software Científico”;
  • InfraDay #14;
  • Observatório Vera Rubin: Instalação do espelho secundário é concluída;
  • Rubin Community Workshop 2024: estudantes membros do LIneA apresentam trabalhos.
• Relatório INCT:
  • Colaboração com informações para o texto
  • Imagens diversas
  • Revisão de planilhas
• Vídeo INCT:
  • Recebimento do vídeo em 21/08
  • Revisão e solicitação de mudanças em 21/08
• SNCT 2024:
  • Envio de e-mail informando sobre a SNCT e convidando colaboradores a propor atividades.

Comunicação:

• Envio da matéria sobre a participação brasileira no projeto LSST à FAPERJ.
• Organização dos textos para notificação dos usuários sobre a mudança na forma de registro no LIneA (CAFe > CILogon).

Curso: 

• Desenvolvendo Software Científico:
  • Validação do curso (29/07)
  • Inscrições para o curso de 30/07 a 9/08
  • Aplicação do curso em 15/08
  • Material adicionado ao Google Classroom
• Fundamentos de Banco de Dados
  • Lembrete aos participantes do formulário
  • Produção dos certificados
  • Envio dos certificados
  • Material adicionado ao Google Classroom
• Planejamento para o curso de Jupyter Notebook

Divulgação Científica:

• O observatório Rubin vai caçar anãs brancas
• Que tipo de torcedor é você nas Olimpíadas?
• Instalação do espelho secundário do Rubin Observatory
• Especial dias dos pais
• Você sabe como achar exoplanetas?
• Superlua (agosto)
• Há 18 anos Plutão deixava de ser um planeta

Site:

• Entrevista com desenvolvedores
• Proposta de projeto para pendências existentes do novo site
• Ajuste em links quebrados (página de documentos)
• Glossário:
  • Finalização da revisão pela bolsista
  • Organização da planilha
  • Auxílio nos termos com dúvida (em andamento)