Atividades Administração/Planejamento

• Prestação de contas do INCT do e-Universo submetido ao CNPq
• Reunião na Secretaria Municipal de Ciência e Tecnologia
• Organização evento Rubin First Look

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Realizadas reuniões com o fornecedor Binário/Juniper para discutir sobre o serviço de instalação do roteador;
• Realizada reunião de alinhamento com a engenharia de HPC da HPE sobre a atualização do cluster apolo que foi realizada recentemente;
• Participação no Workshop RNP 2025 com a apresentação sobre a gestão de identidades em ambiente multi-colaboração no contexto das colaborações internacionais;
• Reunião com os times de suporte a e-ciência e de engenharia de redes da RNP para tratar sobre a aquisição da solução de rede spine-and-leaf;
• Reuniões de alinhamento com o time da Timbira para tratar das estratégias de ingestão e de leitura de dados no novo servidor de banco de dados do IDAC Brasil;
• Foi enviado comunicado sobre a extensão do prazo de retorno a todas as firmas participantes do certame de aquisição da solução de rede spine-and-leaf;
• Apresentação da infraestrutura de autenticação e autorização do LIneA na reunião quinzenal de coordenação dos IDACs;

Apoio ao usuário e Gestão de dados

• Atualização de várias sessões do site de documentação que agora também está disponível nos idiomas espanhol e inglês;
• Disponibilização de arquivos do MaNGA para download em massa a pedido de usuário da UFSM;
• Iniciada a migração dos dados de diversas aplicações para os locais definitivos na nova storage;

Operação e projetos

• Migradas todas as aplicações e plataformas para o novo proxy web com alta disponibilidade e balanceamento de carga; 
• Desativação do antigo servidor proxy web;
• Continuação da investigação do problema de reinicialização espontânea dos nós do cluster apolo. As conclusões preliminares apontam que a combinação do uso do Rocky-9.5 com o cliente Lustre 2.15.6 causa o reboot espontâneo.
• Aplicadas várias melhorias e correção de bugs na plataforma Jupyter Hub incluindo a disponibilização de nova versão da imagem do servidor Jupyter Notebook;
• Extração das tabelas de catálogos astronômicos DES DR2; GAIA DR3 e 2MASS do antigo servidor de banco de dados visando sua importação no novo servidor do IDAC;

Desenvolvimento e melhorias nas plataformas científicas:

OBS: atividades reduzidas no mês de maio devido a parada para manutenção das máquinas e férias de colaboradores do time de desenvolvimento.  

LIneA Science Platform

• Correção de bug na tela de associação de colunas do Target Viewer no DES Science Server 
• Inclusão de mais cards de serviços (por ex. portal solar system)    
• Ajustes estéticos e link para página de monitoramento no cabeçalho
• Padronização dos cabeçalhos no User Query e Target Viewer 
• Implementação de autenticação com SAML
• Correção de bug no número de linhas das tabelas na tela de registro de novos produtos no Target Viewer 

Portal SSO

• Os containers que estruturam o portal foram duplicados na nova storage, em função da produção elevada de arquivos (thumbnails), de modo a tirar essa carga do sistema de arquivos lustre. A produção de predições se manteve inalterada;
• Em conjunto com o Grupo do Rio, produziu-se um artigo sobre ocultações estelares e a plataforma para a revista da SAB;

Photo-z Server

• Novas funcionalidades na biblioteca pzserver para o usuário fazer alterações nos metadados dos seu produtos de forma programática. 
• Criação de endpoint para checagem de propriedade de produtos acessados via biblioteca pzserver.     

Colaboração técnica com o Observatório Vera Rubin

OBS:. as atividades de colaboração técnica como observatório Vera Rubin ocorrem desde 2024 e tem como objetivo desenvolver o serviço de sumarização dos metatados do ConsDB (Consolidated Database of Image Metadada) em janelas de tempo fixas e em outras dimensões de tempo de janela variável (eventos). Resumidadmente, o serviço é chamado de Transformed EFD. O serviço já estava em testes e produz mais de 1300 colunas somadas em diferentes tabelas de informações sumarizadas: dados meteorológicos, dados técnicos, informações de posição, informações de sensores e operação tanto do telecópio principal quanto do telescópio auxliar, informações da LSSTCam e LATISS (LSST Atmospheric Transmission and Slitless Spectrograph), entre outros.

• Realizou-se a atualização da descrição de todas as colunas nas tabelas do serviço;
• Os esquemas de todas as tabelas do Transformed EFD foram adequados e inseridos nos serviços TAP do Rubin Science Platform (versão desenvolvimento);
• Houve uma revisão detalhada e correção de todos os manifestos kubernetes para implantação e operação do serviço que opera tanto dados legados quando dados em tempo real;
• O serviço entrou em modo de produção na última semana de Maio/25.

Comunicação, Divulgação e Educação:

• Notícias:
  • Design Sprint (completa)
  •  Aplicação do curso de aprendizado de máquina aplicado à astronomia
  • DES meeting 2025 (participação da Julia)
  • WRNP 2025 (participação do Carlos)
  • Aviso de manutenção na infra do LIneA
  • Anúncio da nova data para o Rubin First Look
• Relatório dos bolsistas (repositório no drive)
• Rubin First Look
  • organização da programação
  • alinhamento para detalhes da transmissão
  • ajustes nos banners
  • criação do evento no Sympla para retirada dos ingressos
  • reunião com a Phoebe do NOIRLab
  • reunião com fornecedores (HPE)
  • reunião de desenvolvimento dos flyers
  • orçamento e compra dos itens para montagem do kit
• Tabelamento das notícias externas sobre o LIneA
• Revisão e atualização dos nomes na lista de email: all-bpg-lsst e ja-bpg-lsst

Divulgação Científica

• Nomenclatura do projeto LSST
• Dia nacional do Físico

Curso: 

• Confecção e entrega dos certificados do curso “Aprendizado de Máquina Aplicado à Astronomia”
• Planejamento de cursos futuros

Site:

• Atualização da aba “documentos” (inclusão do relatório sobre o design sprint)

Atividades Adminstração/Planejamento

• Pedido de remanejamento feito à FINEP
• Preparação de relatório financeiro do INCT do e-Universo  para o CNPq 
• Organização do evento Rubin First Look 
• Participação em encontro com o diretor do Dark Energy Survey sobre curadoria dos dados a longo prazo  

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Reuniões de alinhamento com Timbira para tratar da implantação da nova solução de banco de dados;
• Reuniões de alinhamento com a equipe de engenharia de rede do POP-RJ para tratar da implementação do novo roteador de borda Juniper ACX7024;
• Reunião com fornecedor de soluções de cibersegurança para avaliar a possibilidade de contratação de serviços e licenças;
• Reunião de alinhamento com a equipe de engenharia de HPC da HPE para planejar a instalação e atualização do cluster Apollo, e a instalação de novos equipamentos;
• Finalização do Termo de Referência para aquisição de equipamentos de rede e serviços para o projeto de rede Spine-and-Leaf visando modernizar a infraestrutura de rede local para o IDAC Brasil;
• Participação da reunião quinzenal do grupo de coordenação de infraestrutura dos IDACs;

Gestão de dados

• Foi realizada uma cópia de segurança de todos os dados mantidos no Lustre FS – 278 terabytes – para a nova storage numa área com volume de 300 TB;

Operação e projetos

• Instalação e configuração de novos nodes de gerenciamento e acesso no cluster apolo;
• Instalação e configuração da nova storage HPE 4510 de 1.2 PB em atendimento aos requisitos de implantação do IDAC Brasil;
• Reorganização das conexões físicas da rede infiniband com o objetivo de expandir a capacidade de interligação de novos servidores na rede ib0;
• Migração do sistema operacional CentOS-7.6 para Rocky-8.10 e da versão do sistema de arquivos Lustre FS de 2.12.6 para 2.15.6;
• Atualização do sistema de gerenciamento do cluster HPCM da versão 1.10 para a 1.13 que possui suporte a sistemas RedHat 8 e 9;
• Atualização do sistema operacional dos nós do cluster apolo do CentOS-7.6 para o Rocky-9.5;
• Atualização do sistema gerenciador de processos do cluster apolo Slurm da versão 18.8 para 24.05;
• Iniciada a atualização da plataforma Open OnDemand da versão 3.0.1 para a 4.0, incluindo o sistema operacional do servidor de CentOS-7.6 para Rocky-9.5;
• Foi iniciado o “troubleshooting” do ambiente do cluster apolo após serem relatados diversos problemas de estabilidade do ambiente de HPC durante os testes de validação;

Desenvolvimento e melhorias nas plataformas científicas:

LIneA Science Platform

• Preparação de jupyter notebook de caracterização de dados de uma lista de targets para visualização no Target Viewer 
• Comparação de performance de consultas no banco com busca por coordenadas em regiões do céu (cone search) utilizando diferentes métodos (PgSphere versus Q3C) 
• Inclusão de banner de aviso de ambiente de testes na landing page do LSP-dev   

Portal SSO

• Aprimoramentos de desempenho: ajuste dinâmico do Parsl (tamanho de bloco 10, até 100 workers), comentário da chamada .count com filtro de magnitude e suporte a resultados parciais em jobs;
• Melhorias no mapa interativo: correção de plotagem, marcador “CA Instant”, renomeação do botão de download KM, desabilitação de KMZ fora da Terra, atualização do layout da legenda com mensagem “sem dados disponíveis” e variável condicional para ocultar linhas e sombras sem dados;
• Qualidade e estabilidade: padronização de hooks de pre‑commit, limpeza de código nos componentes DayTime/NightTime/OccultationKmzDownload e reforço do tratamento de exceções no endpoint get_occultation_paths;
• Foram adicionadas predições de para o período de Abril a Junho de 2026 para todos os objetos atualmente monitorados.

Photo-z Server

• Implementação de novo método para o usuário atualizar metadados dos seus produtos através da biblioteca Python pzserver 
• Atualização de dependências com alertas de vulnerabilidades 
• Criação de lista de email para comunicação com usuários beta testers 

Comunicação, Divulgação e Educação:

• Mutirão para atualização do site de documentação para o usuário docs.linea.org.br com verificação e atualização do conteúdo de 24 páginas, implementação de plugin para possibilitar versões em outros idiomas, tradução e disponibilização de todos os textos em inglês e espanhol.    
• Notícias:
  • Prévia da notícia sobre o design sprint
  • LIneA organiza Workshop sobre Workflows e Plataformas Científicas
  • Parada programada do ambiente HPC
  • Jovem pesquisador do BPG é selecionado para programa do LSST Discovery Alliance
  • Rubin Community Workshop 2025
  • LIneA é convidado a fazer parte da Rede de e-Ciência pela RNP
• LIneA news (1º trimestre)
• Evento Rubin First Look
  • Desenvolvimento da arte
  • Reunião com equipe da Academia Brasileira de Ciências
  • Save the date!
  • Inscrição no evento
  • Comunicação para as autoridades, reitores e público geral
• Projeto FINEP:
  • Revisão dos links
• Relatório INCT
  • Informações dos bolsistas
  • Lista de publicações dos pesquisadores associados

Divulgação Científica

• Dia mundial da astronomia

Curso: 

•  Confecção e entrega dos certificados do curso “Introdução ao Aprendizado de Máquina”
• Curso de abril:
  • Desenvolvimento e validação do curso “Aprendizado de máquina aplicado à astronomia”
  • Aplicação do curso em 24/04
  • Atualização do Google Sala de aula

Site:

•  Nova aba para “Workshops e Eventos”

Atividades de Planejamento

• Participação no workshop e-Ciência: Projetando Soluções Colaborativas para os Desafios do Brasil, organizado pelo CGEE na FINEP nos dias 18 e 19 de março;
• Organização do workshop online Workflows e plataformas científicas: em preparação para o DR1 do LSST nos dias 25 e 26 de março.
• Preparação para o evento Rubin First Look a ser realizado no dia 17 de junho em colaboração com o Rubin Observatory, NSF e DOE. 
• Preparação de relatório trimestral das contribuições in-kind e planos para o próximo trimestre;
• Plano de encerramento da contribuição do CNPq para o INCT do e-Universo.

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Reuniões de alinhamento com Timbira para tratar dos testes de ingestão de dados utilizando o catálogo DP02.
• Substituição de recurso na equipe de TI com a saída de um analista júnior e a contratação de um analista pleno;
• Preenchimento e submissão de proposta para o edital da rede de centros de e-ciência promovido pela RNP;
• Continuação do desenvolvimento do documento de propostas formais para o projeto da rede spine and Leaf, incluindo várias reuniões com os fornecedores interessados;
• Reunião de alinhamento com o time de engenharia de HPC da HPE para o projeto de atualização do cluster apollo e do Lustre FS, incluindo a instalação dos novos servidores de administração e acesso (login) do ambiente do novo servidor de armazenamento NAS HPE Apolo 4510 de 1.2 petabytes;

Gestão de dados

• Desenvolvimento dos pipelines de transferência e ingestão dos catálogos 2MASS e GAIA DR3 com a plataforma Apache-Nifi utilizando o servidor DTN;
• Iniciado o desenvolvimento de pipeline de dados para movimentação dos dados do LSST utilizando como caso de uso o catálogo DP0.2;
• Implementadas diversas melhorias no atual sistema gerenciador de banco de dados visando corrigir problemas nas consultas das plataformas Userquery e Solar System;
• Conversão do catálogo DES DR2 para o formato HIPS compatível com a ferramenta catalog overlay do Aladin;
• Estudo de dimensionamento do volume de dados do LSST para imagens coadicionadas.  

Apoio ao usuário

• Foram realizados vinte e três atendimentos aos usuários via sistema de chamados, incluindo Office Hours.
• Foram realizadas apresentações sobre a infraestrutura geral do IDAC e sobre o uso do ambiente de HPC com foco no ambiente do Cluster Apollo e nas plataformas JupyterHub e Open OnDemand.

Operação e projetos

• Implantação de ambiente para o desenvolvimento da nova solução de autorização 
• Realizados juntamente com a equipe da Timbira testes sistemáticos de ingestão de dados no novo servidor de banco de dados do IDAC Brasil com consideráveis avanços na leitura de arquivos do tipo Parquet com a ferramenta DuckDB no Postgres.
• Iniciada a criação de um ambiente de testes e homologação para implantação de um novo serviço de diretórios de usuários baseado no OpenLDAP já considerando o aspecto de segurança com foco no IDAC Brasil;
• Testes de integração do sistema de gerenciamento COmanage com o ambiente de testes do OpenLDAP.  
• Iniciados testes de uso do novo ambiente de alta disponibilidade para as aplicações usando como caso de uso a plataforma PZServer-dev.
• Iniciada a atualização da plataforma do Skybot;

Desenvolvimento e melhorias nas plataformas científicas:

LIneA Science Platform

• Finalização do desenvolvimento inicial da landing page da nova interface LIneA Science Platform e deploy da aplicação no ambiente de testes.   
• Desenvolvimento de uma versão reduzida da plataforma, somente com microsserviços relacionados ao LSST para servir de user interface para o IDAC-Brasil.  
• Adequação das páginas e menus da plataforma para funcionarem em dispositívos móveis.   
• Adequação da identidade visual com implementação de header e footer nos padrões do site institucional do LIneA. 
• Disponibilização dos dados do catálogo DES DR2 para visualização com a funcionalidade catalog overlay do Aladin no Sky Viewer. 
• Atualização de documentação para o usuário (páginas about). 
• Implementação de melhorias no formulário de registro de listas de targets (botão clear form).     
• Testes de verifiação após instalação de bibliotecas e plugins para suporte a consultas no banco de dados com funções geométricas (ADQL, Q3C, PgSphere) através da aplicação User Query e do acesso remoto TAP service através do programa TOPCAT. 
• Produção de material de apoio ao usuário com exemplos de queries (SQL e ADQL). 

Portal SSO

• Melhorias no Frontend incluindo informativo de novos releases, correção de links quebrados.
• Implementação de nova técnica de query Gaia substituindo círculos por consulta polinomial e otimização de áreas usando PCA (principal component analysis).
• Estudos para a implementação de um catálogo de posições gaia J20XX para compensar o movimento próprio das estrelas desde 2016 e otimizar a área da consulta.
• Implementada nova pipeline de predições que separa downloads de efemérides (bsps) do serviço de predição.
• Iniciada a atualização da pipeline de predição que usa a nova orchestration (um asteroide por thread).

Photo-z Server

• Melhorias na inicialização da orchestration – criação de bot de monitoramento para verificar se o serviço no ar antes de submeter processos ao cluster.  
• Correção de bugs na leitura de tabelas CSV sem cabeçalho.     
• Implementação de checagem de colunas obrigatórias para upload de arquivo.
• Implementação de flexibilidade no formato do aquivo de saída para resultados dos pipelines de cross-matching. 

Photo-z Compute

• Refatoração do script de criação de skinny tables usando DASK no Jupyter OnDemand. 

Comunicação, Divulgação e Educação:

• Workshop:
  • Desenvolvimento da arte para o evento
  • Envio de convite para o BPG
  • Elaboração da apresentação para o workshop
  • Atualização do site do evento
• Proposta FINEP: Evento First Look
  • Revisão e atualização da proposta
  • Preenchimento do formulário
• Notícias:
  • Instalação da câmera do LSST (envio para SAB, FINEP, CNPq e FAPERJ)
  • LIneA participa do debate sobre e-ciência no Brasil
  • Primeiro curso de 2025 aborda o tema Aprendizado de Máquina
• Preparação para o Design Sprint

Divulgação Científica

• Eclipse Lunar
• Chegada do Outono

Curso: 

• Introdução ao Aprendizado de Máquina:
  • Envio do material por e-mail para os participantes
  •  atualização do Google Sala de Aula
  • confecção e envio dos certificados

•  Desenvolvimento do próximo curso: Aprendizado de Máquina com aplicações para Astronomia

Site:

•  Atualização de planilhas

Atividades de Planejamento e Gestão

• Preparação e busca de patrocínio para o evento Design Sprint
• Preparação e busca de patrocínio para o evento LSST First Look  

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Foram organizadas várias reuniões para apresentar o projeto de atualização da rede local para os fornecedores HPE Aruba, Juniper, Cisco e Dell. Ficou decidido que o time LIneA irá preparar e publicar uma RFP para padronizar o escopo do projeto.
• Reunião de alinhamento com a equipe de HPC da HPE sobre a instalação dos equipamentos recém chegados e a atualização do cluster Apollo tendo sido planejada a execução para a primeira semana de abril de 2025;
• Realizadas tratativas com a Laniaq para a correção do problema de memória apresentado no novo servidor de banco de dados do IDAC. Foi criada uma minuta com o histórico de problemas envolvendo o processo de compras e o atendimento de suporte pela firma Laniaq;

Gestão de dados

• Foram realizados ajustes nas permissões de dados públicos do DES DR2 e movimentações para organizar diversos subprodutos deste catálogo;
  • Foram gerados arquivos parquet com dados simulados do LSST para testes de ingestão no Postgres.    

Apoio ao usuário

• Foram realizados trinta e dois atendimentos aos usuários via sistema de chamados, incluindo Office Hours.
• Realizada atualização na documentação na seção de registro de usuários, visando facilitar o ingresso de usuários no ambiente computacional do LIneA.

Operação e projetos

• Finalizada a primeira etapa de reinstalação do Cluster ICEx. Iniciada etapa de configuração. Incluindo escrita da documentação do ambiente.
• Iniciada primeira etapa de instalação do novo gerenciador de pacotes EUPS.
• Iniciada avaliação do ambiente do Open OnDemand para o projeto de atualização desta plataforma na ocasião da atualização do cluster apollo, que está planejada para ser realizada no próximo mês de abril;
• Migração de vários servidores virtuais da infraestrutura do POP-RJ para o data center do LNCC, entre os quais estão os serviços de monitoramento, de inventário e de gestão de identidades
• Implementação de cópia de segurança de serviços críticos e validação da restauração. Entre os serviços inclusos no processo de cópia e restore está o sistema de gestão de autenticação e o de monitoramento ativo.
• Foi disponibilizado um dashboard para o servidor de banco de dados IDAC DB Server, permitindo o monitoramento e a visualização de métricas essenciais para a administração do sistema.
• Foi implementado um novo Zabbix Proxy no data center do POP, com o objetivo de realizar o monitoramento da infraestrutura de forma eficiente e descentralizada. Essa implementação visa melhorar a coleta de dados, reduzir a carga no servidor principal (zabbix)
• Implementado o monitoramento ativo da sincronização da réplica do banco de dados do MPC mantida no LIneA, com o objetivo de garantir que o banco de dados esteja sempre atualizado conforme as necessidades operacionais. Além disso, foram configurados alertas automáticos.

Desenvolvimento e melhorias nas plataformas científicas:

LIneA Science Platform

• Reativação do projeto LIneA Science Platform e início do desenvolvimento do front-end para uma nova landing page com acesso a todos os serviços 
• Geração do catálogo DES DR2 na versão HIPS no formato TSV para alimentar a funcionalidade Catalog Overlay do Aladin no novo Sky Viewer.  
• Estudo para otimização dos parâmetros de configuração do pipeline hipsimage_gen e recriação das imagens HIPS para dois tracts do LSST DP0.2 com os parâmetros otimizados. 
• Deploy da primeira versão do novo Target Viewer, ainda em desenvolvimento, no ambiente de testes.  

Photo-z Server

• Validação dos resultados do pipeline Training Set Maker com dados do LSST DP0.2 
• Exibição de produtos ainda em contrução na lista de produtos 
• Exibição dos UCDs das colunas na tela de associação de colunas da ferramenta de upload 
• Exibição da origem de um produto na interface (upload feito pelo usuário ou criado por um pipeline interno)  

Photo-z Compute

• Finalização dos scripts para execução end-to-end no ambiente de HPC via plataforma OnDemand. 
• Atualização da documentação para o desenvolvedor. 
• Quatro encontros com atividades de passagem de conhecimento e preparação para o desligamento de uma desenvolvedora bolsista.
• Investigação de bugs causados por incompatibilidade de versões de bibliotecas. 

Comunicação, Divulgação e Educação:

• Notícias:
  • Workshop Apache NiFi
  • Reunião CAT 
  • Implantação do IDAC-Brasil
  • In memoriam, Marcio Maia
• Reunião CAT
  • Vídeo adicionado ao youtube
  • Envio do material para os membros do CAT
• Certificados para os participantes do Workshop Apache NiFi
• Workflows e Plataformas Científicas: preparação para o LSST DR1
  • Desenvolvimento do site
  • Formulário para inscrições
• Documento com informações para os bolsistas
• Revisão do documento para FINEP

Comunicação:

• Revisão de textos
• Mentoria

Divulgação Científica:

• 11 de fevereiro: dia internacional das meninas e mulheres na ciência (homenagem as cientistas do Vera Rubin)
• Os fenômenos astronômicos no Carnaval

Curso: 

• Desenvolvimento do curso “Introdução ao Aprendizado de Máquina”
• Validação do curso
• Anúncio do curso do mês
• Aplicação em 27/02

Site:

1. Investigação de Imagens no Site

• Análise das imagens que não estavam carregando, com foco principal nas imagens das notícias.
• Diagnóstico e identificação do problema.
• Propostas de soluções para correção.

2. Alteração do E-mail do Administrador Geral

• Atualização do e-mail do administrador geral.
• Início das configurações necessárias para garantir o funcionamento correto do novo e-mail. (Dev)

3. Testes Locais para Implementação de Site Bilíngue

• Realização de testes em ambiente local para avaliar a viabilidade da implementação de um site bilíngue. (Plugins)
• Análise das melhores abordagens para tradução de conteúdo.

4. Atualização de Redes Sociais

• Atualização do cabeçalho e rodapé do site para refletem informações atualizadas das redes sociais.
• Adicionado Threads e Bluesky

5. Melhorias em Elementos Visuais do Site

• Criação de um carrossel para a seção de anúncios.
• Remoção do carrossel automático na seção “Colaborações Científicas”, conforme necessidade identificada.

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Realizado o recebimento da nova storage Apollo 4510 adquirida junto à HPE e que fará parte da solução de armazenamento do IDAC Brasil;
• Assinado contrato de serviço com a HPE para a instalação novos nós de serviço do cluster Apolo, incluindo a atualização do sistema operacional
• Assinado contrato de serviço de instalação e configuração do novo sistema NAS adquirido junto à HPE;
• Iniciadas as tratativas para a aquisição dos equipamentos de rede e a contratação de serviço com o objetivo de atualizar a infraestrutura de rede local do LIneA com a adoção da nova arquitetura de rede Spine-And-Leaf;
• Reunião de alinhamento com o Pedro do POP-RJ para definir as próximas etapas da instalação do novo roteador Juniper ACX 7024.

Apoio ao usuário

• Foram realizados vinte e sete atendimentos aos usuários via sistema de chamados
• Foi finalizada a primeira etapa de apoio ao projeto iMaNGA que visava otimização de código e instruções de uso do cluster de processamento. Iniciado apoio à segunda etapa do projeto. Etapa de processamento dos dados
• Implementadas mudanças na estrutura do sistema de autenticação e do COManage de modo a padronizar os atributos compartilhados pelo CILogon. Para isso foi criado um procedimento exclusivo para que todos os usuários já registrados passem pela atualização de registro utilizando sua credenciais institucionais via CILogon;

Operação e projetos

• Migração do servidor virtual do Zabbix para um novo hospedeiro com o objetivo de melhorar a performance.
• Levantamento de peças de servidores a serem adquiridas para a manutenção corretiva do hardware e fim de garantir a continuidade operacional desses equipamentos
• Implementado quadro de monitoramento no Grafana para exibir dados relevantes da aplicação PZ Server
• Atualização completa do sistema operacional do servidor Skybot
• Migração dos blocos de endereçamento IP em toda a infraestrutura de rede do LIneA no POP-RJ, tendo sido liberado o endereço da rede 146.134.17.0/24, que pertence ao LNCC e estava cedido ao LIneA, e configurado o novo bloco 177.84.200.192/26. Foi necessário a criaçao de rotas estáticas no roteador do LIneA;
• Interação com o suporte do POP-RJ para ajustes na configuração de rede ao longo do caminho entre Petrópolis e Rio para habilitar o roteamento do novo endereço configurado no POP-RJ;
• Realizados diversos ajustes na configuração dos firewalls do LIneA no POP-RJ e no LNCC para habilitar a comunicação entre a nova rede e a infraestrutura do datacenter em Petrópolis;
• Realizadas diversas reuniões de alinhamento com os fornecedores HPE, Cisco, Juniper e Dell para as propostas dos equipamentos e serviços de rede;
• Em andamento os testes de ingestão de dados na nova solução Postgres de banco de dados do IDAC, com avanços significativos pela equipe da Timbira utilizando a ferramenta DuckDB;
• Participação na reunião de transferência de dados com os IDACs e o Data Management do LSST;
• Iniciados os testes com o Apache-Nifi utilizando o hardware do novo servidor DTN;

Desenvolvimento e melhorias nas plataformas científicas:

DES Science Server

• Correção de bug no botão de logout 

IDAC Science Server

• Criação do pipeline hipsimage para paralelização da criação das imagens HIPS no cluster Apollo
• Exibição de imagens de teste do LSST DP0.2 no novo Sky Viewer para validação da ferramenta
• Back-end novo Target Viewer (continuação)
  • Integração do target viewer com o MyDB para que o usuário registre as suas póprias tabelas na ferramenta de visualização 
• Preparação de novas queries de exemplo incluindo associação entre tabelas de levantamentos diferentes (em andamento)  

Photo-z Server

• Atualização das bibliotecas HATS e LSDB e adaptações para conformidade com as mudanças trazidas nas novas versões 
• Exibição do número total de linhas na tela de descrição de um produto registrado, quando se trata de dados tabulares 
• Exibição de informações de monitoramento (por exemplo, status de processos) na página de lista de produtos 
• Pop-up de confirmação para usuário ao deletar produto 

Photo-z Compute

• Desenvolvimento de funções para adaptação do pipeline pz-compute para execução em jupyter notebook dentro do serviço Open OnDemand (em andamento)
• Automatização da execução do notebook de caracterização dos dados de entrada no início da execução do pipeline.  

Portal SSO

• Desenvolvimento do componente de mapas dinâmicos incluindo opções de download do mapa estilo SORA e formato KMZ para Google Maps e Google Earth;
• Implantação de tabelas de cache para os destaques (contagens) para agilizar o carregamento da página inicial;
• Correção de bug presente no envio de emails de subscrição;
• Correção de bug no cache automático de classes e subclasses de asteroides na página inicial;
• Extensão da documentação para o usuário;
• Implementação em estágio de testes de rotina para downloads de BSPs separados da pipeline principal;
• Correção em bug na pipeline de predições para corrigir falhas em casos de asteroides sem magnitudes absolutas definidas;
• Processamento de predições para estender resultados até 03/2026;

ConsDB (Observatório Vera Rubin):

• Refatoramento para a separação de workflows em Kubernetes jobs e cronjobs;
• Implementação de gerenciamento de retomada de tarefas enfileiradas e não processadas;
• Implementação de gerenciamento e retomada de tarefas falhadas em modo automático;
• Implementação de pytests em parte das rotinas;
• Atualização em esquemas de bancos de dados e tabelas para corrigir/adicionar colunas;

Comunicação, Divulgação e Educação:

• Retrospectiva 2024
  • Envio de e-mails para comunidade
  • Preparação de slides
  • Apresentação (14/01)
• Notícias:
  • Mais de mil pessoas inscritas nos cursos oferecidos pelo LIneA em 2024
  • Retrospectiva 2024 
• Workshop Apache NiFi
  • Organização (data, hora)
  • Arte para anúncios
  • Aplicação dias 22 e 23 de janeiro
  • Produção dos certificados (em andamento)
• Bolsas INCT do e-Universo
  • Organização do material necessário para pedido de extensão das bolsas do INCT do e-Universo
• Mudança na forma de registro LIneA
  • Criação de três páginas no site (/atualiza, /atualizapublico e /welcome)
  • Notificação da mudança: envio de e-mail para os usuários (colaboração e público)
  • Envio das orientações do processo de mudança

Comunicação:

• Revisão de notícias
• Mentoria 

Divulgação Científica:

• Qual planeta do Sistema Solar você seria?
• Por que as estrelas piscam?

Curso: 

• Produção dos certificados do curso de TOPCAT 
• Finalização do curso “TOPCAT: casos de uso astronômicos”
• Desenvolvimento do curso “Machine Learning” 

Site:

• Organização das tarefas no github
• Atualizações de planilhas:
  • Conversando sobre TI
  • LIneA em números
  • Relatório de atividades
• Atividades realizadas:

Página Divulgação

• Corrigido erro nas notícias quebradas (imagens internas agora aparecem).
• Adicionada a data de publicação dentro das postagens.

Página Educação

• Em Publicações: adicionada paginação.
• Em Teses e Dissertações: adicionada paginação.
• Em Webinars:
  • Adicionada a tag “em andamento” e ajustada a leitura da string no campo.
  • Ajustada a exibição da data do webinar para incluir o ano (ex.: 20 de agosto de 2024).

Página Centro de e-Ciência

• Em Relatório de Atividades: adicionada paginação.
• Em Conversando sobre TI: adicionada paginação.
• Em Enquetes: adicionada paginação.

Página Inicial

• Ajustado o carrossel de anúncios.
• Atualizados os links de redes sociais no cabeçalho e rodapé.

Atividades de Planejamento e Gestão

• Assinatura de convênio com a FINEP
• Abertura de conta para receber recursos FINEP
• Cadastramento do LIneA no Instituto de Inteligência Artificial
• Reunião presencial de planejamento (10/12)
• Contratação HPE para instalação de novos nós no cluster Apollo
• Renovação de bolsas

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Com o apoio do PoP-RJ/RNP foi finalizado o processo de aquisição do Autonomous System Number (ASN) junto ao registro.br, necessário para a desvinculação das redes do LIneA do ASN LNCC;
• Reunião de alinhamento com os técnicos da Laniaq para ajustes na configuração do equipamento recém instalado;
• Contratação da firma WHanna HPC para apoiar o time de infraestrutura na reinstalação do cluster ICEX;
• Realizadas tratativas junto ao CNPq e à HPE para a importação da nova storage para o IDAC Brasil;
• Contratação da HPE para execução dos serviços de garantia e suporte, e instalação e configuração dos nós de administração e acesso do cluster apollo;

Gestão de dados

• Investigação sobre a qualidade das imagens HIPS geradas a partir de dados do LSST, ajuste fino de configurações baseado na comparação com o DES. 
• Criação de skinny tables do LSST DP0.2 no formato HDF5 para alimentar algoritmos específicos no pipeline photo-z compute.
• Conversão de tabelas de dados do LSST e dados públicos do DES DR2, DESI EDR, Gaia DR3 e 2MASS para o formato de particionamento espacial hierárquico HATS.  
• Correção de problemas nos índices espaciais Q3C na tabela do 2MASS no banco de dados;

Apoio ao usuário

• Desenvolvimento e implementação de aplicação de apoio aos usuários para exibição de endereço IP público;
• Implementada nova página de aviso de registro direto no website do LIneA;
• Foram realizados trinta e seis atendimentos aos usuários via sistema de chamados e agendamento de office hours;
• Em andamento o apoio ao projeto iMaNGA através de Office Hours paraa otimização de código e instruções de boas práticas de uso do cluster de processamento. Ticket #14786;
• Iniciada a implementação de novas filas Slurm exclusivas para os membros da colaboração LSST e BPG-LSST. [card 433]

Operação e projetos

• Realizada instalação e configuração do novo servidor de banco de dados do IDAC Brasil para o projeto LSST;
• Iniciada a implementação da solução de banco de dados PostgreSQL com a assessoria da firma Timbira;
• Instalação e configuração básica do novo roteador, incluindo o cabeamento e habilitação de acesso remoto;
• Implementadas melhorias no sistema de backup do website;
• Realizada a atualização do sistema de gerenciamento de contas do LDAP;
• Implementadas melhorias no sistema de gerenciamento do Cluster – slurm como, rotação de logs e banner de instruções; 
• Iniciado o processo de avaliação de compatibilidade do sistema de armazenamento Lustre com o SO Rocky 8.6;
• Implementadas melhorias sistema de monitoramento de storages permitindo o monitoramento individual dos discos;
• Finalizada a cópia de segurança das licenças das interfaces de gerenciamento iDRAC dos servidores Dell/
• Iniciada a avaliação do sistema de monitoramento Prometheus;
• Realizada a atualização da aplicação GDrive bem como foram implementadas melhorias no script de monitoramento e de download de vídeos da nuvem do Zoom;

Desenvolvimento e melhorias nas plataformas científicas:

DES Science Server

• Melhorias nas páginas de conteúdo sobre a ferramenta (página About) 

IDAC Science Science Server

• Front-end novo Target Viewer: configuração do ambiente; instalação do React, Node, Nextjs, Material UI; implementação da página Home contendo a lista de catálogos; acesso a um catálogo específico e a página de registro do catálogo; página de detalhes para catálogos, lista de registros da tabela e Aladin linkado ao target selecionado; página de registro de um novo catálogo; formulário dividido em steps, com informações básicas do catálogo e interface para associação de colunas a UCDs; template para páginas About, Contact, Tutorials, componentes de layout Header e Footer; 
• Back-end novo Target Viewer: reinstalação do Django + Django Rest, criação de devcontainer, configuração do Ngnix e criação de banco de dados de teste para o novo Target Viewer; 
• Instalação do ambiente de testes nas novas URLs dedicadas em local isolado do antigo DES Science Server 
• Conclusão do desenvolvimento do pipeline HIPS Image, entrando em fase de validação científica;

JupyterHub

• Atualização da página de início com simplificação da página de login e três opções de recursos para criação de containers, a ser selecionado pelo usuário.  

Photo-z Server

• Correção de bug em botão para deletar produtos; 
• Mudanças na página de login para incluir autenticação com CILogon para usuários internacionais membros do LSST;   
• Implementação de tooltip com descrição dos dados para cada produto adicionado pelos usuários;  
• Conclusão do estudo detalhado e escrita de relatório de performance do hats e lsdb;
• Correção de bug na leitura de arquivos FITS pela biblioteca Python pzserver ;
• Integração do back-end do pipeline Combine Spec-z Sample na página de pipelines do PZ Server; 
• Adição de suporte a novo tipo de produto: “Training Results” para permitir a hospedagem de arquivos .pkl resultantes do treinamento dos algoritmos do pipeline RAIL; 
• Melhorias no front-end – padronização do rodapé;
• Correção de bug da deamon da orchestration. 

Photo-z Compute

• Implementação de automatização da criação de relatórios de qualidade dos resultados (output QA) com gráficos e estatísticas básicas sobre os photo-zs e sobre o desempenho do processo (time profiling) 
• Melhorias no script de setup do ambiente de desenvolvimento 
• Adaptação de todos os scripts que utilizavam Hipscat para adequação ao novo HATS
• Disponibilização de notebooks de QA dos dados de entrada do pipeline photo-z compute em página pública na internet, com acesso aberto para dados públicos (DES) e com solicitação de senha de acesso ao conteúdo para autorização em caso de dados privados (LSST). 

Portal SSO

• Implementação em produção do serviço de subscrição de predições de ocultações;

Comunicação, Divulgação e Educação:

• Histórico dos cursos 2024
• Notícias:
  • Python e Banco de Dados
  • TOPCAT: confira o panorama do último curso do ano
  • Cientista de dados do LIneA participa de workshop organizado pelo INPE
  • Associação LIneA anuncia convênio com a FINEP para fortalecer a ciência brasileira
  • LIneA: Retrospectiva 2024
  • INCT do e-Universo: Resultados, Impactos e Perspectivas Finais
  • Novidade: Portal do Sistema Solar LIneA disponibiliza serviço de subscrição
• Relatório INCT
  • revisão do relatório
  • entrega da versão final
  • divulgação do material
• Análise dos usuários LIneA
• Rubin media training session

Comunicação:

• Revisão de textos para notícias
• Mentoria 

Divulgação Científica:

• Porque as nebulosas brilham?
• Dia nacional da astronomia 
• Você conhece as referências de física e astronomia dessas capas de álbuns?
• Solstício de verão 

Curso: 

• Certificados do curso de Python e Banco de Dados
• Validação do curso TOPCAT
• Aplicação do curso em 12/12

Site:

• Atualização das teses e dissertações
• Conclusão das tarefas de desenvolvimento nas páginas de cursos e LIneA na Mídia
•  Organização da planilha “LIneA na Mídia” para utilização no site

Atividades de Planejamento

• Apoio ao BPG no planejamento de atividades técnicas de apoio à ciência a serem realizadas no período de 2025-2027;
• Apoio a preparação na redação do projeto INCT a ser submetido ao CNPq;  

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Reunião com os técnicos da Laniaq para fechar os últimos detalhes do planejamento de instalação do novo servidor de banco de dados do IDAC Brasil;
• Reunião inicial com o time da Timbira para discutir os primeiras atividades para implementação da solução de banco de dados do IDAC Brasil;
• Continuação das tratativas junto ao registro.br com o envio da documentação existente que comprova a habilitação do LIneA ao serviço de redes (RNP);
• Iniciadas tratativas com a HPE para a contratação do serviço de garantia e suporte, e instalação e configuração dos nós de administração e acesso do cluster apollo;

Gestão de dados

• Download de ~600 imagens simuladas e 4 catálogos do LSST dos servidores do NERSC via servidor DTS utilizando a ferramenta Globus; Organização e disponibilização destes dados no sistema de arquivos Lustre FS;
• Realizada transferência de 1500 arquivos do tipo FITS do catálogo IMaNGA, que foram organizados e disponibilizados no sistema de arquivos Lustre FS para processamento;
• Desenvolvido o primeiro protótipo do pipeline de fluxo de dados para o PZ Compute utilizando Apache-Nifi; 

Apoio ao usuário

• Foram realizados quarenta e dois atendimentos aos usuários via sistema de chamados e agendamento de office hours;
• Apoio ao projeto de processamento de Cubos iMaNGA através do cluster apollo. ticket #14678;
• Implementadas melhorias no procedimento de registro para facilitar o preenchimento do formulário de registro por parte dos novos usuários;

Operação e projetos

• Automatização do procedimento de ajuste de contas de usuários para acesso ao ambiente de HPC utilizando playbooks Ansible; 
• Iniciada a instalação física do novo servidor de banco de dados para o projeto IDAC Brasil no datacenter do LNCC. Também foram realizados diversos testes de hardware pelos técnicos da Laniaq para validar o funcionamento do equipamento;
• Implementadas melhorias na interface de inicialização de servidores da plataforma JupyterHub, que passa a exibir menus com opção de seleção de imagem e de configuração de servidor baseados no perfil do usuário;
• Corrigidos erros na consulta do sistema de monitoramento dos servidores de banco de dados que reportavam inconsistências no serviço;
• Iniciado o planejamento e testes para atualização da solução de armazenamento de alta performance Lustre FS;
• Realizadas melhorias no dashboard  do grafana de utilização do cluster apollos. Também foi implementado o dashboard para o monitoramento do portal pz-server;
• Foi realizada a recuperação do ambiente do site de produção, após a ocorrência de bugs nas subpáginas da plataforma wordpress;

Desenvolvimento e melhorias nas plataformas científicas:

DES Science Server

• Disponibilização de vídeos tutoriais de apoio ao usuário no site do DES Science Server   

IDAC Science Server

• Implementação da primeira versão funcional do novo Sky Viewer em ambiente de testes integrado ao Aladin Sky Atlas;
• Disponibilização das imagens do DES DR2 no novo Sky Viewer;   
• Customizações de front-end (cabeçalho padrão do LIneA) no novo Sky Viewer;   
• Envio de email de estatísticas diárias para administrador;
• Início do desenvolvimento do pipeline HIPS Image;

Portal SSO

• Correções em falhas detectadas na rotina (praia Fortran) no registro de resultados.
• Disponibilização de nova versão de documentação.
• Implementação de algoritmo TOPSIS para classificação de resultados enviados via subscrição.
• Implementação em homologação do serviço de subscrição de predições de ocultações.
• Definição e implementação parcial de testes para definir o impacto do passo temporal em predições como uma função do semi-eixo orbital do objeto.

Photo-z Server

• Escrita de documentação da API;
• Adaptação dos scripts de pre-processamento do x-matching para compatibilizar com a migração de hipscat para hats;
• Disponibilização dos relatórios de QAs em página pública;
• Estudo detalhado e escrita de relatório de performance do hats e lsdb;
• Conclusão da integração entre o front-end e o back-end da página de pipelines; 
• Implementação de autenticação com CILogon e autorização de usuários com direito a acesso a dados proprietários utilizando a API do Rubin Observatory; 

Photo-z Compute

• Atividades de validação científica de resultados do pipeline; 
• Desenvolvimento de scripts Python para a semi-automação de processos;
• Desenvolvimento de notebooks para submissão de processos via OnDemand.     

Comunicação, Divulgação e Educação:

• Notícias:
  • Rubin Observatory anuncia construção completa do seu telescópio
  • Bolsistas INCT do e-Universo se reúnem para encontro online
  • 21ª SNCT: destaque das atividades oferecidas pelo LIneA
  • Resumo das inscrições no curso: Análise de dados
  • Resultado FINEP
• Relatório INCT:
  • Revisão do texto
  • Envio de imagens solicitadas
• Declaração para bolsista (IC do INCT)
• Envio do modelo de relatório para os bolsistas INCT
• Resumo: atuação do LIneA
• Histórico dos cursos 2024 (em desenvolvimento)

Comunicação:

• Resumo executivo relatório INCT
• Orientações para articular com a imprensa

Divulgação Científica:

• Histórias de terror (halloween)
• Qual a diferença entre sonda e satélite?
• O que você sabe sobre constelações?
• 26 anos da estação espacial internacional

Curso: 

• Certificados do curso de análise de dados
• Anúncio do curso: Python e Banco de Dados
• Aplicação da aula (14/11)
• Google Classroom atualizado com o material

Site:

• Reunião com desenvolvedor para acompanhamento das atividades
• Problemas com o site (19 a 22/11)
• Mudanças para o site de desenvolvimento 

Atividades de Planejamento

• Revisão do planejamento estratégico 2024 e plano de trabalho para 2025/1.  
• Preenchimento e submissão do relatório anual referente ao ano fiscal americano de 2024 à colaboração LSST com todo o plano de trabalho do IDAC Brasil para 2025;

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Reuniões com a firma Laniaq Inc. para planejar a instalação e a configuração do novo servidor de banco de dados do IDAC Brasil;
• Contratação da firma Timbira especializada em bancos de dados PostgreSQL com o objetivo de assessorar o time de infraestrutura na implementação da solução de banco de dados do IDAC Brasil;
• Agendamento da visita dos técnicos da FINEP para a vistoria dos equipamentos financiados pelo projeto APLSST;
• Contratação do serviço especializado de suporte e garantia junto à Binário/Juniper para o equipamento roteador Juniper ACX7024
• Continuação das tratativas junto ao registro.br para a aquisição de um sistema autônomo de anúncio de redes (ASN) com o apoio da equipe de suporte à e-Ciência da RNP e do POP-RJ;
• Reuniões com a firma Unitech/Dell para alinhamento sobre a extensão do contrato de garantia e suporte dos servidores que compõem a solução Lustre FS após o fim do período de garantia dos equipamentos;
• Solicitada a adesão do LIneA ao sistema RNP para atender aos requisitos do registro.br para a aquisição do Sistema Autônomo de Números (Autonomous System Number);

Redes e Segurança

• Concluída a primeira etapa de homologação da integração do sistema de autenticação e de autorização do IDAC Brasil aos sistemas do Rubin Observatory em ambiente de homologação;
• Finalizada a atualização da solução de scanner de vulnerabilidades OpenVAS visando manter o ambiente mais seguro e em conformidade com o conjunto de normas SIRTFI, necessárias para atender aos requisitos de uso do integrador de provedores de identidades CILogon;
• Atualizações em diversos servidores e sistemas para corrigir vulnerabilidades identificadas pelo scanner OpenVAS;
• Implementação de um novo web proxy na infraestrutura do POP-RJ e alteração nas regras de segurança do firewall com o objetivo de tornar o acesso às aplicações mais seguro a partir da internet;

Gerenciamento de dados

• Instalação e configuração da instância de homologação do Apache-Nifi utilizando containers docker com acesso ao sistema de arquivos t0 e t1 do Lustre;
• Definidos os requisitos básicos para o desenvolvimento do principal pipeline de fluxo de dados para o projeto Photo-Z utilizando a solução Apache-Nifi;

Apoio ao usuário

• Realizados quarenta atendimentos aos usuários via sistema de chamados;
• Finalizado o desenvolvimento da primeira versão da aplicação para automatizar o envio de vídeos das gravações de reuniões para a plataforma Youtube;
• Realizada reunião de alinhamento para definição do escopo do apoio do time de infraestrutura ao projeto IMANGA. Iniciadas as tratativas para a transferência de dezenas de terabytes de dados através da plataforma Globus e do servidor DTS do LIneA;

Operação e projetos

• Continuação das atividades de planejamento e documentação para a reestruturação do cluster ICEX;
• Iniciada a primeira etapa de reinstalação da nova versão do sistema operacional EL8 e do software HPCM no cluster ICEX;
• Reorganização dos cabos da rede infiniband EDR no rack R7C, no CPD do LNCC, em preparação para a instalação do novo servidor de banco de dados do IDAC Brasil;
• Migradas diversas aplicações de infraestrutura para containers docker;
• Finalizada a migração dos servidores de nomes de domínio (DNS) do LIneA para o EL9, tendo sido melhorados diversos aspectos de segurança incluindo a utilização do SELinux. Além disso, foram configuradas zonas específicas para as redes privadas incluindo a disponibilização de um servidor interno dedicado a elas;
• Recuperação dos volumes de armazenamento da storage IS5600 com a instalação de discos sobressalentes;
• Iniciado o planejamento para atualização do atual sistema de gerenciamento de virtualização Proxmox;

Desenvolvimento e melhorias nas plataformas científicas:

Science Server

• Customização da página de erro de login devido a usuário não autorizado 
• Definição de requisitos para o novo pipeline de automatização e paralelização da criação de imagens HIPS 
• Ativação da ferramenta Google Analytics para monitoramento de tráfego de usuários. 
• Revisão da lista de datasets disponíveis e remoção de conjuntos de dados obsoletos do menu do Sky Viewer 
• Correção de bug na consulta de metadados ao COmanage 
• Início do desenvolvimento do novo Sky Viewer – integração da nova versão do software Aladin com a interface do Science Server (em andamento)        
• Correção de bug no trigger que libera a permissão para leitura das tabelas recém-criadas no MyDB com a ferramenta User Query, para que sejam acessíveis pela plataforma Jupyter Hub através da biblioteca Python dblinea. 
• Atualização do Jupyter notebook de tutorial 2_acesso_a_dados.ipynb com um exemplo de acesso a tabelas do MyDB criadas pelo usuário no User Query. 
• Publicação dos dados do levantamento 2MASS no TAP Service do LIneA  

Portal SSO

• Continuação no desenvolvimento do serviço de subscrição criando novas funções no backend e corrigindo bug no frontend;
• Atualização da documentação do usuário para o uso do Portal Web;
• Atualização do frontend na página inicial para refletir todas as implementações do último release;
• Continuidade na produção do artigo científico envolvendo o portal;
• Inclusão e execução da classe Near-Earth Asteroids – NEAs (ou Near-Earth Objects em outras nomenclaturas);
• Inclusão de caching e atualização do frontend para melhorar a experiência do usuário em função do considerável aumento de predições devido aos NEAs.

Photo-z Server

• Melhorias nos arquivos de log da Orchestration com a adição de informações provenientes do Celery Beat 
• Upload do catálogo de redshifts espectroscópicos de galáxias provenientes do survey DESI (EDR) no PZ Server. 
• Confeção de QA notebook de caracterização da amostra DESI EDR.  
• Correção de bugs na checagem da finalização de processos dos pipelines do PZ Server.  
• Implementação da página de submissão do pipeline Training Set Maker   

Photo-z Compute

• Confecção de 5 Jupyter notebooks para investigação de possíveis objetos duplicados no catálogo simulado do LSST, usando ferramentas de HPC para inspeção do conjunto completo de dados armazenados no Lustre.  
• Escrita de manual para o usuário sobre os sctipts individuais (de treinamento e estimativa do pz-compute e de scripts auxiliares de pré e pós-processamento). 
• Manual de como adicionar um novo algoritmo de photo-z no pipeline pz-compute. 
• Testes de escalabilidade com o algoritmo LePhare.    

Comunicação, Divulgação e Educação:

• Notícias:
  • Afiliados ganham posições de destaque no DESC
  • LIneA Science Server operado pelo LIneA
  • Jovem pesquisador do BPG é selecionado para participar presencialmente do DESC Sprint week
  • Membros do BPG participam da XLVII reunião da SAB
  • LIneA na Mídia: mais de 70 notícias abordam o maior projeto da astronomia para a próxima década
  • Highlights do curso de Jupyter Notebook 
  • Aviso de manutenção
• Evento bolsistas INCT:
  • organização do evento (dia, hora, slides)
  • contato com bolsistas
  • aplicação do evento dia 14 e 15 de outubro
• Relatório INCT:
  • ajuste das últimas pendências
  • envio para diagramação
  • criação de repositório para imagens
  • finalização da parte escrita do relatório
• Semana Nacional de Ciência e Tecnologia
  • Criação da arte
  • Divulgação das atividades
  • Atividades
    • Breve manual da divulgação científica para astronomia (14/10)
    • O fim do mundo (15/10)
    • Mesa redonda: a diversidade da astronomia (16/10)
    • [curso] Análise de dados: incidência de dengue no Brasil (17/10)
    • Os astrônomos respondem (18/10)

Comunicação:

• Revisão de textos/notícias diversas
• Revisão do relatório INCT

Divulgação Científica:

• Chegada da Primavera
• Nossas redes sociais
• Prêmio Nobel
• Brasileiro dá entrevista para a NASA
• Dia dos professores
• NASA lança maior sonda planetária

Curso: 

•  Aplicação do curso Jupyter Notebook
•  Validação do curso Análise de Dados: incidência de dengue no Brasil
• Aplicação do curso Análise de Dados: incidência de dengue no Brasil
• Desenvolvimento do curso Python + Banco de dados
• Material adicionado ao Classroom: Jupyter e Análise)
• Certificados Jupyter Notebook

Site:

• Reunião de alinhamento com o desenvolvedor web
• Entrega parcial das pendências do site
• (re)introdução das publicações retiradas do site 

Atividades Gerais e de Planejamento

• Preparação de relatório final do INCT;
• Preparação de Plano de Trabalho para o ano Fiscal 2025 a ser submetido ao Rubin Observatory;
• Planejamento operacional para primeiro semestre de 2025;
• Entrevistas à imprensa; 

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Contratação da firma A3 Tech para a manutenção no piso elevado e organização dos cabos de rede nos switches;
• Iniciadas as discussões com a equipe do GidLab/RNP acerca do uso dos protocolos de autenticação e autorização OIDC e OAuth2 necessários para a integração do IDAC Brasil ao LSST;
• Em andamento o inventário e o planilhamento das fontes de energia dos equipamentos, incluindo o uso dos circuitos elétricos e o consumo energético dos equipamentos no datacenter;
• Contratação de um engenheiro de dados via bolsa CNPq para apoio no uso da solução Apache-Nifi e no desenvolvimento de pipelines de fluxos de dados;
• Recebimento no LNCC de parte dos novos equipamentos adquiridos pelo INCT do e-Universo para o IDAC Brasil: roteador ACX7024 (Juniper), servidor de banco de dados (Laniaq Inc.) e dois servidores de serviço do cluster Apollo (HPE Proliant DL360);
• Iniciadas as tratativas junto ao registro.br para a aquisição de um sistema autônomo de anúncio de redes (ASN) com o apoio da equipe do POP-RJ;

Gerenciamento de dados

• Provisionada infraestrutura virtualizada para a instalação do Apache Nifi e o desenvolvimento e testes dos fluxos de dados;

Apoio ao usuário

• Realizados mais de trinta atendimentos aos usuários via sistema de chamados, incluindo office hours de suporte;
• Validado o processo de criação de kernels python no Jupyter Notebook via Open OnDemand, visando a melhor experiência do usuário com a plataforma. Também foi desenvolvida e liberada a documentação de uso no site docs.linea.org.br;  

Operação

• Atualizações do firmware das controladoras e dos discos das storages ME4024 e ME4084 que compõem o Lustre FS, com o objetivo de corrigir falhas e problemas de segurança;
• Início das atividades de planejamento e documentação para a reestruturação do cluster ICEX. Também foi realizada a verificação das conexões físicas das redes ethernet e infiniband;
• Validação das configurações de cópia de segurança e de restauração de dados visando garantir a recuperação do ambiente de registro de usuários e do website;
• Provisionamento de ambiente para a instalação e testes da plataforma Dataverse;
• Reinstalação e configuração do ambiente do Jupyter Hub para corrigir erros no provisionamento dos servidores Jupyter Notebook;
• Realizado o InfraDay #15 com a migração dos servidores sistemas de DNS para o novo Rocky Linux 9.4;

Redes e segurança da informação

• Finalizada a reinstalação e configuração do servidor DTS, incluindo a habilitação do sistema de transferência de dados Globus integrado à autenticação federada do LIneA via CILogon;
• Implementados os endpoints de homologação e produção no SATOSA para a integração dos sistemas de autenticação e autorização do IDAC Brasil ao sistema do Observatório Rubin (LSST). Também foi solicitado o registro desses endpoints à equipe do LSST;
• Iniciada a avaliação para o desenvolvimento de uma solução para lidar com a autorização dos direitos de acesso a dados do LSST;
• Troca das placas do piso elevado que fica embaixo dos racks do LIneA, pois estavam cedendo, o que impedia a colocação de novos equipamentos nos racks;
• Aplicação de patches de segurança em vários servidores para corrigir problemas de segurança identificados pela ferramenta de detecção de vulnerabilidades;

Desenvolvimento e melhorias nas plataformas científicas:

DES Science Server + User Query:

• Deploy do Science Server e User Query no ambiente de produção.
• Padronização do rodapé igual ao site institucional em todas as plataformas, com links para redes sociais e agências de fomento.  
• Atualização dos metadados para autenticação (Uniform Resource Identifiers) 
• Atualização da página de contato com email para helpdesk; 
• Setup inicial do repositório do novo Sky Viewer que será feito baseado na nova versão do Aladin com instalação e configuração do Django e Django Rest, React, Nginx e update do Node. 
• Registro de catálogos para overlay no Sky Viewer (antigo) 
• Atualização das páginas de resumo sobre os surveys DES, Gaia e 2MASS no User Query e dos metadados sobre as tabelas (colunas, UCDs, etc) 
• Habilitação do serviço TAP (table access protocol) para acesso remoto aos dados hospedados no LIneA via API 
• Documentação para o usuário com exemplos de uso no User Query e TAP service
• Atualização da página inicial do User Query (padronização banners plataformas LIneA)   

Photo-z Server

• Atualização dos metadados para autenticação (Uniform Resource Identifiers) 
• Atualização de pacotes e dependências 
• Finalização do deploy da aplicação no ambiente de testes no novo servidor srvorch-dev – integração do PZ Server com a Orchestration 
• Atualização da página de documentação 
• Correção de bug na função de atualizar os metadados de um data product 
• Início da preparação para a implementação de login federado via CILogon com SAML2 e autorização via Rubin Authorization API for IDACs (em andamento) 
• Integração do pipeline Training Set Maker com a biblioteca Python pzserver para disparo de processos via Python scripts 
• Adaptação dos catálogos fotométricos de entrada do PZ Compute (skinny tables) para alimentar também os pipelines de x-matching 
• Container que consome rabbitMQ para registrar o produto dos pipelines como novos data products no PZ Server
• Nova classe que faz requisições na orchestration para lidar com tokens expirados 
• Correção de bug no suporte a tabelas no formato CSV no pipeline Training Set Maker 
• Correção de bug  – falha no carregamento do arquivo HTML auxiliar de descrição de um data product no PZ Server 

Photo-z Compute

• Finalização da implementação do suporte ao algoritmo LePhare (rail-lepahre) 
• Script para automação da conversão de tabelas em formato HIPSCat em paralelo no cluster usando DASK 
• Expansão da flexibilização do pipeline pz-compute com a possibilidade de entrada de parâmetros de configuração via arquivo YAML para todos os cinco algoritmos.  
• Script para seleção randômica de objetos e criação de conjunto de treinamento representativo nos dados de simulação em paralelo no cluster usando DASK 
• Scripts de checagem de resultados 
• Finalização do script de preparação de dados de entrada com correção da extinção da Galáxia. 
• Início do testes de validação usando a plataforma Open OnDemand 
• Finalização do pipeline pz-compute em produção e respectivas documentações para o desenvolvedor e para o operador.   
  

Comunicação, Divulgação e Educação:

• Notícias:
  • InfraDay #15
  • Cientista de dados do LIneA participa de entrevista em programa da Record
  • Aviso de manutenção na infraestrutura
• Relatório INCT:
  • Revisão do texto
  • Inclusão de informações
  • Inclusão de novos tópicos
  • Atualização da planilha financeira
• Evento: Explorando o Portal do Solar System LIneA
• Organização de informações sobre o BPG (
  • PIs, instituições e e-mails;
  • mapa com alcance nacional
  • logo das instituições
• Vídeo INCT
  • Pedido de modificações
  • Entrega do vídeo
• Criação de novas redes sociais (Blue Sky e Threads)
• Organização para SNCT 2024
• Colaboração com ajustes para o documento BPG-LSST enviado ao Ministério
• Envio de e-mail aos bolsistas: prorrogação do INCT do e-Universo

Comunicação:

• Curadoria das informações que saíram na mídia (agosto)
• Revisão das notícias
• Revisão do relatório do INCT

Curso: 

• Validação do curso de Jupyter Notebook
• Lançamento do curso de Jupyter
• Envio das instruções para os interessados no curso de Jupyter
• Envio dos certificados referente ao curso “Desenvolvendo Software Científico”

Divulgação Científica:

• 25 anos do Observatório Chandra
• Noite internacional de observação da Lua
• É um pássaro ou avião? Não, é o cometa do ano!
• Início da primavera

Site:

• Contratação de um desenvolvedor web (18/09) para implementação de melhorias e ajustes.
• Inclusão de documentos na página “Documentação”
• Criação da página “LIneA News”
  • Inclusão de notícias 2024
  • Inclusão de notícias dos anos anteriores
• Atualização das publicações de 2024
• Revisão e atualização das publicações entre 2017 a 2008

Atividades Gerais e de Planejamento

• Entrevista com vários veículos de comunicação para divulgar a assinatura do acordo entre o LIneA e o laboratório SLAC da Universidade de Stanford.
• Validação do vídeo sobre o INCT do e-Universo que completa a divulgação do trabalho sendo feito pelo INCT e LIneA e apresentando o IDAC do LSST.
• Preparação do relatório final do INCT do e-Universo descrevendo seu apoio ao LIneA.
• Visita ao datacenter (LNCC) no dia 21/08/2024 para verificação de algumas atividades, incluindo:

• Confirmação da capacidade de suporte de peso do piso no datacenter;
• Verificação da capacidade de energia das PDUs em outro rack;
• Validação das conexões do firewall.

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Foram realizadas entrevistas para contratação temporária de um engenheiro de dados para assessorar o time na implementação da nova arquitetura de dados e no desenvolvimento de fluxos de dados com Apache-Nifi;
• Foram realizadas reuniões com o time de suporte à e-ciência da RNP para discutir melhorias na infraestrutura de rede local;
• Foram realizadas reuniões de alinhamento com a firma Laniaq Inc. e visita ao datacenter, para tratar do plano de instalação do novo servidor de banco de dados;
• Foi realizada reunião com as equipes do LNCC e do POPRJ para tratar da reestruturação da rede externa e da troca de blocos IPv4 entre o LIneA e o LNCC;
• Foi realizada reunião de alinhamento com o time de infraestrutura da UNESP sobre a solução Rucio para a transferência de dados entre o IDAC brasileiro e o LSST;
• Foi iniciado o inventário e o planilhamento das fontes de energia dos equipamentos, incluindo o uso dos circuitos elétricos e o consumo energético dos equipamentos no datacenter;

Gerenciamento de dados

• Foi finalizada a reestruturação dos diretórios para os dados do DES com o objetivo de preparar o ambiente para uso das plataformas Science Server e User Query;
• Levantamento de informações e contato com stakeholders no LSST para viabilizar o download de conjuntos de dados;
• Download da tabela MatchesTruth a partir do repositório do LSST no Google Cloud;
• Movimentação de dados do LSST no Lustre e organização dos datasets do LSST;  
• Foi implementado acesso ao banco de dados de catálogos para a plataforma User Query para os dados DES, incluindo o desenvolvimento e a implementação de códigos para a automatização das permissões de uso no PostgreSQL;

Apoio ao usuário

• Foi implementado no ambiente de produção o novo design da página de login, a qual inclui os botões de acesso para autenticação via CAFe, CILogon e Google;
• Está em desenvolvimento e em testes uma ferramenta que automatiza o upload de vídeos para o canal do do LIneA no Youtube.
• Realizados ajustes nas configurações de parâmetros do escalonador de jobs Slurm, visando a melhor performance dos jobs no cluster Apollo. 
• Foram implementadas melhorias no formulário de triagem para registro de novos usuários incluindo versões em inglês em português;

Operação

• Realizada a atualização e o re-provisionamento das imagens dos nós de computação do cluster Apollo;
• Foi realizada a reconfiguração de quotas de usuários nos sistemas de arquivos de armazenamento temporário (T0) e nos diretórios pessoais; 
• Foram incluídos novos sistemas no servidor de cópias de segurança incluindo testes de restauração para validar as cópias;
• Foram iniciados testes para a completa atualização dos sistemas de servidores de nomes de domínio (DNS) do LIneA para o Rocky Linux 9;

Redes e segurança da informação

• Foi finalizada a organização do inventário de blocos de endereços de redes utilizados pelo LIneA no LNCC e no POPRJ;
• Foi iniciada a instalação e configuração da versão mais atual da solução de scanner de vulnerabilidades OpenVAS para manter o ambiente em conformidade com o conjunto de normas SIRTFI;
• Foram iniciados testes com a nova solução de firewall OPNSense incluindo mudanças na configuração lógica das redes virtuais;
• Foi iniciada a atualização do sistema da antiga DTS com o objetivo de habilitar o ambiente para testes com a solução de transferência de dados Rucio, adotada oficialmente pelo LSST;

Desenvolvimento e melhorias nas plataformas científicas:

DES Science Server + User Query:

• Correção de bug no botão de download de imagens FITS a partir do Science Server. 
• Padronizações na aparência das páginas do Science Server e User Query – adequação à identidade visual do novo site com links para as redes sociais.     
• Implementação de página de erro de autenticação ou autorização em conformidade com a identidade visual para informar o usuário em caso de falha no login.
• Remoção de funcionalidades obsoletas no Target Viewer (rating/reject, menu de permissão). 
• Implementação da visualização do mapa de sistemáticos “fração de detecção” nas 5 bandas. 
• Validação científica das imagens DES DR2. 
• Atualização da aplicação para adequação ao novo serviço de autenticação CILogon com mudanças no provedor de metadados. 
• Escrita de documentação de apoio ao usuário com exemplos de uso do User Query. 
• Revisão e melhorias nos textos sobre os levantamentos DES, Gaia e 2MASS.
• Reinstalação total do ambiente de testes, início da preparação para instalação do ambiente de produção.
• Investigação de possíveis soluções para reduzir o tempo de carregamento das imagens HIPS no Sky Viewer.  
• Atualização do jupyter notebook de tutorial com exemplos de acesso aos dados gerados no User Query através do JupyterHub.

Photo-z Server

• Deploy do serviço de orquestração de processos submetidos pelas aplicações no cluster no novo servidor srvorch-dev – integração do serviço com a aplicação PZ Server (em andamento).
• Desenvolvimento de método para criação de training sets simulados a partir da seleção de amostra no sistema de arquivos Lustre. 
• Implementação da primeira versão do pipeline Combine Spec-z Catalog. 
• Testes de cross-matching com LSDB usando dados do LSST DP0.2 

Photo-z Compute

• Implementação de parâmetros de configuração específicos dos algoritmos FlexZBoost e GPz. 
• Adaptação do “prepare-pz-tests” para o novo scheduler Slurm, para preparar processos executados em produção com controle de proveniência
• Notebooks de controle de qualidade dos dados de saída e de estatísticas resumidas – em andamento. 
• Notebooks de controle de qualidade dos dados de entrada com exibição de propriedades dependentes da região no céu (mapas) – em andamento. 
• Suporte para leitura de arquivos de entrada no formato hipscat adicionado
• Atualização da documentação para o desenvolvedor com instruções para as duas configurações diferentes: modo de desenvolvimento e modo de produção.

Solar System:

• Serviço de subscrição:
  • Implementação do registro e autenticação de usuários sem uso de senha (passwordless).
  • Conclusão da implementação e revisão de banners, telas, e templates de email.
• Implementação de incertezas nas predições enviadas para homologação:
  • Cálculo de incertezas nas predições, tanto temporal quanto espacial, foi implementado.
  • Correção de falhas nas predições para Plutão e asteroides com caracteres especiais no nome.
  • Implementação de novas métricas, como a fração iluminada da Lua durante os eventos.
• Links persistentes
  • Em fase de testes, foi implementada uma solução para identificadores que resistem a pequenas atualizações nas predições, garantindo a permanência dos identificadores no banco de dados.
• Curso sobre o portal
  • Desenvolvimento continuado de uma biblioteca Python a ser utilizada no curso.
  • Estrutura e slides do curso foram elaborados e revisados.
• NIMA: calculador de efemérides
  • Testes realizados com o NIMA para assegurar sua futura implementação na refatoração do serviço.
• 
  

Comunicação, Divulgação e Educação:

• Notícias:
  • Panorama dos inscritos e participantes no curso “Fundamentos de Banco de Dados”;
  • Notificação de interrupção nas plataformas científicas (problemas no LNCC);
  • Panorama dos inscritos e participantes no curso “Desenvolvendo Software Científico”;
  • InfraDay #14;
  • Observatório Vera Rubin: Instalação do espelho secundário é concluída;
  • Rubin Community Workshop 2024: estudantes membros do LIneA apresentam trabalhos.
• Relatório INCT:
  • Colaboração com informações para o texto
  • Imagens diversas
  • Revisão de planilhas
• Vídeo INCT:
  • Recebimento do vídeo em 21/08
  • Revisão e solicitação de mudanças em 21/08
• SNCT 2024:
  • Envio de e-mail informando sobre a SNCT e convidando colaboradores a propor atividades.

Comunicação:

• Envio da matéria sobre a participação brasileira no projeto LSST à FAPERJ.
• Organização dos textos para notificação dos usuários sobre a mudança na forma de registro no LIneA (CAFe > CILogon).

Curso: 

• Desenvolvendo Software Científico:
  • Validação do curso (29/07)
  • Inscrições para o curso de 30/07 a 9/08
  • Aplicação do curso em 15/08
  • Material adicionado ao Google Classroom
• Fundamentos de Banco de Dados
  • Lembrete aos participantes do formulário
  • Produção dos certificados
  • Envio dos certificados
  • Material adicionado ao Google Classroom
• Planejamento para o curso de Jupyter Notebook

Divulgação Científica:

• O observatório Rubin vai caçar anãs brancas
• Que tipo de torcedor é você nas Olimpíadas?
• Instalação do espelho secundário do Rubin Observatory
• Especial dias dos pais
• Você sabe como achar exoplanetas?
• Superlua (agosto)
• Há 18 anos Plutão deixava de ser um planeta

Site:

• Entrevista com desenvolvedores
• Proposta de projeto para pendências existentes do novo site
• Ajuste em links quebrados (página de documentos)
• Glossário:
  • Finalização da revisão pela bolsista
  • Organização da planilha
  • Auxílio nos termos com dúvida (em andamento)

Atividades Gerais e de Planejamento

• Preenchimento da planilha para solicitar prorrogação do INCT do e-Universo junto ao CNPq;
• Foram realizadas várias atividades relacionadas aos processos de importação de equipamentos atualmente em curso no setor de importações do CNPq;

Atividades de operação e gerenciamento de infraestrutura computacional.

Gerenciamento de dados

• Foi feito o teste final e bem sucedido da prova de conceito (POC) com o Apache NiFi, realizando o download, transferência e ingestão dos dados do catálogo 2mass.  
• Checagem, organização e disponibilização das imagens do DES DR2 no formato HiPS e PTIF no Lustre para leitura pelo novo DES Science Server hospedado no LIneA.  
• Iniciado o desenvolvimento de uma solução para identificação e remoção de dados dos diretórios de scratch dos usuários (garbage collector);

Apoio ao usuário

• Foi iniciada a homologação da plataforma interativa Jupyter Notebook no Open OnDemand visando identificar possíveis problemas e também documentar a melhor forma de uso para os usuários do cluster Apollo;
• Foi desenvolvido e implementado no ambiente de homologação o novo design da página de login, a qual inclui os botões de acesso para autenticação via CAFe, CILogon e Google.

Operação

• Foi finalizada a migração do ambiente do antigo DES Portal para uma infraestrutura virtualizada e removidas todas as dependências dos servidores do cluster ICEx;
• Foram corrigidos diversos erros nos trabalhos de backup agendados para o servidor de documentos e a storage principal;
• Iniciada a reavaliação e melhoria do processo de configuração de quotas de usuários nos sistemas de arquivos da storage NAS e do Lustre FS;
• Foi iniciada a implementação da nova infraestrutura para execução das plataformas web em produção, a qual inclui o uso de soluções de alta disponibilidade (HA) e de balanceamento de carga (LB).
• Implementado novos servidores para as aplicações Pz-Server e Orchestration

Redes e Segurança da informação

• Realizada a atualização dos responsáveis técnico e de segurança do Provedor de Identidades do LIneA na Comunidade Acadêmica Federada (CAFe).
• Finalizado o planejamento e o desenho da rede local para a implementação da nova solução de firewall que considera o uso de VLANs para segmentar as redes de administração de dispositivos, gerenciamento e de acesso aos sistemas.

Desenvolvimento e melhorias nas plataformas científicas:

Science Server

• Implementação de registro automático de tabelas criadas pelos usuários no banco de dados através do Userquery para serem exibidas na ferramenta Target Viewer. 
• Criação de endpoint e disponibilização de URL para monitoramento do status do serviço para equipes do LIneA e NCSA. 
• Implementação de classe genérica para consulta dos dados do usuário do COmanage e LDAP para ser usada pelos diversos microsserviços.
• Disponibilização de imagens do DES DR2 nos formatos FITS, HIPS e PTIFs no ambiente HPC do LIneA para alimentar localmente as ferramentas de visualização. 
• Adição de link para página de documentação para o usuário. 
• Configuração de grupos de usuários a fim de permitir o controle de permissões por tabelas e schemas. 
• Front-end do serviço User Query – layout, informações sobre datasets (DES DR2 e Gaia DR3) e levantamentos, adequação à identidade visual 
• Documentação para instalação do ambiente de desenvolvimento.
• Definição do processo de dump e restauração dos metadados de schemas do Daiquiri para sincronizar instâncias local/staging/production. 
• Implementação de um novo sistema para correção de metadados importados, que causaram parada no funcionamento da interface query após atualização do Daiquiri, SAML2 ou CMS. 
• Atualização do Django e instalação do Django Saml2. 
• Remoção da autenticação com Shibboleth 
• Implementação da nova página de login com Saml2 a partir do registro Comanage com botões para logar via CAFe ou CILogon.

Portal SSO (Solar System Objects)

• Desenvolvimento e implementação da execução automática de predições;
• Desenvolvimento continuado do serviço de subscrição do portal;
• Testes de completeza e precisão na cálculo de incertezas a partir de órbitas do JPL concluídos com sucesso;
• Desenvolvimento de estratégias para testar refinamento de órbitas in loco com NIMA;
• Início de implementação de mapas de predição baseados em javascript;
• Desenvolvimento continuado da biblioteca lineaSSP para uso do portal;

Photo-z Server

• Conclusão do documento de design e requisitos do pipeline Training Set Maker.
• Front-end da tela de interação com o usuário para disparo de execução do pipeline Training Set Maker. 
• Melhorias na página de documentação da API. 
• Reorganização do material didático para apoio ao usuário – separação do conteúdo em jupyter notebooks direcionados por assunto. 
• Melhorias na tela de upload – botão de retorno 
• Implementação de autenticação interna usando Django PySAML 2 
• Criação de modelos de dados para pipelines e processos.  
• Correção de bug – falha ao abrir tabela de arquivo FITS 
• Upgrade de versões no ambiente de testes

Photo-z Compute

• Implementação de correção do efeito da extinção galáctica e adição de colunas de identificação nos dados de entrada.
• Implementação do suporte ao algoritmo GPz.
• Configuração de scripts para execução em modo de produção e desenvolvimento e escrita de documentação para o operação em ambos os modos. 
• Script para criação de conjuntos de treinamento aleatoriamente selecionado a partir dos dados de simulação hospedados no lustre em paralelo usando o cluster.     
• Implementação de parâmetros de configuração específicos dos algoritmos BPZ e TPZ. 
• Testes end-to-end com o algoritmo TPZ.
• Solução do problema do estouro de memória com arquivos de treinamento grandes no TPZ.  
• Início da escrita de jupyter notebooks de tutorial para usuários. 

Comunicação, Divulgação e Educação:

• Notícias:
  • Ocultação estelar (pt. 2)
  • LIneA participa do primeiro evento LSST na América Latina
  • Aviso: Processo de migração para o novo site institucional
  • LIneA concede entrevista para Fiocruz sobre o projeto LSST
  • Portal do Sistema Solar LIneA adota operação autônoma para predições otimizadas
  • Curso sobre “Versionamento de Código” é aplicado com sucesso
  • LIneA é convidado para o grupo de trabalho do Telescópio Nancy Roman
  • Lançamento do novo site institucional
  • InfraDay #13
  • Cientistas brasileiros participam do encontro Dark Energy Science Collaboration do LSST
  • LIneA na mídia: mais de 30 matérias abordam o trabalho realizado pelo laboratório
  • Fundamentos de Banco de Dados: confira o panorama das inscrições e aplicação do curso
• Relatório INCT:
  • plots da planilha financeira
  • entrevistas pontuais com membros do INCT
• Vídeo INCT
  • revisão do storyboard
  • reunião com equipe Flávia da Matta
  • revisão e aprovação do storyboard para confecção

Comunicação:

• Evento: Comunicação estratégica ao nosso alcance
  • período de inscrições (27/06 a 1/07)
  • aplicação em 4/07
  • certificados para os participantes
• Contato assessoria de imprensa FAPERJ:
  • colaboração na divulgação de notícias envolvendo o INCT do e-Universo
  • desenvolvimento de texto para a FAPERJ 
• Revisão de textos para as notícias

Minicurso: 

• Curso Versionamento de código:
  • material adicionado ao Classroom
  • certificados para os participantes
• Curso “Fundamentos de banco de dados”
  • validação por parte da equipe
  • período de inscrições (2 a 15)
  • aplicação do curso (17/07)
• Organização para o próximo curso: Desenvolvimento de Software científico 

Divulgação Científica:

• Resultados dos primeiros 5 anos do projeto Dark Energy Spectroscopic Instrument (DESI)
• Dia do Asteroide
• Hoje a Terra está em seu ponto mais distante do Sol: o afélio!
• Como é o bojo da via láctea? 
• Como se parece um telescópio profissional hoje em dia?

Site:

• Webinars:
  • 2023 e 2022
  • ajuste na forma de apresentação dos webinares (sem imagem de capa, apenas o link para youtube direto)
• Migração para o novo site institucional 
• Migração dos sites antigos (azul e cinza) para outra URL
• Resolução dos issues abertos
  • total de posts para a página divulgação
  • planilhas dinâmicas LIneA e INCT
• Revisão do Glossário 
• Desenvolvimento do doc/manual de atualização do site

Atividades Gerais e de Planejamento

• Assinatura de acordo com  o Stanford LInear Accelerator Laboratory (SLAC).
• Participação de 4 membros do LIneA na reunião LSST Latin America realizada em La Serena, Chile.
• Contratação de bolsistas para atuação em gerência de projetos de software e implementação de metodologia Agile.
• Submissão de Letter of Intent para o LSST Discovery Alliance.
• Entrevista com firma de assessoria de imprensa.

Atividades de operação e gerenciamento de infraestrutura computacional.

Gerenciamento

• Foram realizadas reuniões de alinhamento com os técnicos da firma Laniaq em preparação para a instalação do novo servidor de bancos de dados do IDAC Brasil;
• Foi realizada na reunião LSST Latin America 2024 em La Serena, Chile, a apresentação sobre o trabalho que está sendo feito para implantar a infraestrutura computacional do IDAC Brasil;

Apoio ao usuário

• Foram implementadas melhorias no conteúdo da documentação incluindo a gravação e disponibilização de vídeos tutoriais com orientações de uso da nova plataforma Open OnDemand, incluindo o novo processo de registro de contas e o uso do cluster de processamento;
• Foi realizada a migração do website de documentação – docs.linea.org.br – para a plataforma Github Pages com a url personalizada;
• Foi desenhado um novo processo de registro simplificado que agiliza a identificação do perfil do usuário de forma automática;
• Realizadas melhorias na documentação dos catálogos de dados DES DR2 e GAIA, e 2MASS, incluindo a validação dos dados, e disponibilizados em repositório próprio;
• Instalação e configuração do novo website do LIneA;

Operação

• Finalizada a primeira fase da migração do ambiente do DES portal para uma infraestrutura mais simples com o objetivo de liberar a infraestrutura atual para novos projetos;
• Realizadas diversas atualizações de segurança nos servidores Skybot, Web Proxy e Login;
• Foram instalados e configurados quatro servidores (workers) ao Kubernetes para atender aos requisitos de processamento na plataforma Jupyter Notebook;
• Realizada a reconfiguração das rotas das redes privadas de modo a liberar o servidor gateway da infraestrutura do cluster ICEX;
• Realizadas diversas melhorias no sistema de registro incluindo a criação de grupos adicionais integrados ao servidor LDAP;
• Finalizada a integração do sistema de autenticação com a plataforma CILogon e implementadas melhorias na configuração do proxy SATOSA;
• Instalado e configurado novo servidor de backup bacula v13;

Monitoramento

• Implementadas melhorias na configuração do monitoramento das interfaces de gerenciamento (iDRAC) dos servidores Dell via protocolo SNMP
• Realizada a configuração para monitoramento do tráfego de dados, incluindo gatilhos e notificações, nas interfaces de rede dos servidores voltados para a internet;
• Melhorias nos dashboards de apresentação de perfis de usuários e de monitoramento de bancos de dados;

Gerenciamento de dados

• Instalados e configurados novos servidores de bancos de dados administrativos incluindo a configuração da replicação entre eles;
• Migradas as bases de dados de dados das aplicações legadas e históricas para o novo servidor de bancos administrativos;

Desenvolvimento e melhorias nas plataformas científicas:

Science Server

• Conclusão da implementação inicial do User Query baseado no daiquiri com:
  • página inicial com identidade visual do LIneA
  • páginas de documentação de datasets disponíveis
  • página de queries funcionando com MyDB    
• Conclusão da migração dos serviços de visualização do NCSA para o LIneA com a simplificação das páginas desabilitando funcionalidades obsoletas.   
• Integração com protocolo SAML2 autenticação com rede CAFÉ e CILogon.
• Utilização do Comanage para obtenção de informações necessárias para autorização do acesso a dados de colaboração      
• Melhorias no front-end:
  • correção do link para o site do LIneA no rodapé
  • correção no logo do INCT
  • melhorias na página de contato
  • adição do nome da instância no título da landing page 
• Correção de bug no upload de arquivos CSV no Target Viewer   
• Correção de bug no overlay do DES DR2 objects catalog no Sky Viewer  
• Adição de dados de teste ao ambiente de desenvolvimento (tutorial list) 
• Registro dos mapas do release Y6A2  
• Validação da documentação de setup do ambiente local de desenvolvimento 

Portal SSO (Solar System Objects)

• Melhorias na página de exibição de detalhes de ocultação, incluindo:
  • Otimização na exibição de coordenadas estelares e do objeto
  • Exibição de unidades de medida
• Início do desenvolvimento de soluções para determinar a incerteza projetada no céu da predição de ocultação e do instante central da ocultação:
  • Integração de profissional ao time para executar o arcabouço teórico
  • Estudo sobre a determinação a partir de matrizes de covariância das soluções orbitais disponibilizadas pelo laboratório JPL/Nasa
  • Estudo sobre a determinação a partir de refinamento orbital próprio com o software NIMA
• Continuação do desenvolvimento do serviço de subscrição
• Desenvolvimento parcial de biblioteca Python para simplificar e tornar o acesso à API do Portal SSO mais eficiente
• Desenvolvimento e implementação de banner de alerta para indicar que o acesso está sendo feito em ambiente de homologação
• Correção de bug detectado em tarefas de backend recorrentes que utilizam Celery
• Criação parcial de curso para uso do Portal SSO 

Photo-z Server

• Integração com Orchestration:
  • Criação de classe genérica para gerenciamento do Upload 
  • Elaboração de mecanismo de integração do Orchestration no Pz Server (desenvolvimento e produção)
• Implementação de mecanismo para Upload diretamente pelo Pz Server library.
• Correção de erro ao exibir conteúdo de um Upload.
• Correção de erro no build automático da página de documentação da API
• Melhorias na página de produtos (simplificação do table preview para acelerar o carregamento da página) e de pipelines (botão de voltar).  
• Novo card para futuro pipeline pz-compute 
• Passagem de conhecimento sobre deploy de ambiente homolog  
• Update do Django e instalação do pre-commit 

Photo-z Compute

• Investigação sobre complexidade de implementação de algoritmos (comparação entre LePhare, Delight e GPz) 
• Implementação de scripts simplificados de execução já incluindo configurações de ambiente 
• Início da implementação de parâmetros de configuração específicos de cada algoritmo, começando pelo FlexZBoost.  
• Adaptação do script de preparação de processos (captura de metadados para controle de proveniência) para funcionar com Slurm, em substituição ao antigo escalonador HTCondor. 

Comunicação, Divulgação e Educação:

• Notícias:
  • Curso de fundamentos de prog. em Python reúne 70 pessoas. 
  • Participação na Semana de Informação Profissional do Colégio Andrews;
  • Tese Manuela;
  • Análise de risco pelo CAIS/RNP
  • Ocultação estelar é detectada através do portal (pt. 1)
• Relatório INCT:
  • Material para a Angela
  • Acompanhamento de reuniões
  • Reunião para tirar dúvidas dos projetos científicos
• Vídeo INCT:
  • Revisão do storyboard
  • Reunião de acompanhamento
  • Revisão da narração
• Bolsistas CDE: envio do relatório parcial das atividades realizadas entre março e maio
• Webinar: Astrofotografia (6/06)
• Organização da planilha financeira;
• Solicitação de modelo para carta do BPG enviada ao Ministério;

Comunicação:

• LIneA na mídia:
  • Mais de 30 sites noticiaram a participação brasileira no LSST com base no texto elaborado pela área de comunicação e enviado às Instituições dos pesquisadores participantes.
  • Mapeamento das notícias
• Apresentação sobre comunicação por Luciana B. Gomes para o time LIneA.
• Inscrições para o minicurso de comunicação em 24/06 até 1/07.
• Contato com a Folha de São Paulo (novidades sobre o LSST: camêra, LSST LATAM).
• Participação no programa Boletim de Ciência da Fiocruz.

Minicurso: 

• Montagem do cronograma para todos os cursos até novembro;
• Envio dos certificados para os participantes do curso “Fundamento de prog. em Python”;
• Curso: Versionamento de código: git, github e gitflow
  • validação em 27/05
  • inscrições em 3/06 até 10/06
  • aplicação em 12/06
  • curso no Google Classroom
• Desenvolvimento do curso Fundamentos de banco de dados; 

Divulgação Científica:

• Postagens nas redes sociais:
  • Meteoros em Portugal
  • Espelho do LSST
  • O lado escuro da Lua
  • Imagens astronômicas para o dia dos namorados
  • Solstício de inverno
• Ocultação estelar detectada pelo Solar System Portal
  • Entrevista com Giuliano Margoti, mestrando UTFPR
  • Edição dos vídeos
  • Publicação em 21/06 e 25/06

Site:

• Revisão do site
• Verificação das pendências pelo Colativo
• Issues pendentes no github
• Verificação da documentação para deploy do novo site
• Atualização das notícias e anúncios (concluído) 
• Atualização dos webinares (em andamento) 
• Publicações revisadas 2019 a 2021 (concluído) 
• Revisão do Glossário (em andamento)