QUERO-QUERO CIÊNCIA. HPC em foco: melhor performance, precisão e desempenho

O processamento de cálculos complexos e grandes volumes de dados em alta velocidade configuram a computação de alto desempenho, em inglês, High Performance Computing (HPC), e  pode contribuir para aumentar a precisão da análise dos dados nela processados.

Como exemplo, o Supercomputador Santos Dumont é o maior computador em capacidade de processamento da América Latina aberto a comunidade científica e parceiros de PD&I. O equipamento encontra-se instalado no Laboratório Nacional de Computação Científica (LNCC), em Petrópolis-RJ.

De acordo com os autores do artigo científico Uncovering I/O Demands on HPC Platforms: Peeking Under the Hood of Santos Dumont , publicado no Journal of Parallel and Distributed Computing , as Plataformas de Computação de Alto Desempenho (HPC) são necessárias para resolver os mais diversos problemas científicos de larga escala em diversas áreas de pesquisa, como biologia, química, física e ciências da saúde. Os pesquisadores usam uma infinidade de softwares científicos, que possuem requisitos diferentes. Isso inclui operações de entrada e saída, que impactam diretamente no desempenho devido à diferença existente nas velocidades de processamento e acesso aos dados.”

Assim, os supercomputadores devem lidar eficientemente com cargas de trabalho mistas ao armazenar dados dos aplicativos. Compreender o conjunto de aplicativos e seu desempenho em execução em um supercomputador é fundamental para entender o uso do sistema de armazenamento, identificar possíveis gargalos e orientar as técnicas de otimização. Esta pesquisa propõe uma metodologia e uma ferramenta de visualização para avaliar o desempenho da infraestrutura de armazenamento de dados de um supercomputador, levando em consideração as diversas cargas de trabalho e demandas do sistema durante um longo período de operação.”

A equipe do Serviço de Comunicação Institucional do Laboratório Nacional de Computação Científica (LNCC)  buscou mais informações sobre o estudo que trata do uso de HPC para auxiliar no resolução de diversos problemas científicos em vários ramos do conhecimento com a melhor performance.

Vem com a gente!

Sobre a pesquisa

A pesquisa iniciou em 2016, uma colaboração com o grupo do Prof. Philippe Navaux, da Universidade Federal do Rio Grande do Sul (UFRGS). O objetivo era de nos especializarmos numa área da computação de alto desempenho que ainda tínhamos uma lacuna dentro do LNCC, a infraestrutura de supercomputação e pesquisas relacionadas com as operações de Entrada e Saída (E/S ou I/O). O grande ponto de partida foi o Supercomputador Santos Dumont (SDumont), que havia recentemente entrado em operação naquele mesmo ano.

Ao longo dos anos, essa colaboração rendeu a publicação de vários trabalhos em congressos e periódicos, abrindo as portas para o mestrado do André Carneiro na UFRGS, sob orientação do Prof. Philippe Navaux e da Profª Carla Osthoff, em 2020. A conclusão do mestrado resultou nesse artigo publicado no Journal of Parallel and Distributed Computing.

O objetivo o trabalho em questão foi buscar entender como o Sistema de Arquivos Paralelo Lustre é utilizado pelas aplicações no SDumont, como elas leem e escrevem seus arquivos. Temos no SDumont vários tipos de aplicações, para as mais variadas áreas do conhecimento (Física, Química, Geologia, Biologia, Engenharias, entre outras). Essas aplicações são executadas simultaneamente e compartilham o uso do Lustre *. Cada aplicação possui requisitos específicos, o que gera uma grande variedade de padrões de acesso das operações de I/O. Esses diferentes padrões afetam como o sistema de arquivos é utilizado, sua capacidade de manter o desempenho para as aplicações mais demandantes, culminando em que uma aplicação pode afetar negativamente a execução de outra aplicação. Neste trabalho coletamos métricas de utilização do Lustre e analisamos o comportamento as operações de I/O por três meses de dois anos. Nossa metodologia proposta forneceu insights para entender o uso do Lustre, possibilitando a identificação de aspectos críticos que impactam negativamente o desempenho no SDumont.

• Lustre : sistema de arquivos  paralelos de código aberto que suporta muitos requisitos em ambiente de simulação HPC

Sua importância e benefícios para o campo científico

Dentre os aspectos importantes identificados no trabalho estão:

• Há uma grande quantidade de operações usando tamanhos de transferência pequenos, que geralmente se traduzem em baixo desempenho, indicando que as aplicações não estão aproveitando ao máximo as bibliotecas de I/O de alto nível.
• Como o Lustre é composto por vários servidores de armazenamento, o nosso trabalho identificou a distribuição da carga e descobrimos alguns casos severos de desbalanceamento, onde a sobrecarga corresponde a 3× a carga média entre os servidores.
• Conseguimos identificar as aplicações executadas no SDumont e obtivemos o comportamento das suas operações de I/O. Dessa forma, identificamos comportamentos problemáticos, como uma aplicação que exibe a pior qualidade de operações de leitura e em um grande volume.
• A análise dos tipos de operações realizadas demonstrou uma demanda considerável operações de metadados, sendo responsável por 60% das operações do sistema de arquivos. Como esse tipo de operação é crítica no ambiente de computação de alto desempenho, gera um sinal de alerta.

A identificação desses aspectos orienta os administradores do SDumont a concentrar esforços para ajudar a melhorar o desempenho e a usabilidade do sistema. Agora eles possuem subsídios para a escolha de um novo sistema de armazenamento que atenda às demandas das aplicações, avaliar a adoção de novas tecnologias, e entrar em contato com projetos mais exigentes para solucionar os casos mais graves.

Benefícios da pesquisa para a sociedade

Uma das missões do LNCC é o fornecimento de Computação de Alto Desempenho para a sociedade brasileira e o SDumont atualmente vem sendo utilizado por cerca de 256 projetos de pesquisa em todo o Brasil. Uma utilização eficiente e eficaz dos recursos computacionais do SDmont, possibilita uma maior vazão na execução dos processos em execução no supercomputador. Os usuários do SDumont como um todo também se beneficiam. Com um melhor entendimento das operações de I/O de suas aplicações, eles podem se adequar melhor ao ambiente. Suas aplicações são mais eficientes ao utilizar o sistema de armazenamento, o que resulta em finalizar a execução em menos tempo. Adicionalmente, esta é uma pesquisa que contribui para o desenvolvimento de expertise de brasileiros na área de infraestrutura de supercomputação.

Para conhecer mais sobre o estudo: https://www.sciencedirect.com/science/article/pii/S0743731523001144

Autores: André Ramos Carneiro, Jean Luca Bez, Carla Osthoff, Lucas Mello Schnorr, Philippe O.A. Navaux

Créditos
Anmily Paula Martins (SECIN-LNCC), André Ramos Carneiro (LNCC); Carla Osthoff (LNCC), Graziele Soares(SECIN-LNCC) e Tathiana Tapajós (SECIN-LNCC)

O Quero-Quero Ciência é um ciclo de entrevistas que faz parte das ações de divulgação científica do LNCC

Curiosidade: O pássaro Quero-Quero , ave da família dos Charadriidae ,  tem os gramados do campus do LNCC como habitat natural

Serviço de Comunicação Institucional
secin@lncc.br