Como montar um supercomputador

Contente

• estágios

O é um wiki, o que significa que muitos artigos são escritos por vários autores. Para criar este artigo, 18 pessoas, algumas anônimas, participaram de sua edição e aprimoramento ao longo do tempo.

Você precisa de uma máquina que faça centenas de bilhões de cálculos de ponto flutuante por segundo? Você precisa de uma história para explicar como seu supercomputador no porão explodiu o disjuntor? Construir um cluster (ou cluster) de computadores de alto desempenho é um desafio que qualquer especialista pode superar em um fim de semana com o orçamento apropriado. Do ponto de vista técnico, um supercomputador moderno com vários processadores é uma rede de computadores trabalhando em paralelo para resolver um problema. Seguindo etapas simples para montar o equipamento e instalar o software necessário, você também pode ter um supercomputador.

estágios

1. 
   

   
   Determine o equipamento e os recursos necessários. Você precisará de um nó principal, pelo menos doze outros nós idênticos, um comutador Ethernet, uma unidade de fonte de alimentação e uma prateleira. Determine suas necessidades de eletricidade, refrigeração e espaço. Você também precisa decidir qual endereço IP deseja usar em suas redes privadas, os nomes dos nós, o software que deseja instalar e a tecnologia que deseja para os recursos de computação (voltaremos a isso mais tarde).
   • Mesmo que o hardware lhe custe muito, todo o software apresentado neste artigo é gratuito e a maioria está livre de direitos.
   • Se você quiser ter uma idéia de quão rápido um supercomputador pode chegar, use esta ferramenta: http://hpl-calculator.sourceforge.net/.

2. 
   

   
   
   
   Instale os nós. Você precisará montar os nós ou obter servidores pré-montados.
   • Escolha um chassi de servidor com bastante espaço, um sistema de refrigeração adequado e otimização de energia.
   • Você também pode usar uma dúzia de servidores antigos, a soma destes excederá o poder de unidades individuais e economizará muito dinheiro. Todos os processadores, adaptadores de rede e placas-mãe devem ser idênticos para que todo o sistema funcione sem problemas. Obviamente, você não deve esquecer a RAM e o armazenamento de cada um dos nós, além de pelo menos uma unidade de disco para a cabeça.

3. 
   

   
   Instale os servidores na prateleira. Comece na parte inferior se a parte superior da prateleira não estiver pesada. Você também precisará de um amigo para ajudá-lo, os servidores podem ser pesados ​​e será difícil orientá-los nos trilhos da prateleira.

4. 
   

   
   
   
   Instale o comutador Ethernet na parte superior do chassi. Reserve um momento para configurá-lo. Permita um tamanho de quadro jumbo de 9000 bytes, defina os endereços IP para os endereços estáticos que você escolheu na primeira etapa e desative os protocolos desnecessários, como a espionagem SMTP.

5. 
   

   
   Instale a unidade atual. Dependendo da quantidade de corrente que os nós precisarão, você provavelmente precisará de uma unidade de 220 volts.

6. 
   

   
   Configure o hardware. Depois de instalar tudo, você pode começar a configurar o hardware. O Linux é o sistema operacional padrão para clusters de HPC, não apenas porque é o melhor ambiente para cálculos científicos, mas também porque é totalmente gratuito para instalar em centenas ou milhares de nós. Imagine o preço que você pagará se tivesse que instalar o Windows em cada um desses nós.
   • Comece instalando o firmware mais recente do BIOS e da placa-mãe que deve ser o mesmo para todas as placas-mãe.
   • Instale sua distribuição Linux preferida em cada um dos nós e uma distribuição com uma interface gráfica no nó principal. CentOS, OpenSuse, Scientific Linux, RedHat ou SLES são frequentemente usados.
   • Para este artigo, recomendamos vivamente o Rocks Cluster. Além de instalar todas as ferramentas necessárias para que os clusters funcionem corretamente, o Rocks usa um excelente método para "distribuir" rapidamente muitas instâncias de si para nós usando a inicialização PXE e o procedimento de Início Rápido da Red Tea Tree.

7. 
   

   
   Instale o software. Instale uma interface para transmissão, gerenciamento de recursos e outras bibliotecas necessárias. Se você não instalou o Rocks na etapa anterior, precisará configurar manualmente todo o software necessário para ativar os mecanismos de computação paralela.
   • Primeiro, você precisará de um sistema de gerenciamento de bash, como o Torque Resource Manager, que permite dividir e distribuir tarefas diferentes em várias máquinas.
   • Torque Torque com o Maui Cluster Scheduler para concluir a configuração.
   • Em seguida, você precisará instalar a interface do remetente necessária para que os processos em máquinas diferentes compartilhem os mesmos dados. Instale o OpenMP, é muito fácil de usar.
   • Não se esqueça de bibliotecas e compiladores multithreading para criar programas de cálculo paralelos. Mais uma vez, Rocks é a melhor solução.

8. 
   

   
   Conecte os nós em uma rede. O nó principal envia as tarefas a serem executadas para os outros nós de computação que retornarão os resultados enquanto enviam mensagens um para o outro. Quanto mais rápido, melhor.
   • Use uma rede Ethernet privada para vincular todos esses nós em um cluster.
   • O nó principal também pode atuar como um servidor NFS, PXE, DHCP, TFTP e NTP na rede que você está criando.
   • Você deve separar essa rede das redes públicas para garantir que os pacotes trocados pelos servidores não interfiram nos pacotes trocados pelo restante da rede.

9. 
   

   
   Teste o cluster. A última coisa que você precisa fazer antes de liberar todo o poder do seu supercomputador é testar seu desempenho. O teste de desempenho Lynpack de alto desempenho (HPL) é uma opção popular para medir a velocidade de computação de um cluster de computadores. Você precisará compilá-lo a partir da fonte com todas as otimizações que o compilador oferece de acordo com a arquitetura que você escolheu.
   • Obviamente, você precisa compilá-lo a partir da fonte que oferece mais opções para otimizar sua plataforma. Por exemplo, se você estiver usando processadores AMD, compile-o com o Open64 escolhendo um nível de otimização -0 rápido.
   • Compare os resultados no TOP500.org para ver se o seu supercomputador pode competir com os 500 supercomputadores mais poderosos do mundo!

conselho

• Para atingir velocidades realmente rápidas na rede, descubra as interfaces InfiniBand. No entanto, prepare-se para quebrar o cofrinho.
• O IPMI pode facilitar a administração de uma grande escala, oferecendo a você o KVM-over-IP, um ciclo de energia separado e muito mais.
• Use o Ganglia para rastrear cargas de computação nos nós.

avisos

• Verifique se sua infraestrutura pode suportar a carga.