INSTALADO UN NUEVOS ORDENADOR INTEL XEON X5670 EQUIPADOS CON 78 GB DE RAM Y 7 TERAS DE SCRACH

Atención:

Instalados desde el día 22/12/2007 nuevos ordenadores.

Descripción

Se trata de un Cluster Hibrido de super computación con los siguientes servicios: 

-Servidores como nodos de calculo basados en la tecnología Intel Xeon.

-Servidores como nodos de calculo basados en la tecnología AMD Opteron

-Red de conexión Gigabit mediante Switch Cisco Catalyst 3560G

-El clúster contempla 152 núcleos de calculo y una memoria total de 364 GB ofreciendo un rendimiento pico (Rpeak) de 700 GLOPS, lo que supone mas de medio TFLOP de rendimiento de pico agregado.

-El almacenamiento de consta de 41 TB en discos serial ATA 2

ORDENADORES Y CARACTERÍSTICAS DE LOS MISMOS

El grupo de maquinas ha sido denominado con la terminologia jifa en honor al

Profesor Dr. D. José Ignacio Fernandez Alonso (“Don José”, J.I.F.A.)

DISTRIBUCIÓN DE ORDENADORES MIXTA POR GRUPO DE INVESTIGACIÓN Y ORDENADORES PARA CÁLCULO EN GENERAL.

Distribución de ordenadores por Grupos:

Ordenadores de Propósito general todos los usuarios pueden calcular en estos.

A tener en cuenta al haber Opterones y Xeones las colas gran_x será para xeones y la cola gran_o para opterones

En Resumen:

             19 Ordenadores dedicados a 4 Grupos de Investigación de modo exclusivo.

             4 Ordenadores para que pueda calcular libremente el usuario que quiera.

Total de Jobs que pueden “correr” en el cluster.

             17 Jobs para ordenadores de propósito general

             38 Jobs para ordenadores dedicados a grupos

            TOTAL DE JOBS 53

    Los cálculos en el sistema de colas se "lanzaran" desde el ordenador erwin.

En la actualidad se esta calculando con varios softwares de Química Computacional. Molcas,
Dalton, Gaussian, gamess y turbomol. Y también existen mas software instalados como nwchem.

Otro dato muy importante, los ordenadores en el momento que
están corriendo 2 o mas jobs el rendimiento del input-output baja de
forma considerable.

Hardware

• Estación de control:
• Nombre: erwin
• Modelo: Xeon  Dual 5140
• Sistema Operativo Open SUSE 10 y Red Hat Enterprise
• Procesadores: 2 cores, 1 Procesador Xeon Dual 5140 a 2330 MHz.

• 2 GB de memoria RAM.
• 1 disco de 60 GB como discos de sistema.
• 2 discos de 300 Gb, con un total de área de Scratch será de 600 GB, el área será /scr

• Nodos de cálculo Opteron:
• Nombres: jifa6, jifa5
• Modelo de los ordenadores: Opteron  Dual 2241.
• Sistema Operativo Red Hat
• Procesadores: Con 2 cores, 1 Procesador Opteron Dual 265 a 1800 MHz.

• Mulliken 8 GB de memoria RAM, con 600 Gb de Scrach /scr
• Hund 8 GB de memoria RAM, con 1,2 Teras de Scrach /scr.

• Nodos de cálculo Xeon:
• Nombres: Del jifax1 al  jifax10
• Modelo de los ordenadores: Xeon  Dual 5150.
• Sistema Operativo Open SUSE 10
• Procesadores: Con 4 cores, 1 Procesador Xeon Dual 5150 a 2660 MHz, luego son 8 cores por ordenador.

• jifax11 12 GB de memoria RAM, con 1,2 Teras de Scrach /scr
• jifax12 8 GB de memoria RAM, con 1,2 Teras de Scrach /scr.

Nodos de cálculo Xeon con procesador Xeon Nehalem:

• Nombres: Del jifax20 al  jifax22
• Modelo de los ordenadores: Xeon  Dual E5540 y los otros 2 Xeon Dual X5560.
• Sistema Operativo Centos 6.2 (distribución de linux basada en Red Hat).
• Procesadores: Con 4 cores, 1 Procesador Xeon Dual 5150 a 2660 MHz.luego son 8 cores por ordenador
• Los ordenadores jifax21 y jifax22 llegan a "emular 16 Cores.
• jifax21 y jifax22 tienen 48 Gb de RAM y 1,8 Teras de Scrach /scr

• Nombres: Del jifax30 y jifax40
• Modelo de los ordenadores: Xeon Dual X5570.
• Sistema Operativo Centox 6.2 (distribución de linux basada en Red Hat).
• Procesadores: Con 6 cores, 2 Procesadores Xeon Dual 5560 a 2930 MHz.luego son 12 cores por ordenador
• Emulan 24 Cores los 2 ordenadores.
• Con tienen 72 Gb de RAM y 5.5 Teras de Scrach /scr

Software ordenadores.

• Versión del sistema operativo El sistema operativo Linux, en concreto una  la siguiente distribución SUSE  y con  Kernel 2.6.2. Para los ordenadores erwin, jifax11, jifax12, jifa5 y jifa6
• La distribución del sistema operativo Linux para los demás ordenadores será la siguiente Red Enterprise 4.4
• Los nuevos ordenadores tienen Centox que es una distribución basada en Red Hat
• Compiladores de C/C++ xlc y vacC Compilador de Fortran77 y Fortran90.
• Sistema de gestión de colas batch torque.
• Sotware de Química Computacional:
• Gaussian 09, Gaussian 09.c01,Gaussian 03.
• Mopac, Gamess,Nwchem,Dalton,Molcas, etc...

Acceso al sistema

A erwin sólo se puede (y debe) acceder desde Qfgate (Slater visto desde la red del campus). Esta máquina sólo proporciona servicios de red a los hosts de la subred de cálculo. Son las mismas restricciones de acceso que se aplica a Huckel y a los nodos del SP2.
            El acceso a los ordenadores de cálculo con procesadores opterones y xeones, solo es desde el ordenador erwin tal y indica el dibujo.

Límites

   Los límites de las Colas son los siguientes: No pueden estar calculando más de 46 Trabajos a la vez y cada Usuario podrá tener trabajando un máximo de 7trabajos por cola, naturalmente los trabajos que No entren en el sistema de Colas quedaran a la espera y cuando el sistema de Colas torque tenga espacio, entrarán los trabajos encolados.

Envío de trabajos al sistema de colas

    Los trabajos se envían al sistema de colas mediante el comando:

qsub  fichero

O

qsub -q (cola a la que se lanza) fichero

El nombre de la Cola también se puede configurar en el lanzador.

Trabajando con un sistema de colas, Comandos interesantes

Envío de trabajos al sistema de colas, torque.

Los trabajos se envían al sistema de colas mediante el comando:
qsub fichero
Para comprobar los jobs que estan en la Cola.
Nodos (Comprueba los trabajos que estan procesandose en este momento en el sistema de colas).
qstat -n (Muestra todos los trabajos que están en funcionamiento, con el estado de los trabajos y los usuario que están calculando en ese momento)
Para eliminar un job del sistema de colas.
qdel Número del job (que previamente sabemos con el comando qstat)
Para comprobar las características de todas las colas.
qstat -q
Si se quiere saber solo las característica de una cola en particular se especifica, ejemplo saber las características de la cola gran
qstat -q gran -x
 

Forma de enviar un job

    La forma de envíar un trabajo es la siguiente. Por ejemplo, el siguiente fichero lleva  a cabo un cálculo de Gaussian03:

#!/bin/bash
#-----------------------------------------------------
#---  Ejemplo de lanzadera sencilla para torque (RT)
#-----------------------------------------------------

#---  Nombre del usuario y del calculo
#PBS -u nombre_usuario
#PBS -N C_4p

#--- Para multiprocesador. En este caso la variable ppn indica el
# número de procesadores 4., nodes el nombre del ordenador
#a utilizar
#PBS -l nodes=jifax11:ppn=4

#---  Shell a usar, correo al comenzar y acabar
#PBS -S /bin/bash
#PBS -k eo
#PBS -m be

#--- Fichero input para el calculo
In="/home/nombre_usuario/XXXX.com"

#-----------------------------------------------------
#--- DESDE AQUI: CAMBIAR SOLO SI SE SABE LO QUE SE
# HACE
#--- activación de la versión de gaussian, creación
#--- directorios necesarios y lanzamiento calculo

cd /scr/nombre_usuario

# Variables para lanzar un job en Gaussian para Xeon
. /soft/g03.d02/Xeon/g03/private/g03.profile

# Variables para lanzar un job en Gaussian para Opteron
# . /soft/g03.d02/Opteron/g03/private/g03.profile
# Ahora lanzo el programa

g03 < /scr/nombre_usuario/XXX.com > /scr/nombre_user/XXX.log

exit