Phone: +34.96.354.44.29 | Fax:+34.96.354.32.74 | Edificios Institutos de Paterna, C/Catedrático José Beltrán  Nº 2 46980 Paterna Valencia.

 

 

 
Cluster de ordenadores compuesto por Opterones y Xeones del Instituto de Ciencia Molecular
Fecha de actualización: 27 de Enero del 2012

La adquisición de este suministro se encuentra parcialmente financiado con Fondos Feder (POICV 2000-2006) según el Acuerdo del Consell de la Generalitat Valenciana de fecha 30 de marzo de 2007. Financiados con Fondos Feder 10 ordenadores Xeones y 4 Opterones

 

NUEVO ORDENADOR INSTALADO

INSTALADO UN NUEVOS ORDENADOR INTEL XEON X5670 EQUIPADOS CON 78 GB DE RAM Y 7 TERAS DE SCRACH

Atención:

Instalados desde el día 22/12/2007 nuevos ordenadores.

 

 

 

Descripción

Se trata de un Cluster Hibrido de super computación con los siguientes servicios: 

 

-Servidores como nodos de calculo basados en la tecnología Intel Xeon.

-Servidores como nodos de calculo basados en la tecnología AMD Opteron

-Red de conexión Gigabit mediante Switch Cisco Catalyst 3560G

 

 

-El clúster contempla 152 núcleos de calculo y una memoria total de 364 GB ofreciendo un rendimiento pico (Rpeak) de 700 GLOPS, lo que supone mas de medio TFLOP de rendimiento de pico agregado.

 

-El almacenamiento de consta de 41 TB en discos serial ATA 2

 

 

 

 

ORDENADORES Y CARACTERÍSTICAS DE LOS MISMOS

El grupo de maquinas ha sido denominado con la terminologia jifa en honor al

Profesor Dr. D. José Ignacio Fernandez Alonso (“Don José”, J.I.F.A.)

 

 

 

Tipo de Procesador y frecuencia

Número de Cores

Memoría RAM

Scratch

jifax1

Xeon Biprocesador 2,66

8

16 Gb

960 Gb

jifax2

Xeon Biprocesador 2,66

8

16 Gb

960 Gb

jifax3

Xeon Biprocesador 2,66

8

16 Gb

960 Gb

jifax4

Xeon Biprocesador 2,66

8

32 Gb

960 Gb

jifax5

Xeon Biprocesador 2,66

8

16 Gb

960 Gb

jifax6

Xeon Biprocesador 2,66

8

16 Gb

960 Gb

jifax7

Xeon Biprocesador 2,66

8

16 Gb

960 Gb

jifax8

Xeon Biprocesador 2,66

8

16 Gb

960 Gb

jifax9

Xeon Biprocesador 2,66

8

16 Gb

960 Gb

jifax10

Xeon Biprocesador 2,66

8

16 Gb

960 Gb

jifax11

Xeon Monoprocesador 2,33

2

12 Gb

1200 Gb

jifax12

Xeon Biprocesador 2,33

4

8 Gb

1200 Gb

jifa1

Opteron

Biprocesador 2,8

4

16 Gb

960 Gb

jifa2

Opteron

Biprocesador 2,8

4

16 Gb

960 Gb

jifa3

Opteron

Biprocesador 2,8

4

16 Gb

960 Gb

jifa4

Opteron

Biprocesador 2,8

4

16 Gb

960 Gb

jifa5

Opteron

Biprocesador 1,8

4

6 Gb

1200 Gb

jifa6

Opteron

Biprocesador 1,8

4

8 Gb

1200 Gb

jifax20 Xeon Biprocesador 2,53 Ghz 8 72 Gb 1800 Gb
jifax21 Xeon Biprocesador 2,8 Ghz 8 48 Gb 1800 Gb
jifax22 Xeon Biprocesador 2,8 Ghz 8 48 Gb 1800 Gb
jifax30 Xeon Biprocesador 2,93 Ghz 12 72 Gb 7500 Gb
jifax40 Xeon Biprocesador 2,93 Ghz 12 72 Gb 7500 Gb

 

 

DISTRIBUCIÓN DE ORDENADORES MIXTA POR GRUPO DE INVESTIGACIÓN Y ORDENADORES PARA CÁLCULO EN GENERAL.

 

Distribución de ordenadores por Grupos:

 

 

Tipos de Ordenador

Nombre de los Ordenadores

Otros

Número de jobs por ordenador

gran_mmol

5 Xeones

jifax5, jifax6, jifax7, jifax1, jifax21

 

2( jifax7 tendrá 5 jobs)

Total 11

gran_qcex

4 Xeones 2 Opterones

jifax11, jifax12, jifax2, jifa2, jifa3 y jifax22

Tiene 4 ordenadores dedicados al tener los Xeones Antiguos y 1 Xeon nuevo

2

jifax2 tendrá 4 jobs

Total 12

gran_metd

5 Xeones

jifax8, jifax9, jifax10, jifax3, jifax20,jifax40

 

1

jifax3 tendrá 2 jobs

Total 6

gran_exact

2 Xeon

jifax4, jifax30

 

jifax4 y jifax30

1 Job cada ordenador

Total 2

 

 

Ordenadores de Propósito general todos los usuarios pueden calcular en estos.

 

A tener en cuenta al haber Opterones y Xeones las colas gran_x será para xeones y la cola gran_o para opterones

 

 

Tipos de Ordenador

Nombre de los Ordenadores

Número de Jobs por ordenador

gran_x

DESAPARECE POR AHORA

DESAPARECE POR AHORA

 

DESAPARECE POR AHORA

gran_o

3 Opterones

jifa1,jifa4, jifa5, jifa6

4 Jobs por ordenador. CUIDADO los ordenadores jifa5 y jifa6 son más lentos y tienen menos RAM

TOTAL 16 Jobs

 

En Resumen:

             19 Ordenadores dedicados a 4 Grupos de Investigación de modo exclusivo.

             4 Ordenadores para que pueda calcular libremente el usuario que quiera.

Total de Jobs que pueden “correr” en el cluster.

             17 Jobs para ordenadores de propósito general

             38 Jobs para ordenadores dedicados a grupos

 

            TOTAL DE JOBS 53

  


    Los cálculos en el sistema de colas se "lanzaran" desde el ordenador erwin.

En la actualidad se esta calculando con varios softwares de Química Computacional. Molcas,
Dalton, Gaussian, gamess y turbomol. Y también existen mas software instalados como nwchem.


Otro dato muy importante, los ordenadores en el momento que
están corriendo 2 o mas jobs el rendimiento del input-output baja de
forma considerable.


 

 

Hardware

  • Estación de control:
    • Nombre: erwin
    • Modelo: Xeon  Dual 5140
    • Sistema Operativo Open SUSE 10 y Red Hat Enterprise
    • Procesadores: 2 cores, 1 Procesador Xeon Dual 5140 a 2330 MHz.
    • 2 GB de memoria RAM.
    • 1 disco de 60 GB como discos de sistema.
      • 2 discos de 300 Gb, con un total de área de Scratch será de 600 GB, el área será /scr

 

  • Nodos de cálculo Opteron:
    • Nombres: jifa6, jifa5
    • Modelo de los ordenadores: Opteron  Dual 2241.
    • Sistema Operativo Red Hat
    • Procesadores: Con 2 cores, 1 Procesador Opteron Dual 265 a 1800 MHz.
    • Mulliken 8 GB de memoria RAM, con 600 Gb de Scrach /scr
    • Hund 8 GB de memoria RAM, con 1,2 Teras de Scrach /scr.

 

  • Nodos de cálculo Xeon:
    • Nombres: Del jifax1 al  jifax10
    • Modelo de los ordenadores: Xeon  Dual 5150.
    • Sistema Operativo Open SUSE 10
    • Procesadores: Con 4 cores, 1 Procesador Xeon Dual 5150 a 2660 MHz, luego son 8 cores por ordenador.
    • jifax11 12 GB de memoria RAM, con 1,2 Teras de Scrach /scr
    • jifax12 8 GB de memoria RAM, con 1,2 Teras de Scrach /scr.

Nodos de cálculo Xeon con procesador Xeon Nehalem:

  • Nombres: Del jifax20 al  jifax22
  • Modelo de los ordenadores: Xeon  Dual E5540 y los otros 2 Xeon Dual X5560.
  • Sistema Operativo Centos 6.2 (distribución de linux basada en Red Hat).
  • Procesadores: Con 4 cores, 1 Procesador Xeon Dual 5150 a 2660 MHz.luego son 8 cores por ordenador
  • Los ordenadores jifax21 y jifax22 llegan a "emular 16 Cores.
  • jifax21 y jifax22 tienen 48 Gb de RAM y 1,8 Teras de Scrach /scr
Nodos de cálculo Xeon con procesador Xeon X5670:
  • Nombres: Del jifax30 y jifax40
  • Modelo de los ordenadores: Xeon Dual X5570.
  • Sistema Operativo Centox 6.2 (distribución de linux basada en Red Hat).
  • Procesadores: Con 6 cores, 2 Procesadores Xeon Dual 5560 a 2930 MHz.luego son 12 cores por ordenador
  • Emulan 24 Cores los 2 ordenadores.
  • Con tienen 72 Gb de RAM y 5.5 Teras de Scrach /scr

 


 

 

Software ordenadores.

  • Versión del sistema operativo El sistema operativo Linux, en concreto una  la siguiente distribución SUSE  y con  Kernel 2.6.2. Para los ordenadores erwin, jifax11, jifax12, jifa5 y jifa6
  • La distribución del sistema operativo Linux para los demás ordenadores será la siguiente Red Enterprise 4.4
  • Los nuevos ordenadores tienen Centox que es una distribución basada en Red Hat
  • Compiladores de C/C++ xlc y vacC Compilador de Fortran77 y Fortran90.
  • Sistema de gestión de colas batch torque.
  • Sotware de Química Computacional:
    • Gaussian 09, Gaussian 09.c01,Gaussian 03.
    • Mopac, Gamess,Nwchem,Dalton,Molcas, etc...

 

Acceso al sistema

A erwin sólo se puede (y debe) acceder desde Qfgate (Slater visto desde la red del campus). Esta máquina sólo proporciona servicios de red a los hosts de la subred de cálculo. Son las mismas restricciones de acceso que se aplica a Huckel y a los nodos del SP2.
            El acceso a los ordenadores de cálculo con procesadores opterones y xeones, solo es desde el ordenador erwin tal y indica el dibujo.


 


 

Límites

   Los límites de las Colas son los siguientes: No pueden estar calculando más de 46 Trabajos a la vez y cada Usuario podrá tener trabajando un máximo de 7trabajos por cola, naturalmente los trabajos que No entren en el sistema de Colas quedaran a la espera y cuando el sistema de Colas torque tenga espacio, entrarán los trabajos encolados.


Envío de trabajos al sistema de colas

    Los trabajos se envían al sistema de colas mediante el comando:

qsub  fichero

O

qsub -q (cola a la que se lanza) fichero

El nombre de la Cola también se puede configurar en el lanzador.

Trabajando con un sistema de colas, Comandos interesantes

Envío de trabajos al sistema de colas, torque.

Los trabajos se envían al sistema de colas mediante el comando:
qsub fichero
Para comprobar los jobs que estan en la Cola.
Nodos (Comprueba los trabajos que estan procesandose en este momento en el sistema de colas).
qstat -n (Muestra todos los trabajos que están en funcionamiento, con el estado de los trabajos y los usuario que están calculando en ese momento)
Para eliminar un job del sistema de colas.
qdel Número del job (que previamente sabemos con el comando qstat)
Para comprobar las características de todas las colas.
qstat -q
Si se quiere saber solo las característica de una cola en particular se especifica, ejemplo saber las características de la cola gran
qstat -q gran -x
 

Forma de enviar un job

    La forma de envíar un trabajo es la siguiente. Por ejemplo, el siguiente fichero lleva  a cabo un cálculo de Gaussian03:

#!/bin/bash
#-----------------------------------------------------
#---  Ejemplo de lanzadera sencilla para torque (RT)
#-----------------------------------------------------

#---  Nombre del usuario y del calculo
#PBS -u nombre_usuario
#PBS -N C_4p

#--- Para multiprocesador. En este caso la variable ppn indica el
# número de procesadores 4., nodes el nombre del ordenador
#a utilizar
#PBS -l nodes=jifax11:ppn=4

#---  Shell a usar, correo al comenzar y acabar
#PBS -S /bin/bash
#PBS -k eo
#PBS -m be

#--- Fichero input para el calculo
In="/home/nombre_usuario/XXXX.com"

 

#-----------------------------------------------------
#--- DESDE AQUI: CAMBIAR SOLO SI SE SABE LO QUE SE
# HACE
#--- activación de la versión de gaussian, creación
#--- directorios necesarios y lanzamiento calculo

cd /scr/nombre_usuario

# Variables para lanzar un job en Gaussian para Xeon
. /soft/g03.d02/Xeon/g03/private/g03.profile

# Variables para lanzar un job en Gaussian para Opteron
# . /soft/g03.d02/Opteron/g03/private/g03.profile
# Ahora lanzo el programa

g03 < /scr/nombre_usuario/XXX.com > /scr/nombre_user/XXX.log

 

exit

 

  *El cluster de cálculo de la UIQT se llama JIFA en honor al Profesor Dr. D. José Ignacio Fernandez Alonso (“Don José”, J.I.F.A.)

El profesor Fernández Alonso nació en El Ferrol (A Coruña) en 1917. Realizó sus estudios de química en la Universidad de Santiago, donde se licenció en 1940, y obtuvo el doctorado en química en 1944 con una Tesis, dirigida por el Dr. Tomás Batuecas,  sobre picnometría de precisión. En 1945 se incorporó a la Universidad de Valencia como catedrático de Química Física y Electroquímica. Permaneció en Valencia hasta el año 1971, en que se trasladó a la cátedra del mismo nombre en la recién creada Universidad Autónoma de Madrid, donde finalizó su vida académica como profesor emérito.

En 1951 se incorporó como Research Fellow al CALTECH (Instituto de Tecnología de California), en el laboratorio dirigido por el profesor Linus Pauling, (Premio Nobel de Química y de la Paz). A su vuelta, el profesor Fernández Alonso introdujo la Química Cuántica en la enseñanza universitaria española.

En el año 1965 introdujo la informática en la Universidad de Valencia con la adquisición del primer ordenador de cálculo de la Universidad española (un IBM 1630 cuya consola aún puede verse en el Servei d’Informàtica de la Universitat de València).