Low Cost Parallel Computing: Trumpf

Trumpf

Trumpf
=
RUM Pentium Farm

Vorgeschichte

KSR1-32 seit Dezember 1992 und KSR2-110 seit Januar 1995 bis Mai 1996

Ziele:

Funktional möglichst gleiche Umgebung wie KSR
Pthreads, PVM
Erweiterungen: MPI
Erleichterungen: wieder 32 bit Rechner
Erhalt des Parallel Computing in Mannheim

Realisierung

Hardware: 27 TDM plus 6 TDM DRAM,

Verwendung der KSR Platten und des Gehäuses

Software: 100 DM

Switch: 8 TDM

Summe: <= 42 TDM

Linpack 100: 20*19 MFLOPS = 380 MFLOPS

entspricht 1/3 KSR1-32 Peak und ca. 75 % Linpack

Trumpf Hardware

Alle 10 Rechner sind mit folgendem ausgestattet

ASUS P55T2P4D Dual Processor Boards
2 Intel Pentium 133 MHz
512 KB Pipelined Burst Cache
96 MB Hauptspeicher
PCI SCSI Controler (NCR Chip)
1 GB lokale SCSI Platte (Maxtor, aus KSR1)
PCI Ethernet (SMC Etherpower)
Desktop Geäuse

Der Master-Rechner trumpf-0 ist zusätzlich mit folgendem ausgestattet

PCI 2MB Graphikkarte, (Elsa Winnner 1000 Trio)
17" Monitor
1.44 " Disketten-Laufwerk
Tastatur und Maus
4x CDROM Laufwerk
1 GB SCSI Platte (Maxtor, aus KSR1) für NFS

Der Rechner trumpf-1 ist zusätzlich mit folgendem ausgestattet

Exabyte Tapestreamer (aus KSR1)

Der Rechner trumpf-2 ist zusätzlich mit folgendem ausgestattet

6x CDROM Laufwerk

Die Rechner sind in dem KSR1 Gehäuse untergebracht.

Trumpf Evolution

Seit März 1997 auch ein 4 Prozessor Pentium Pro 200 Rechner SNI Primergy 560 als trumpf-10.

trumpf-9 läuft seit April 1997 als Win NT Web Server.

trumpf-1 läuft seit April 1997 als Linux NFS und Samba File Server.

Trumpf Software

Die Anfangsausstattung an Software war wie folgt:

Linux mit Kernel 2.0.0 (S.u.S.E. Linux 4.2)
NFS, NIS, X11R6, etc. entsprechend der Linux Distribution
weitere in der Linux Distribution enthaltene Pakete

Derzeitiger Ausbau:

Linux mit SMP Kernel 2.0.27 (S.u.S.E. Linux 4.3),
Patches zum Betrieb ohne Graphikkarten.
PVM Version 3.3 (in /usr/trumpf/pvm3)
Message Passing Library.
Java DK 1.0.2 chapman:10/12/12-23:12 (in /usr/trumpf/jdk-1.0.2)
Java Entwicklungswerkzeuge.
POSIX Threads, Pthreads Version 1.60b5 (in /usr/trumpf/pthreads)
Shared Memory Programming Library.
Motif Runtime und Development Kit.
X-Windows Erweiterung.
MPI Version 1.0.13 (CH P4-1.4) (in /usr/trumpf/mpi)
Message Passing Library.
Solid Datenbank.
Harvest Suchmaschine.
Maple Version V.3, Computeralgebra System
(in /usr/trumpf/MapleV3).
GAP Version 3.4, Gruppentheorie System
(in /usr/trumpf/gap3r4p3).
MAS Version 1.0, Computeralgebra System
(in /usr/trumpf/mas).
MAS Resources: FTP-Server,
Tutorial (html, ps.gz), Definition Modules (html [draft], ps.gz).
IMPS Intelligent Mathematical Programming System
Operations Research Software (in /usr/trumpf/imps).

Trumpf Vernetzung

Vernetzung der Rechner untereinander:

Anfangsausstattung: Ethernet (Bus)
Zur Zeit: 24 Port Ethernet Switch mit FastEthernet zum Uni Backbone
In jedem Rechner: PCI Ethernet (SMC Etherpower)
Bei Bedarf serielle Punkt zu Punkt Verbindung für die Console.

Bei Bedarf ist zur Verbesserung der Kommunikationsleistung ein Ausbau mit schnelleren Komponenten geplant.

How To ?

Erstinstallation einer standard S.u.S.E. Linux Distribution (incl. IP und NFS Setup) auf jeweils einer neuen Platte - kein "Clonen".
Kompilation eines SMP Kernels und verteilen des Kernels mit NFS - danach reboot.
Auf allen trumpf Rechnern ist NIS (früher Yellow Pages) im Einsatz, so daß die Passworte auf allen Rechnern gleichzeitig gelten. Zudem sind alle trumpf Rechner "equivalent", damit kann jederzeit rsh zwischen den Rechnern benutzt werden.
Die Performance der über NFS gemounteten Home Verzeichnisse hat sich durch Umzug des Fileservers von rumix auf trumpf-1 wesentlich verbessert. Die früher vorhandene Ausweichmöglichkeit, das auf allen Rechnern gemountete /home/tmp Verzeichnis von trumpf-0 ist daher nicht mehr notwendig.
Die lokalen /tmp Verzeichnisse auf allen Rechnern stehen Ihnen weiter zur Verfügung.
Es steht die PVM Version 3.3 zur Verfügung (in /usr/trumpf/pvm3), die Sie im Prinzip wie auf den KSR Rechnern benutzen können.
Es steht die Pthread Version 1.60b5 von Angelo Provenzano zur Verfügung (in /usr/trumpf/pthread). Die Include und Lib Verzeichnisse werden automaisch angezogen, wenn Sie die Scripte pg++ oder pgcc aus /usr/trumpf/bin benutzen.
Es steht die MPI Version 1.0.13 (CH P4-1.4) zur Verfügung (in /usr/trumpf/mpi). Die Include, Man und Lib Verzeichnisse werden automaisch angezogen, wenn Sie die Scripte mpicc, mpiman oder mpif77 aus /usr/trumpf/bin benutzen. Zum starten der MPI Programme können Sie das Script mpirun -nolocal -np <#processors> <program> benutzen.
In dem Verzeichnis /usr/trumpf/bin finden Sie weitere Software. Zum Beispiel das Script ontrumpf <cmd>, mit dem Sie ein Kommando auf allen trumpf Rechnern ausführen lassen können.
Es stehen einige der Scalable Unix Tools (sut) zur Verfügung (.gz). Die Programme pexec, pls, prm, pfind, pps, ppred sowie die X-Programme sutload, sutdf funktionieren und sind sehr nützlich. Zum Beispiel pexec -all <cmd> führt das Kommando auf allen trumpf Rechnern aus.

NFS Performance:

Lokale Festplatte auf Trumpf-5: 100MB und 500MB

              -------Sequential Output-------- ---Sequential Input-- --Random--
              -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --Seeks---
Machine    MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU  /sec %CPU

trumpf5   100  2560 49.5  2645 16.6  1099 13.5  2163 39.1  2551 14.2  49.9  3.2
trumpf5   500  2736 53.1  2690 18.7  1265 16.1  2787 51.4  2937 15.9  28.2  2.1


NFS innerhalb der Farm
Ohne Switch


              -------Sequential Output-------- ---Sequential Input-- --Random--
              -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --Seeks---
Machine    MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU  /sec %CPU
trumpf-9  100   282 10.2   297  6.0   142  6.2   285  9.2   296  7.1  28.5  6.4
trumpf-9  500   271  9.9   288  5.8   141  6.0   273  9.1   293  7.0  18.9  4.4

Mit Switch

              -------Sequential Output-------- ---Sequential Input-- --Random--
              -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --Seeks---
Machine    MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU  /sec %CPU
trumpf-5  100   395 15.0   381  7.9   194  7.3   375 12.4   401  8.6  26.8  6.5


Vergleich SGI: suse to rumgraph

              -------Sequential Output-------- ---Sequential Input-- --Random--
              -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --Seeks---
Machine    MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU  /sec %CPU
suse      100   245 37.1   436 22.6   176 22.6   320 39.5   401 19.5  25.8 13.2

MPI Performance:

weitere MPI Tests:

10 Prozessoren, 20 Prozessoren.

Erfahrungen

Schwierigkeiten da wir keine Graphikkarten, Floppies und Monitore beschaft hatten.
Teillösung durch Serielle Konsolen
KSR Codes laufen im wesentlichen nach Neukompilierung.
System im Vergleich zur KSR deutlich stabiler
(1 reboot / Tag)
Zeiten ohne Unterbrechung von mehr als 110 Tagen
Kein AFS auf Dualprozessor Systemen

Anwender aus der Informatik:

Berechnung von Neuronalen Netzen für Hologramme
Entwicklung von Parallelen Debuggern

Anwender aus der Betriebswirtschaft:

Mixed-Integer Optimierung von Produktionsplänen

Viele WWW Anwendungen:

Verteilte Suchmaschine mit Harvest Gatherern
Datenbanken mit Web Zugang, Solidtech DB
MOWS Web-Server in Java

[Previous] [Next] [Contents]