Low Cost Parallel Computing: Realisierung

Realisierung

Hardware

Wintel erzeugt Preisdruck von unten.

Hersteller stellen sich der Herausforderung und bieten "Low Cost" Systeme an.

SNI
DEC
HP
Parsytec
SUN
SGI
IBM
Noname Intels

Die Hersteller werden ihre Produkte morgen darstellen.

Specialpurpose Systeme:
Custom Prozessoren: Synapse, Quadrics, etc.
oder Attached Prozessoren isatec, etc.

"Noname" Intels: What you buy is what you get

Pentium und Pentium Pro Hauptplatinen
Bustakt bis 66 MHz
Pentium MMX benötigt andere Hauptplatinen
sehr günstig: Pentium Board und AMD K6 (MMX)
Bustakt bis 75 MHz
Pentium II bis 300 MHz
L2 Cache nur halber Takt
andere Hauptplatinen, nur 2 Prozessor fähig
Was wird Intel weiter machen ?
Angriff SGI/NEC mit MIPS CPU in Nintendo
kein Intel Vertreter hier, kein Intel Commitment
ASCI Red nur PR Gag ?

Pentium Pro Motherboards

single processor motherboards
- Merlin, American Megatrends, Inc.
- P/I-P6NP5, ASUS
- P/I-XP6NP5 (ATX), ASUS
- P/I-P6RP4, ASUS
- PR440FX, Intel
- AP440FX, Intel
- VS440FX (Venus), Intel
- Performance/AU, Intel
- SUPER P6SNS, Supermicro
- SUPER P6SAS, Supermicro
- SUPER P6SNA, Supermicro
- SUPER P6SNF, Supermicro
- SUPER P6SNE, Supermicro
- SUPER P6SOF, Supermicro
- S1672 Tacoma, Tyan Computer Corporation
- Chaintech
- Elitegroup
- FIC
- Gigabyte
- Iwill
- Soyo
- Dell
- SNI
dual processor motherboards
quad processor motherboards
- Goliath, American Megatrends, Inc.

Quelle: Pentium Pro Cluster Workshop und c't März 1997

Speicher

Cache
- L1 on chip (L1 & L2 beim Pentium Pro)
- Synchronous oder asynchronous SRAM
- L2 meist zwischen 0 und 512 KBytes
Hauptspeicher (DRAM)
- meist zwischen 60ns und 70ns DRAM SIMM oder DIMM
- Kosten < DM 10 per MByte
- 2 oder 4 Wege Interleaving ?
- "Enhanced" DRAMs: EDO, SDRAM, etc.
Busgeschwindigkeiten:
33 MHz, 60 MHz, 66 MHz, 75 MHz (z.Z. nur AMD K6)
"Selbst das langsamste DRAM ist schneller als eine Festplatte."

Festplatten I/O

Interface
- IDE sehr langsam, beschränkt auf 2 kleine Platten
- SCSI langsam, aber bis zu 7 Geräte
- FastSCSI schnell, auch bis zu 7 Geräte
- EIDE schnell, für Platten, CD-ROMs, etc.
- Wide SCSI am schnellsten
EIDE ist standard, SCSI kostet ca. 50 - 200 DM Aufpreis
EIDE Platten sind billiger als SCSI Platten

Software

Betriebssysteme

Unix

Linux (Resources)
Red Hat, Caldera, Slackware, S.u.S.E.
FreeBSD
NetBSD
OpenBSD
Solaris x86

Windows NT

Server und Workstation
Wolfpack WinNT Cluster

Von Linus Torvalds aus Finnland
Benutzt und verbessert von sehr vielen Enthusiasten
Copyleft source code
Volles UNIX, zum grossen Teil sogar POSIX konform
XFree86, C, C++, Fortran, Pascal, etc.
Läuft auf "IBM kompatiblen" PCs, DEC Alphas, Sun SPARCs, PowerPCs, etc.
Linux Documentation Project
http://sunsite.unc.edu/mdw/linux.html

Linux Support für SMP

Linux 2.0 Kernel unterstützt standardmäßig
- MPS mit bis zu 16 Pentium Pro, Pentium
- auch Sun4m SPARC Rechner (betrachten wir hier nicht)
Der Kernel muß neu kompiliert werden ...
dazu muß nur SMP=1 im makefile auskommentiert werden
Zur Zeit kann aber nur 1 CPU gleichzeitig im Kernel laufen
aber mehrere Unix Prozesse können parallel laufen (Durchsatz)
Linux unterstützt die System V shared memory calls

Threads ?

Threads sind "leichtgewichtige" Prozesse:
- benutzen sogenanntes "light-weight" scheduling
- sind "shared everything" - der ganze Adressraum ist gemeinsam
POSIX Pthreads ist portiert, aber nicht vollständig parallel
http://www.mit.edu:8001/people/proven/pthreads.html
bb_threads benutzt Linux clone() system-call
ftp://ftp.tummy.com/pub/

Was funktioniert

Alle Linux system-calls funktionieren, laufen aber seriell
I/O Operationen sind atomar
Signale und timer funktionieren
Alle Linux Utilities funktionieren
Alle shared memory Mechanismen funktionieren, aber unter Umständen nicht wie erwartet

Linux Support für Clustering

Voller Kernel Support für Sockets
- UDP
- TCP
NFS (Network File System)
Support für ATM AAL* ist in Entwicklung
Sehr viele Utilities unterstützen Sockets

Was Linux von Hause aus nicht bietet

Ein Cluster von PCs verhält sich wie ein einzelnes System
"single system image"
- Keine Kontrolle der parallelen Ausführung
- Kein paralleles Filesystem
- Keine Administration der parallelen Maschine
Dieses kann aber mit frei verfügbaren Tools in Linux installiert werden

Parallelisierungs Software

Fast alle Software, die für Workstations und
Supercomputer entwickelt wurde läuft auf Linux.

Jede Menge Software unterstützt parallele Message-passing Programme
Zwei sehr populäre Bibliotheken sind
- PVM = Parallel Virtual Machine
  war der de-facto Standard, verliert an Bedeutung
- MPI = Message Passing Interface
  ist der offizielle Standard, zur Zeit Version 2.0
  viele Supercomputer Hersteller bieten native MPI auf ihren Rechnern
viele andere high-level parallele Programmiersprachen
alle benutzen Sockets und funktionieren damit auch für SMPs

Quelle: Michael Warren, LosAlamos National Laboratory
"Loki: Commodity Parallel Processing in Practice" (From their site)

Mehr zu PVM und MPI im Vortrag von Dr. Pfreund.

Kommunikation

Network Type	$/Node	$/Port	$/Hub	Max. PEs	Bandwidth (Mbits/s)	Latency (µs)	`n`-PE O( )
*HiPPI	$3,500	$1,500	$30,000	16/hub	1,600.0		log `n`
*Serial HiPPI	$4,500	$2,500	$30,000	16/hub	1,200.0		log `n`
*SCI					1,000.0
*FC					1,062.0
PLIP	$2	$2		2	1.2	1,000
ATM	$3,000	$1,000	$35,000	16/hub	155.0	100	log `n`
Fast Ethernet (unswitched)	$600	$250	$5,000	16/hub	100.0	1,000	> `n`
Ethernet	$100	$100		200	10.0	1,000	> `n`
Fast Ethernet (switched)	$1,500	$250	$20,000	16/hub	100.0	1,000	log `n`
ATM	$3,000	$1,000	$35,000	16/hub	155.0	1,000	log `n`
Ethernet (switched)	$200	$100	$1,500	16/hub	10.0	1,000	log `n`
*ARCNET	$200	$200		255	2.5	1,000	`n`
SLIP	$2	$2		2	0.1	10,000

Quelle: Hank Dietz, 1996

Ethernet

Kosten von DM 100 - 150 für (Fast-)Ethernet Karte
Hohe Kosten für Switche: 24 Ports Ethernet ca. DM 8000
FastEthernet Switche: 20 - 30 TDM
Latenz <= 1 sec, Bandbreite 1 - 10 MB/sec
Skalierung der Kommunikation
Bus: O(n), Switch O( log(n) )

Quelle: Michael Warren, LosAlamos National Laboratory
"Loki: Commodity Parallel Processing in Practice" (From their site)

Neue Hardware

Gegenwärtig nicht "low cost".

100Mbps Ethernet, Switch teuer
- Linux Network Drivers
Digital's Memory Channel, ein > 800 Mbps PCI basierter Interconnect
Gigabit Ethernet
Myricom's Myrinet, ein 640-1280 Mbps, lokaler Interconnect mit niedriger Latenzzeit
ParaStation, ein 120 Mbps PCI basierter Interconnect
Tandem's Servernet, ein 400 Mbps, zuverlässiger nachbereichs Interconnect
Data General: SCI Interconnect Chipset and Adapter, ein 4 Gbps Interconnect mit niedriger Latenzzeit

"Low Cost" Multi-media Interconnects scheinen für Parallel-Computing wenig geeignet.

optimiert für hohe gleichmäßige Datenraten ohne Unterbrechungen
sehr große Latenzzeit, hoher Overhead zum Aufbau der Kanäle

Vergleich WinNT - Linux Network Performance

Armin Mikler, Ames Laboratory
Roadmap to the Pentium Pro Cluster Workshop

Mehr zur Kommunikations Hardware und Software im Vortrag von Prof. Hellwagner.

[Previous] [Next] [Contents]