Konzepte

Parallel Computing

• Vektorrechner
  auch als Mehrprozossor Rechner
  Cray, Fujitsu, NEC
  Dataparallel Programmiermodell

• Rechner mit eng gekoppelten Prozessoren
  3D-Netz, Mesh, feste Netztopologie
  SMP, DASH, Cache Coherence
  Cary T3, SGI Origin, Convex
  spezielle Kommunikationshardware
  Shared Memory Programmiermodell

• Rechner mit lose gekoppelten Prozessoren
  IBM SP, Intel, Hitachi
  spezielle Kommunikationshardware
  Message Passing Programmiermodell

• Cluster Computing
  lokales Netz von Workstations, NOW und COW
  PC Farmen, Beowulf Systeme
  spezielle und TCP/IP Kommunikationshardware
  Message Passing Programmiermodell

• Hypercomputing, World Wide Computing WWC
  weltweites TCP/IP Netz von Rechnern
  Krypto-challenge, Problem der Organisation

Low Cost Systeme

Niedrige Anschaffungs- und Unterhalts-Kosten,
bei hoher Leistung

• Supercomputer:
  10 und mehr Millionen DM
  TOP500 Marktvolumen: konstant 4 Milliarden US$

• RISC Cluster, SMP Systeme und Vektorrechner:
  0,5 bis 10 Millionen DM

• RISC Einstiegssystme:
  50 bis 500 Tausend DM

• Low Cost Systeme:
  unter 50 Tausend DM / Dollar

  PC Hardware, Intel (AMD, Cyrix) + Windows PCs aber mit Linux, FreeBSD, WinNT Software

  NASA Beowulf System: 16 Intel Pentium Pro 200 MHz unter Linux und FastEthernet mit 68,4 MFLOPS pro Prozessor

• Preis/Performance:
  TOP500: 2 GFLOPS für 1 Millionen US$ (Simon)
  Beowulf: 1.25 GFLOPS zu 50 Tausend Dollar, Nov 1996

  = Faktor 10 Unterschied

Leistungsdaten

Leistungsspektrum

• Intel Prozessoren am unteren Ende des Leistungsspektrums
• Faktor 2-5 zu RISC CPUs
• Faktor 10-20 zu Supercomputer CPUs

• aber auch preislich am unteren Ende
  Faktor 100 Unterschied bei Preis/Performance

• Intel Alternativen: AMD K6, Cyrix M2 noch preisgünstiger

• Linpack Leistung: Java - FORTRAN auf PC vergleichbar !
  kein Faktor 10

Cluster

Beginn mit NOW (Network of Workstations) Nutzung von Ethernet mit TCP/IP Verwendung ungenutzter Rechenzeit

Architektur Modell

• mehrere von einander unabhängige Rechner
• die Prozessor und I/O Performance skalieren
• jede Interprozessor-Kommunikation ist ein OS Aufruf
  • Hohe Latenzzeit
  • Bandbreite hoch für Transfer grosser Blöcke
• zum Teil kann die Kommunikation mit Berechnungen überlappt werden

Kommunikations-Bandbreite

• Maximale Datenmenge, die in einer Zeiteinheit übertragen wird
• sehr wichtig, wenn grosse Datenblöcke übertragen werden sollen
• wird in bits/second (baud) oder Bytes/second gemessen
• ein 1,200 baud Modem übertragt 120 B/s
• ISDN mit 64 Kbit/sec übertragt ca 8000 B/s
• 155 Mb/s ATM übertragt 17 MB/s, ca. 130,000x schneller

Kommunikations-Latenzzeit

• Minimale Zeit zur Übertragung eines Objekts einschließlich allen Overheads
• bestimmt die minimale sinnvolle grain size der Parallelisierung
  • angenommen die Latenzzeit = L
  • falls der sequentielle Code in weniger als 2*L ausgeführt wird, ergibt sich ein slowdown bei der parallelen Ausführung

Topologien

• Bus: teilen der Bandbreite 1/n
• Switch: je 2 erhalten volle Bandbreite 1/log(n)
• Ring: teilen der Bandbreite 1/n
• Mesh: 1/sqrt(n)
• mehrfach Bus: m/n
• Hypercube: log(n)/n

(PC) Netzwerk Interface Hardware

• Viele Varianten
• Alle unterstützen Sockets (TCP/IP)
• Bandbreite von 115 Kb/s bis 1.6 Gb/s
• Latenzzeit immer hoch / schlecht, aber breites Spektrum
• Kosten von wenigen DM bis zu mehreren TDM pro PC
• Maximale Anzahl von PCs von 2 bis zu mehreren Hundert
• Maximale Kabellänge von 50 cm bis zu mehreren Kilometern
• auch das Internet kann genutzt werden

Multiprozessor Rechner

Ein PC/WS ist mit 2, 4 oder auch 8 Prozessoren ausgestattet. Pentium Prozessoren unterstützen Mehrprozessor Protokolle Preisgünstige 2 Prozessorrechner, 4 Prozessorrechner noch teuer

Architektur Modell

• mehrere Prozessoren teilen sich einen physikalischen Speicher
• die Prozessoren kommunizieren durch
  • speichern und laden von gemeinsamen Speicher
  • Signale oder Interrupts
• die Zugriffszeit ist nicht konstant (NUMA), abhängig von
  • Speicheradresse (lokaler Cache, gem. Speicher)
  • Vorgeschichte (Caching, Cachekoherenz Protokolle)
• Intel Multiprocessor Standard (MPS) 1.1 and 1.4,
  http://www.intel.com/IAL/processr/mpovr.htm

• Varianten durch gemeinsamer oder separater:
  L2 Cache, PCI Bus, Speicher

Performance

• hängt stark vom verwendeten Betriebssystem und der Qualität seines Shedulers ab
• ohne guten Kernelsheduler führen zu viele Prozesse / Threads zu Null Performance (spin loops)
• Falls alle Prozesse / Threads zur gleichen Zeit laufen:
  • ist die Bandbreite 1/n der Bandbreite zum shared cache oder DRAM, mindestens 5 MB/s
  • Latenzzeit ist nur wenige Microsekunden, noch besser bei shared cache
• bei shared cache kann durch shared fetching 10% - 20% mehr Speedup eintreten

[Previous] [Next] [Contents]