Performance-Test

Da wir im Life-Betrieb Performance-Probleme beim Zugriff auf gemountete exportierte lustre-Filesysteme festgestellt haben, haben wir folgende Performance-Tests durchgeführt.

  • Zugriff auf lustre-Filesystem lokal
  • Zugriff auf lustre-Filesystem via export durch knfsd (RedHat Enterprise Linux 3)
  • Zugriff auf lustre-Filesystem via export durch userspace-nfs-server (GPL)
  • Zugriff auf ext3-Filesystem via export durch knfsd (RedHat Enterprise Linux 3)
  • Zugriff auf ext3-Filesystem via export durch userspace-nfs-server (GPL)

Vorbereitung des Tests

Hardware

In Ermangelung reeller Systeme wurden die Performance-Tests auf virtuellen Systemen (Basis: VMware Workstation Version 4.5.2-8848 bzw. VMware Player) mit jeweils 256MB RAM durchgeführt. Zum Einsatz kamen dabei

  • ein Notebook vom Typ IBM Thinkpad A30 mit 512 MB RAM und dem Trägerbetriebssystem Fedora Core 3 als Lustre-Server
  • ein PC von Maxdata mit 2,8GHz-Prozessor und 512 GB RAM und dem Betriebssystem SuSE Professional 9.2 als Träger für das NFS-Gateway
  • ein Notebook vom Typ HP compaq nc6000 unter dem Betriebssytem Microsoft Windows XP und einer virtuellen Maschine im VMware-Player
  • ein System Compaq Proliant mit 700 MHz und 256MB RAM unter SLES 9 als ,,nativer” NFS-Client

Netzwerk

Die o.g. Systeme waren untereinander mit einem 100Mbps LAN verbunden, wobei die virtuellen Maschinen das sog. ,,Bridged Network” verwendeten, d.h. sich den physikalischen Netzwerkadapter mit dem Trägerbetriebssystem teilen. Die IP-Adressen wurden in diesem LAN-Segment fest zugewiesen und im DSN-Server (ein weiteres System) eingetragen.

Software

gemischte 32-Bit-Umgebung mit Redhat Enterprise Linux 3 (Update 3)

  • Lustre Client, Kernel 2.4.21-32.0.1.EL_lustre.1.4.3smp
  • NFS Client, Kernel 2.4.21-20.EL

und SuSE Linux Enterprise Server 9 (z.T. mit Service Pack 2)

  • Lustre Server, Kernel 2.6.5-7_191.lustre.1.4.5bigsmp
  • NFS Client, Kernel 2.6.5-7.201-default

/etc/exports

# NFS Gateway - lustre client 
/lserve/foreign2	*(rw,no_root_sqash,async)
/tmp/local		*(rw,no_root_sqash,async)
service nfs restart

dd auf lustrefs

time dd if=/dev/zero of=./40M bs=1024 count=$(( 40 * 1024 ))
40960+0 Records ein
40960+0 Records aus

real    0m7.234s
user    0m0.030s
sys     0m5.440s

userspace nfs server

Darstellung via knfsd rhel 3 kernel 2.4.21

local copy von lustrefs

time cp 40M /tmp/local
real    0m2.376s
user    0m0.000s
sys     0m2.350s

copy via nfs von lustrefs

time cp /mnt/00/40M .
real    0m21.093s
user    0m0.000s
sys     0m0.200s

copy via nfs local

time cp /mnt/01/40M .
real    0m6.624s
user    0m0.030s
sys     0m0.390s

Darstellung via userspace-nfsd rhel 3

copy via nfs local (userspace)

time cp /mnt/01/40M .
real    0m4.678s
user    0m0.000s
sys     0m0.590s

copy via nfs (userspace) von lustrefs

time cp /mnt/00/40M .
real    0m8.544s
user    0m0.000s
sys     0m0.180s
 
wissen/cluster/lustrefs/performancetest_lustrefs_nfs.txt · Zuletzt geändert: 05.09.2010 20:31
 
Recent changes RSS feed Donate Valid XHTML 1.0 Valid CSS Recent cached RSS feed cacert-signed web site: inhalt.serviert.de