Mitte September erhielten wir ein Demosystem (1 Controller Shelf mit 2 Controllern und 4 SAS Platten) der FibreCAT SX80 von Fujitsu Siemens Computers. Nun, die Vorfreude war groß: Wird die FibreCAT SX80 halten, was das Marketing verspricht? Bringt das patentierte FibreCache-Verfahren tatsächlich den erhofften Leistungszuwachs bei den Durchsätzen? Und vor allem: Wie sieht es mit den active/active-Eigenschaften aus?
In dieser Beschreibung möchten wir einen reinen Erfahrungsbericht unsererseits abgeben. Bitte achten Sie darauf, welche Funktionen und Features von Fujitsu Siemens Computers freigegeben sind, damit Sie auch auf einen optimalen Support zählen können. Wir haben hier auch teilweise Konfigurationen getestet, die von Fujitsu Siemens Computers noch nicht oder auch in Zukunft nicht freigegeben werden.
Kurz die wichtigsten Merkmale der FibreCAT SX80:
Uns ging es neben dem ersten Funktionstest der FibreCAT SX80 insbesondere darum, die Integrierbarkeit dieses Storage-Systems in unsere Software-Lösung zu prüfen.
Die FibreCAT SX80 benötigt im 19" Rack nur 2 Höheneinheiten. Mit etwa 31 kg ist sie zwar nicht gerade ein Leichtgewicht, kann dafür aber mit solider Verarbeitung glänzen. Überhaupt macht die FibreCAT SX80 einen professionellen Eindruck und braucht den Vergleich mit teureren RAID-Systemen nicht zu scheuen.
Gut sind die am rechten Ohr angebrachten Status LEDs (Aktivität, Fehler, Überhitzung, Power) und am linken Ohr die Enclosure ID. Die FibreCAT SX80 kann schließlich mit bis zu 4 Expansion Shelfs erweitert werden. So behält man auch im RZ jederzeit den Überblick.
Die Rückseite der FibreCAT SX80 ist ganz den Controllern und PSUs überlassen. Sie bietet folgende Schnittstellen:
Daneben befinden sich weitere Status-LEDs auf der Rückseite, die jederzeit Aussagen über die Betriebsbereitschaft der FibreCAT SX80 zulassen (linkes Bild).
Dank des modularen Aufbaus der FibreCAT SX80 sind alle auswechselbaren Teile, wie die Power Units, Controller und natürlich auch die Festplatten einfach und ohne Werkzeug austauschbar. Es hat sich anscheinend durchgesetzt, den Technikern im RZ das Leben nicht schwerer als nötig zu machen, sehr löblich.
Die Lüftergeräusche sind definitv gut hörbar, allerdings lange nicht so störend wie bei manchen anderen RAID-Systemen.
Die FibreCAT SX80 bietet zwei Möglichkeiten zur Konfiguration. Wie bei den meisten RAID-Systemen ist auch der FibreCAT SX80 ein Web-Interface spendiert worden. Dieses gestaltet sich übersichtlich und ist in die zwei Bereiche "Monitor" und "Manage" eingeteilt. Alle Aktionen sind schnell gefunden und durchgeführt, zudem erleichtert die auf jeder Seite aufzurufende Kontext-Hilfe die Arbeit bei Unklarheiten ungemein. Das Web-Interface ist schlicht, jedoch ausreichend und funktionell.
Die zweite Möglichkeit zur Konfiguration besteht in einem Kommando-Interface (CLI - Command Line Interface), welches sowohl über die Ethernet-Schnittstelle, als auch über den COM1 Port zu erreichen ist. Schon die Existenz eines CLI zeigt, dass bei der Entwicklung des RAID-Systems auf die Details geachtet wurde. Bei der praktischen Arbeit zeigen sich dann auch die überragenden Vorteile des CLI:
Alles in allem ein sehr gutes Gesamtpaket, was die Administrierbarkeit betrifft.
LUNs erzeugen
Das Erzeugen von Volumes/LUNs funktioniert mit der FibreCAT SX80 nach folgendem Muster: Als erstes wird eine sogenannte VDisk angelegt, welche direkt auf die physisch vorhandenen Platten aufsetzt. Bei Erstellung der VDisk wird bereits das gewünschte RAID-Level angegeben. Die FibreCAT SX80 unterstützt die RAID-Level 0, 1, 3, 5, 10, 50 und auch none (kein RAID). Bei einem der kommenden Firmware-Updates soll auch RAID-6 integriert werden. Auf dieser VDisk werden dann die Volumes/LUNs angelegt. Die im RAID-System vergebene LUN entspricht dann auf dem Host auch der Disk-Nummer (LUN 4 ist dann c*t*d4). Anzumerken ist noch, daß eine VDisk und damit auch die Volumes/LUNs auf ihr immer exklusiv einem Controller gehören.
FC-Topologien
Die FibreCAT SX80 unterstützt sowohl Point-to-point als auch Loop-Topologie für FibreChannel. Fujitsu Siemens Computers schränkt das auf den Loop-Mode ein, der Voraussetzung für einen problemlosen Failover der WWPNs ist.
Interconnect-Mode
Der Interconnect-Mode stellt, bei Existenz von zwei Controllern, die Möglichkeit dar, die beiden Controller intern miteinander zu verbinden. Damit können z.B. alle vorhandenen LUNs (egal welchem Controller sie gehören) auf allen Ports herausgemappt werden. Dies ist insbesondere dann wichtig, wenn die Hosts direkt an die FibreCAT SX80 angeschlossen werden (siehe linkes Bild). Funktionieren kann der Interconnect-Mode natürlich nur mit der Loop-Topologie.
FibreCache ist der für Fujitsu Siemens Computers patentierte Name des Dual-Controller Cache Verfahrens, das in der FibreCAT SX80 Verwendung findet. Geschriebene Daten werden dabei vom Host zu einem Controller geschickt, welcher die Daten simultan zum Cache des anderen Controllers spiegelt. Dieses Verfahren soll die Performance und Bandbreite signifikant verbessern, da die Storage-Prozessoren in den Spiegelungsprozess nicht involviert sind und Schreibverzögerungen erheblich reduziert werden.
Tatsächlich haben wir mit einem RAID-5 (über 4 Platten) Schreibwerte von 100 MB/s und mehr erhalten. Die Datendurchsätze waren allgemein sehr gut.
Als FibreCap wird die in der FibreCAT SX80 benutzte batteriefreie Alternative der Cache-Daten Speicherung nach einem Spannungsausfall bezeichnet.
Stattdessen wird eine robuste kondensator-basierende Technologie verwendet, die fehlertolerant und langlebig (Lebenszyklus: bis 10 Jahre) ist. Dazu werden die Daten des Caches auf einer Compact-Flash Karte gespeichert, die schnell ist und wenig Energie verbraucht. Das System wird nach einem Spannungsausfall innerhalb weniger Minuten wieder performant.
Nicht ganz problemlos war die Integration der FibreCAT SX80 in Solaris, allerdings sei auch hier darauf hingewiesen, dass OSL hier einen Feldtest gemacht hat, da Fujitsu Siemens Computers Solaris für die FibreCAT SX80 noch nicht freigegeben hat und damit auch keinen Support dafür leistet. Die Freigabe erfolgt voraussichtlich im Dezember 2006.
Die FibreCAT SX80 wurde mit aktuellen Solaris-Versionen (9 und 10 für Sparc) getestet. Des weiteren wurden verschiedene Host-Bus-Adapter (Emulex & Qlogic), unterschiedliche Hosts und Anschlusstechniken (direkt oder über Switch) verwendet.
Bei direkter FC-Verkabelung wird Fujitsu Siemens Computers nur den Leadvilletreiber für Solaris in Verbindung mit der FibreCAT SX80 freigeben.
Es sind bei der Solaris Unterstützung noch einige Hardware-Support Fragen zu klären. Insbesondere bleibt abzuwarten, was die nächsten Firmware-Updates bringen. Dennoch kann die FibreCAT SX80 sehr gut unter Solaris betrieben werden, wenn die FibreChannel-Anbindung steht.
Wenn die FibreCAT SX80 Volumes unter Solaris verfügbar sind, ist der größte Teil der Einbindung in OSL Storage Cluster 3.0 bereits geschehen. Ab Load 33 wird die FibreCAT SX80 automatisch integriert, ältere Versionen benötigen lediglich die Nachkonfiguration der Scan-Spezifikation. Die Volumes sind für den Storage Cluster sofort sichtbar (aber noch foreign):
# devtab -lvvv Running with clustername: sx80 Building device table: ok /dev/rdsk/c7t60d0s1 | | sunSPARC | N | FSC | FibreCAT_SX1 | J100 | CAPI | 1953 MB | foreign | pi | /dev/rdsk/c8t61d0s1 | | sunSPARC | N | FSC | FibreCAT_SX1 | J100 | CAPI | 1953 MB | foreign | pi | /dev/rdsk/c7t60d1s1 | | sunSPARC | N | FSC | FibreCAT_SX1 | J100 | CAPI | 39062 MB | foreign | pi | /dev/rdsk/c8t61d1s1 | | sunSPARC | N | FSC | FibreCAT_SX1 | J100 | CAPI | 39062 MB | foreign | pi | /dev/rdsk/c7t70d0s1 | | sunSPARC | N | FSC | FibreCAT_SX1 | J100 | CAPI | 39062 MB | foreign | pi | /dev/rdsk/c8t71d0s1 | | sunSPARC | N | FSC | FibreCAT_SX1 | J100 | CAPI | 39062 MB | foreign | pi |
Sie können nun mittels dkadmin -u universe -ni inventarisiert werden. Dann sind die Volumes für den Cluster bekannt (native) und stehen global zur Verfügung:
# devtab -lvvv Running with clustername: sx80 Building device table: ok /dev/rdsk/c7t60d0s1 | | sunSPARC | N | FSC | FibreCAT_SX1 | J100 | CAPI | 1953 MB | native | pv | 0 | sx80 | ccf_sx80 | dvsys | /dev/rdsk/c8t61d0s1 | | sunSPARC | N | FSC | FibreCAT_SX1 | J100 | CAPI | 1953 MB | native | pv | 0 | sx80 | ccf_sx80 | dvsys | /dev/rdsk/c7t60d1s1 | | sunSPARC | N | FSC | FibreCAT_SX1 | J100 | CAPI | 39062 MB | native | pv | 0 | sx80 | pv0_A | default | /dev/rdsk/c8t61d1s1 | | sunSPARC | N | FSC | FibreCAT_SX1 | J100 | CAPI | 39062 MB | native | pv | 0 | sx80 | pv0_A | default | /dev/rdsk/c7t70d0s1 | | sunSPARC | N | FSC | FibreCAT_SX1 | J100 | CAPI | 39062 MB | native | pv | 0 | sx80 | pv0_B | default | /dev/rdsk/c8t71d0s1 | | sunSPARC | N | FSC | FibreCAT_SX1 | J100 | CAPI | 39062 MB | native | pv | 0 | sx80 | pv0_B | default |
Es sollte nun ein dvboot ausgeführt werden, damit die Physical Volumes aktiviert (attached) werden.
pvadmin -lvv liefert dann:
# pvadmin -lvv 0 ccf_sx80 (ok) 3735552 blocks over 2 path(s) >[ 1] (ok) /dev/rdsk/c8t61d0s1 [ 2] (ok) /dev/rdsk/c7t60d0s1 0 pv0_A (ok) 79691776 blocks over 2 path(s) >[ 1] (ok) /dev/rdsk/c7t60d1s1 [ 2] (ok) /dev/rdsk/c8t61d1s1 1 pv0_B (ok) 79691776 blocks over 2 path(s) >[ 1] (ok) /dev/rdsk/c7t70d0s1 [ 2] (ok) /dev/rdsk/c8t71d0s1
Auf diesen Physical Volumes können nun die Application Volumes erstellt werden:
# avadmin -lvv 0 av0 4194304 blocks "simple" in 1 pieces [ 1] pv0_A [0...4194303] 1 av1 4194304 blocks "simple" in 1 pieces [ 1] pv0_B [0...4194303]
Ergebnis: Die Integration der FibreCAT SX80 in den OSL Storage Cluster verlief absolut problemlos und funktionierte unter allen Solaris-Versionen, sobald die Volumes/LUNs für den Host sichtbar waren. Bitte beachten Sie auch hier, dass Solaris für die FibreCAT SX80 von Fujitsu Siemens Computers noch nicht freigegeben wurde und deshalb noch kein Support geleistet wird. Gegenüber der ab Solaris 10 eigenen Multipfad-Lösung MPxIO (wo einige Probleme auftauchten) war die Installation und Konfiguration wie gewohnt einfach und verlief ohne böse Überraschungen. Die FibreCAT SX80 kann also OSL SC Anwendern ohne weiteres empfohlen werden. Sie läßt sich einfach in vorhandene Umgebungen integrieren und liefert gute bis sehr gute Durchsätze.
Ein weiteres wichtiges Feature der FibreCAT SX80 ist die Erstellung von Snapshots. Es können bis zu 4 Snapshots pro System erstellt werden. Snapshots können für "instant backups" (Point-in-time Kopien) als auch für die Erstellung von schreibbaren Kopien verwendet werden, beispielsweise für eine Testanwendung. Daneben gibt es noch weitere Anwendungsfälle, wie die schnelle Wiederherstellung von ungewollt gelöschten Daten, Backup-to-Disk usw..
Wichtige Eigenschaften der FibreCAT SX80-Snapshots sind:
Das Erstellen von Snapshots erfolgt nach dem Muster:
Die mit der FibreCAT SX80 gemachten Snapshots lassen sich auch sehr gut in den OSL Storage Cluster integrieren (m2slock). Es sind einige wenige Vorbereitungen erforderlich, die Einbindung funktioniert dann aber reibungslos und ist an Klarheit nicht zu übertreffen.
Die FibreCAT SX80 von Fujitsu Siemens Computers konnte überzeugen. Die guten bis sehr guten Durchsätze (Lesen & Schreiben ca. 100 MB/s mit 4 Platten RAID-5) bei kleiner Konfiguration machen Lust auf mehr. Fujitsu Siemens Computers will die Durchsätze mit einem kommenden Firmware-Update weiter optimieren.
Die vielen durchdachten Features wie das CLI, die Snapshots, die redundante Auslegung der Controller und PSUs, sowie die neuen Technologien FibreCache und FibreCap und die Unterstützung der gängigsten RAID-Level macht die FibreCAT SX80 zu einem bedienerfreundlichen, modernen RAID-System für einen vernünftigen Preis.
Die modulare Auslegung und die Möglichkeit der gemeinsamen Bestückung mit SATA und SAS-Platten runden das Bild ab.