Die Standardisierung von »Fibre Channel over Ethernet« (FCoE) soll bis Mitte 2009 abgeschlossen sein. Die ersten Produkte befinden sich bereits auf dem Markt und unterziehen sich nun Evaluierungs- und Kompatibilitätstests. FCoE wird zuerst seinen Nutzen bei der Server-I/O-Konsolidierung beweisen.

von Dr. Walter Dey, Board of Directors, SNIA Europe

»Fibre Channel over Ethernet« (FCoE) besteht aus zwei Protokollen, dem Protokoll der Datenebene, üblicherweise FCoE genannt, und dem der Kontrollebene, FIP (FCoE Initialization Protocol). Die zwei Protokolle haben verschiedene »EtherType«-Werte (Ethertype FCoE = %x8906, Ethertype FIP= %x8914) und Rahmenformate. FIP entdeckt die FC-Entitäten, die an einer Ethernet-Wolke angeschlossen sind. Ebenso wird es für Login und Logout zur FC-Fabric eingesetzt. FCoE transportiert die meisten FC-Rahmen und den vollständigen SCSI-Verkehr.

FCoE ist sehr einfach, indem es ein Fibre-Cannel-Frame in Ethernet enkapsuliert und als Payload des Ethernet-Rahmens transportiert. Da Fibre-Channel wegen seiner kreditbasierten Flusskontrolle verlustfrei ist (außer im seltenen Fall eines Frame-Verlusts wegen eines Linkfehlers) wird es nötig, das heutige Ethernet (auch Standard-Ethernet genannt) zu erweitern und ebenfalls verlustfrei zu machen. Das Resultat hat verschiedene Namen: CEE (Converged-Enhanced-Ethernet), DCE (Data-Center-Ethernet), DCB (Data-Center-Bridging) oder einfach Lossless-Ethernet. Allerdings ist es so, dass die Hersteller von FCoE-Produkten darunter verschiedene Sachen verstehen.

Generell kann man sagen, dass CEE, DCE und DCB nicht ein einziges Protokoll sind, sondern eine Kollektion verschiedener Protokolle, die meistens innerhalb von IEEE (einige wenige unter IETF) standardisiert werden:
• Congestion-Notification: Approved project IEEE 802.1Qau
• Shortest-Path-Bridging: Approved project IEEE 802.1Qaq
• ETS (Priority-Groups): Approved project IEEE 802.1Qaz
• Priority-based Flow-Control (PFC): IEEE 802.1Qbb
• DCB Capability-Exchange-Protocol: DCBX

Die Komponenten einer FCoE-Lösung

Der FCoE-Standard definiert in Anlehnung an Fibre-Channel virtuelle N-, F- und E-Ports sowie VN-, VF- und VE-Ports. Zusätzlich gibt es

	FCoE-LEP (FCoE Link Endpoint): die Funktion, die Fibre-Channel-Rahmen enkapsuliert/dekapsuliert und FCoE-Rahmen versendet/empfängt
	FCoE-Controller: implementiert das FIP Protokoll

Obwohl es sehr weite Übereinstimmung zwischen Standard-Fibre-Channel und FCoE gibt, sind zwei Unterschiede wichtig: Bei Standard-FC ist ein Server mit einer Punkt-Punkt-Verbindung an einen Fibre-Channel-Switch angebunden. Bei einem FCoE-Knoten (ENode) ist die Verbindung im Allgemeinen ein Multi-Access-Netzwerk (verlustfreie Ethernet-Wolke). Die kreditbasierte Flusskontrolle des Standard-FC wird durch die prioritätbasierte Flusskontrolle bei FCoE (PFC: IEEE 802.1Qbb) ersetzt.

Die FCoE-Adressierung und -Weiterleitung der FCoE-Rahmen funktioniert Hop-by-Hop mittels der MAC-Adresse im Ethernet-Header und End-zu-End mittels der Fibre-Channel-Adresse, die sich im Fibre-Channel-Frameheader befindet. Grafik 3 zeigt FCoE-Switch-Ethernet-Ports und Fibre-Channel-Ports. Bei den Ethernet-Ports handelt es sich um 10-Gbit-Ethernet-Ports, wobei sowohl Standard-Ethernet als auch Data-Center-Ethernet implementiert sein kann. Der in Hardware ausgeführte Fibre-Channel-Forwarder (FCF) macht die Einkapselung zwischen FCoE und Fibre-Channel mit höchster Leistung.

Ein FCoE-Switch verfügt über eine »Datenebene« (FCoE-Protokoll) wie auch über eine »Kontrollebene« (FIP-Protokoll) für Kontrollprotokolle wie dNS und FSPF. Ein Beispiel eines solchen Switches ist der »Nexus 5020« von Cisco Systems.
Grafik 4 zeigt einen Rechner mit einem so genannten CNA (Converged-Network-Adaptor), der ein Hybrid eines 4-Gbit-FC-HBA und eines 10-Gbit-Ethernet-Adapters ist. Er hat zwei 10-Gbit-Ports und ist intern an einem PCI-Express angeschlossen.

Der Server-Administrator ebenso wie das Betriebssystems sehen einen Fibre-Channel auch als einen 10-Gbit-Ethernet-Adapter. Die Treiber für Fibre-Channel und 10-Gbit-Ethernet sind identisch mit denjenigen der entsprechenden Technologien. Es entfällt somit eine neuerliche Zertifizierung des Speicherlieferanten.

Der Nutzen von FCoE

Die erste Anwendung von FCoE wird die Rechner-I/O-Konsolidierung sein (Grafik 6). Anstelle mehrerer FC-HBAs und Gbit-Ethernet-Verbindungen verfügt der Rechner über eine neue, FCoE-fähige Schnittstelle mit je zwei 10Gbit/s-Ports. Für hohe Verfügbarkeit können auch zwei installiert werden. Über diese Schnittstellen wird jetzt sowohl IP über Ethernet als auch Fibre-Channel über Ethernet zum FCoE-Switch transportiert.

Als Vorteil für Unternehmen und IT-Verantwortliche ergeben sich weniger Schnittstellen pro Rechner, daher eine höhere Rechnerdichte im Rack, weniger Kabel (fast 50 Prozent weniger Kabel als bei einem konventionellen Fibre-Channel/Ethernet-Design), geringerer Stromverbrauch und daher weniger Kühlung. Um Kosten einzusparen kann die 10-Gbit-Verkabelung innerhalb des Racks mittels Twinax (Kupfer SFP+) ausgeführt werden; allein schon diese Einsparungen in der Verkabelung können, verglichen mit der konventionellen Methode, 40 Prozent betragen.

Andererseits sehen wir in den kommenden zwölf bis 18 Monaten eine Migration der Rechneranbindung von Gbit- auf 10-Gbit-Ethernet. Dies ist eine logische Folge aus der Tatsache, dass heute ein physikalischer Server dutzende von virtuellen Servern bedient (was höhere I/O-Bandbreite erfordert), Multisocket/Multicore-CPU zum Standard werden und vernetzter Speicher (SAN) auch größere Bandbreite erfordert.

In einer späteren Phase – vielleicht in drei bis fünf Jahren – ist es auch denkbar, dass die heutigen Fabrics für LAN und SAN zusammengelegt und konsolidiert werden. Damit würde das FCoE-Protokoll nicht mehr wie in der ersten Phase im Access-Bereich terminiert, sondern bis in den Backbone (Core) weitergezogen.

FCoE ist sowohl eine Alternative zu iSCSI oder klassischem Fibre-Channel. Es wird Fibre-Channel nicht ersetzen, sondern ist eine zusätzliche Option, die Vorwärtskompatibilität mit den heutigen FC-SANs sicherstellt.

Im Gegensatz zu anderen I/O-Konsolidierungsansätzen wie Infiniband oder iSCSI wird bei FCoE das Management-Modell von Standard-Fibre-Channel beibehalten. Netzwerkapplikationen, Multipathing-Host-Software, Zoning sind exakt wie bei Fibre-Channel. FCoE kann daher phasenweise eingeführt werden, koexistierend mit Fibre-Channel. Diese Evolution beginnt bei den Servern und wird als letztes bei den Storage-Subsystemen ankommen.

Einige Firmen verstehen allerdings unter FCoE nur den Transport von Fibre-Channel über einen 10-Gbit-Ethernet-Transport, ohne die I/O-Konsolidierung (also IP und FC über dasselbe Kabel).

Stand der Standardisierung

Die Standardisierung des FCoE-Protokolls begann im Juni 2007 innerhalb der FC-BB-5-Arbeitsgruppe des Technischen Komitees INCITS T11 . Im August 2007 gab es eine Einigung über das FCoE-Frame-Format, im Februar 2008 über die Struktur der MAC-Adressen und schlussendlich im Juni 2008 über das FIP (FCoE-Initialization-Protocol). Diese kurze Zeit ist im Vergleich zu anderen Protokollen ein Rekord. Im Oktober 2008 hat die T11 den »Letter Ballot« für FCoE abgesegnet. Das heißt, dass wir den ersten offiziellen Draft des FC-BB-5-Standards in der endgültigen Form haben und die Entwicklung abgeschlossen ist. Das Dokument ist unter http://www.t11.org/ftp/t11/pub/fc/bb-5/08-569v1.pdf einzusehen. Alle 30 partizipierenden Firmen hatten daraufhin 30 Tage Zeit, um ihre Kommentare einzusenden. Danach werden diese bearbeitet, etwelche Probleme gelöst und in dem endgültigen Standard mitberücksichtigt. Der endgültige Standard wird für Juni 2009 erwartet.

Einige Punkte wurden auf einen späteren Zeitpunkt verschoben (FC-BB-6), zum Beispiel:

	FCoE for FICON,
	mehrere VSANs über ein einzelnes VLAN (VFT-Header),
	Punkt-Punkt-FCoE ohne FCoE-Switch,
	direkte Ethernet-Kommunikation von Initiator und Target ohne FCF (FCoE-Switch).

Schlussfolgerung

Die Standardisierung von FCoE wird spätestens Mitte 2009 abgeschlossen sein. Verfügbar sind bereits CNAs von verschiedenen Herstellern und entsprechende Treiber. Diese CNAs der ersten Generation gibt es vor allem für rackoptimierte Server (noch keine Blade-Mezzanine-Karten); sie sind nicht hochintegriert (Multichip) und brauchen daher noch viel Strom. CNAs der zweiten Generation wie auch Mezzanine-Karten für Blade-Systeme sind in Entwicklung und sollen im Laufe von 2009 verfügbar werden.

Andererseits gibt es den FCoE-Software-Stack, der heute Linux unterstützt (Windows Ende 2008) und mit einer regulären 10-Gbit-Ethernet-Netzwerkkarte betrieben werden kann. Verschiedene Lieferanten bieten auch FCoE-Offload an, wobei Teile dieses FCoE-Stacks in den ASIC geladen werden. Zudem gibt es FCoE-Switches, die über die Kontroll- und Datenebene von FCoE verfügen (FCF=Fibre-Channel-Forwarder), bzw. in Zukunft auch reine verlustfreie Ethernet-Switches (Data-Center-Ethernet oder jedenfalls einen Subset davon) implementieren. Die letzteren werden wohl häufig in Blade-Chassis anzutreffen sein.

Auf der SNW im Oktober 2008 in den USA wurden die ersten FCoE-Targets (Storage-Subsysteme mit FCoE-Anschluss) angekündigt. Einige Disksubsystemhersteller versehen ihre Controller mit 10-Gbit-Ethernet-Schnittstellen und fahren FCoE. Für 2009 erwartet die Branche weitere solcher Produkte.

Unternehmen, die an FCoE interessiert sind, führen gerade Proof-of-Concept-Installationen durch und testen Funktionalität und Performance. Im Laufe des Jahres 2009 steht das FCoE-Eco-System und es werden reife Produkte (CNAs, Switches, Disksubsysteme) und Zertifizierungen der großen Speicherlieferanten vorliegen.

Der Nutzen liegt in einer ersten Phase bei der Server-I/O-Konsolidierung (FCoE/Data-Center-Ethernet zwischen Server und FCoE-Switch im Rack), in drei oder mehr Jahren bei der Fabric-Konsolidierung. Daher sollten Firmen, die entweder ein neues Rechenzentrum planen oder eine größere Menge von neuen Servern in Betrieb nehmen, FCoE heute in Betracht ziehen.