Teil 7: SDS Ceph für KMU’s  -  Skalierung und Performance von CephFS-Metadaten

In dieser Reihe haben wir uns bereits intensiv mit den Grundlagen, der Kostenstruktur und den betrieblichen Herausforderungen von Open‑Source‑Software‑Defined‑Storage für kleine und mittlere Umgebungen beschäftigt.

In Teil 7 richten wir nun unseren Blick auf CephFS, das letzte Front‑End von Ceph, und beleuchten, wie Sie die Metadaten‑Leistung optimieren und gleichzeitig hohe Verfügbarkeit sicherstellen.

Warum Metadaten‑Performance entscheidend ist

CephFS unterscheidet sich von RBD und RGW dadurch, dass es ein POSIX‑Dateisystem auf dem RADOS‑Cluster abbildet. Während die Objektspeicherung (RBD, RGW) vor allem von Netzwerk‑ und Festplattendurchsatz profitiert, hängt CephFS in großem Maße von der Geschwindigkeit der Metadaten‑Server (MDS) ab:

• Verzeichnisauflösungen, Dateiöffnungen und Schreib‑Locks werden über MDS gesteuert.
• Jeder neue Pfadzugriff führt zu CPU‑arbeit auf dem MDS.
• Schlechte MDS‑Performance kann sich in langen Latenzen und sinkendem Durchsatz niederschlagen.

Für kleine Umgebungen mit wenigen Clients mag ein einzelner MDS genügen. Ab einer gewissen Anzahl gleichzeitiger Zugriffe oder bei IO‑intensiven Workloads stößt man jedoch schnell an Grenzen.

Single‑Threaded MDS: CPU‑Takt schlägt Kernzahl

Ein zentrales Detail, das oft übersehen wird, ist: Der CephFS‑MDS‑Daemon ist single‑threaded. Das bedeutet:

• Hoher CPU‑Takt > viele Kerne.
• Empfohlene CPUs: Intel Xeon Gold oder AMD EPYC mit hohem GHz‑Wert.
• Unnötige Mehrkern‑Server beschleunigen keinen einzelnen MDS‑Prozess.

Praktisch heißt das: Stellen Sie sicher, dass Ihre MDS‑Hosts mindestens vier oder mehr Kerne mit 3,0 GHz+ bieten, statt 16‑ oder 32‑Kern‑Systeme mit niedrigerem Single‑Core‑Boost.

Skalierung über mehrere aktive MDS

Ab Ceph Jewel (v10.2.0) ist CephFS offiziell „production ready“ und unterstützt mehrere aktive MDS‑Dienste pro Dateisystem:

• Multi‑Active‑MDS erlaubt, Metadaten‑Last auf mehrere Instanzen zu verteilen.
• Jeder aktive MDS kümmert sich um einen Teilbaum im Dateisystem (Metadaten‑Sharding).
• Sie steigern so die Anzahl paralleler Operationen, etwa bei vielen Verzeichnis‑Lookups oder Snapshots.

Praxis: Für z. B. ein zentrales Home‑Verzeichnis mit vielen Nutzern empfiehlt sich der Betrieb von 2-4 aktiven MDS‑Instanzen.

Hohe Verfügbarkeit: Standby‑Replay und Cooperative Standby

Um Ausfälle abzufedern und Failover‑Zeiten zu minimieren, sollten Sie je aktivem MDS mindestens zwei zusätzliche MDS‑Instanzen betreiben:

1. Standby‑Replay‑MDS
   Der Standby‑Replay‑MDS liest fortlaufend das Journal des aktiven MDS und repliziert dessen Metadaten‑Operationen, um bei Ausfall des aktiven MDS eine nahtlose Übernahme zu ermöglichen.
2. Cooperative Standby‑MDS
   - Ein normaler Standby ohne Replay‑Funktion.
   - Wartet im Hintergrund, um bei Mehrfachausfällen zu springenden.

MDS‑Typen

• Active MDS (x Instanzen)
  - Rolle: Verarbeitet Metadaten‑Operationen
  - Failover‑Eigenschaft: keine
• Standby‑Replay MDS (x Instanzen)
  - Rolle: Liest fortlaufend das Journal des aktiven MDS für schnelles Failover
  - Failover‑Eigenschaft: Downtime < 1 Sekunde
• Cooperative Standby MDS (1 Instanz)
  - Rolle: Reserve für zusätzliche Sicherheit
  - Failover‑Eigenschaft: startet nach aktivem Failover

Beispiel: Fünf‑Knoten‑MDS‑Cluster

Für viele kleine bis mittlere Installationen hat sich dieses Setup bewährt:

• 2 Active MDS
• 2 Standby‑Replay MDS (je einer pro Active)
• 1 Cooperative Standby MDS

Damit haben Sie:

• Zweistufiges Failover
• Lastverteilung für Metadata‑Sharding
• Resilienz auch bei Mehrfachausfällen (bis 2 MDS gleichzeitig)

Fazit

Mit CephFS haben Sie ein hochflexibles, verteiltes Dateisystem, dessen Performance vor allem von der MDS‑Architektur abhängt. Die wichtigsten Takeaways:

• Single‑Threaded MDS: Setzen Sie auf CPUs mit hohem Single‑Core‑Boost.
• Multi‑Active‑MDS: Skalieren Sie Metadaten‑Last horizontal.
• Standby‑Replay & Co‑Op Standby: Sorgen Sie für schnelle Failover und zusätzliche Resilienz.
• 5‑Knoten‑Setup: Ein häufiger “Sweet Spot” für kleine und mittlere Umgebungen.

Vorhergehendes Thema:

Teil 6: Installation und Konfiguration von Ceph