Verteiltes Dateisystem

Was ist ein verteiltes Dateisystem?

Ein verteiltes Dateisystem (DFS, Distributed File System) ist ein Dateisystem, das sich über mehrere Dateiserver oder mehrere Standorte erstreckt, z. B. Dateiserver, die sich an verschiedenen physischen Orten befinden. Auf Dateien kann von jedem Gerät und von jedem Ort im Netzwerk aus so zugegriffen werden, als wären sie lokal gespeichert. Ein DFS ist ideal für die kontrollierte und autorisierte gemeinsame Nutzung von Daten und Dateien durch die Benutzer in einem Netzwerk.

Warum ist ein verteiltes Dateisystem wichtig?

Der Hauptgrund, warum sich Unternehmen für ein DFS entscheiden, ist der Zugriff auf dieselben Daten von mehreren Standorten aus. Vielleicht haben Sie ein Team, das über die ganze Welt verteilt ist, aber für die Zusammenarbeit auf dieselben Dateien zugreifen können muss. Oder, wenn Sie in der heutigen, zunehmend hybriden Cloud-Welt Zugriff auf dieselben Daten vom Rechenzentrum über den Edge-Bereich bis zur Cloud benötigen, dann sollten Sie ein DFS verwenden.

Ein DFS ist in den folgenden Bedarfsfällen von entscheidender Bedeutung:

• Transparenz beim lokalen Zugriff: Der Zugriff auf die Daten muss so erfolgen, als ob sich die Daten lokal beim Benutzer befänden, um eine hohe Leistung zu erzielen.
• Standortunabhängigkeit: Die Benutzer müssen nicht wissen, wo sich die Dateidaten physisch befinden.
• Scale-out-Möglichkeiten: Die Fähigkeit, durch Hinzufügen von zusätzlichen Rechnern massiv zu skalieren. DFS-Systeme können zu extrem großen Clustern mit Tausenden von Servern skaliert werden.
• Fehlertoleranz: Das System muss auch dann noch ordnungsgemäß funktionieren, wenn einige seiner Server oder Festplatten ausfallen. Ein fehlertolerantes DFS kann solche Ausfälle dadurch bewältigen, dass es Daten auf mehrere Rechner verteilt.

Welche Vorteile bietet ein DFS?

Ein DFS (Distributed File System) ist ein Dateisystem, das auf mehrere Standorte verteilt und dort gespeichert ist, beispielsweise auf Dateiservern, die sich an verschiedenen Orten befinden. Auf Dateien kann von jedem Gerät und jedem Ort aus so zugegriffen werden, als wären sie lokal gespeichert. Ein DFS ist ideal für die kontrollierte gemeinsame Nutzung von Daten und Dateien durch autorisierte Benutzer in einem Netzwerk.

Welche verschiedenen Arten von verteilten Dateisystemen gibt es?

Dies sind die gängigsten DFS-Implementierungen:

• Windows Distributed File System
• Network File System (NFS)
• Server Message Block (SMB)
• Google File System (GFS)
• Lustre
• Hadoop Distributed File System (HDFS)
• GlusterFS
• Ceph
• MapR File System

Was sind DFS und NFS?

NFS steht für Network File System und ist ein Beispiel für ein verteiltes Dateisystem (DFS). In einer Client-Server-Architektur ermöglicht das NFS-Protokoll Computerbenutzern das Anzeigen, Speichern und Aktualisieren von Dateien, die sich an einem entfernten Ort befinden, so als ob sie lokal gespeichert wären. Das NFS-Protokoll ist einer von mehreren DFS-Standards für NAS (Network Attached Storage).

Was ist ein verteiltes Dateisystem im Kontext von Big Data?

Eine der Herausforderungen bei der Arbeit mit Big Data besteht darin, dass sie zu umfangreich für die Verwaltung auf einem einzelnen Server sind, ganz gleich, wie groß die Speicherkapazität oder Rechenleistung dieses Servers ist. Ab einem bestimmten Punkt macht eine Skalierung, d. h. eine Aufstockung der Kapazität dieses einzelnen Servers weder unter dem wirtschaftlichen noch unter dem technischen Aspekt Sinn. Stattdessen müssen die Daten durch Skalierung auf mehrere Cluster (auch Knoten genannt) verteilt werden, wodurch die Rechenleistung jedes Clusters genutzt werden kann. Mit einem verteilten Dateisystem (DFS, Distributed File System) können Unternehmen, den Zugriff auf Big Data über mehrere Cluster oder Knoten verwalten, sodass sie Big Data schnell lesen und mehrere parallele Lese- und Schreibvorgänge durchführen können.

Wie funktioniert ein verteiltes Dateisystem?

Ein verteiltes Dateisystem funktioniert wie folgt:

• Verteilung: Zunächst verteilt ein DFS Datensätze auf mehrere Cluster oder Knoten. Jeder Knoten stellt seine Rechenleistung zur Verfügung, wodurch ein DFS die Datensätze parallel verarbeiten kann.
• Replikation: Ein DFS repliziert außerdem Datensätze auf verschiedene Cluster, indem dieselben Informationen in mehrere Cluster kopiert werden. Auf diese Weise erreicht das verteilte Dateisystem Fehlertoleranz, um die Daten im Falle eines Knoten- oder Clusterausfalls wiederherzustellen, sowie eine hohe Parallelität, die eine gleichzeitige Verarbeitung derselben Daten möglich macht.

Was ist eine Replikation eines verteilten Dateisystems?

Bei der DFS-Replikation handelt es sich um eine Replikations-Engine mit mehreren Mastern in Microsoft Windows Server, mit der Ordner zwischen Servern über Netzwerkverbindungen mit begrenzter Bandbreite synchronisiert werden können. Wenn sich die Daten in den einzelnen replizierten Ordnern ändern, werden die Änderungen über die Verbindungen repliziert.

Wo befindet sich ein verteiltes Dateisystem?

Das Ziel der Verwendung eines verteilten Dateisystems besteht darin, den Benutzern von physisch verteilten Systemen die gemeinsame Nutzung ihrer Daten und Ressourcen zu ermöglichen. Als solches befindet sich das DFS auf einer beliebigen Sammlung von Workstations, Servern, Mainframes oder einer Cloud, die durch ein lokales Netzwerk (LAN, Local Area Network) verbunden sind.

Warum ist ein verteiltes Dateisystem erforderlich?

Zu den Vorteilen der Verwendung eines DFS gehören:

• Transparenz beim lokalen Zugriff: Auf die Daten wird so zugegriffen, als befänden sich diese auf einem eigenen Gerät oder Computer des Benutzers.
• Standortunabhängigkeit: Benutzer wissen unter Umständen nicht, wo sich die Dateidaten physisch befinden.
• Massive Skalierung: Teams können einem DFS beliebig viele Rechner zur Erweiterung hinzufügen.
• Fehlertoleranz: Ein DFS funktioniert selbst dann noch, wenn einige seiner Server oder Festplatten ausfallen, da die Computer miteinander verbunden sind und das DFS ein ordnungsgemäßes Failover durchführen kann.

Cohesity und verteilte Dateisysteme

Zur effektiven Konsolidierung von Speichersilos brauchen Unternehmen ein verteiltes Dateisystem (DFS, Distributed File System), das mehrere Anwendungsfälle gleichzeitig bewältigen kann. Es muss NFS-, SMB- und S3-Standardschnittstellen, starke E/A-Leistung für sequenzielle und zufällige E/A, Inline-Deduplizierung mit variabler Länge und häufige persistente Snapshots bieten.

Das DFS muss außerdem eine native Integration in die Public Cloud bieten, um eine Multi-Cloud-Datenstruktur zu unterstützen, die Unternehmen in die Lage versetzt, Daten zur Archivierung oder für komplexere Anwendungsfälle, wie Notfallwiederherstellung, flexible Entwicklung/Tests und Analysen in die Cloud zu senden.

Dies alles muss auf einer Web-Scale-Architektur durchgeführt werden, um die stetig wachsenden Datenvolumen effektiv verwalten zu können.

Cohesity hat ein vollständig neues Dateisystem geschaffen, mit dem Unternehmen in der Lage sind, im großen Maßstab die Kontrolle über ihre Daten wieder zu übernehmen: SpanFS. SpanFS ist so konzipiert, dass alle unstrukturierten Daten einschließlich Datensicherungen, Dateien, Objekte, Entwicklungs-/Test- und Analysedaten auf einer einzigen Web-Scale-Multicloud-Plattform konsolidiert und verwaltet werden, die sich vom Kern über den Edge-Bereich bis zur Cloud erstreckt.

Mit Cohesity SpanFS können Sie Datensilos standortübergreifend konsolidieren, indem Sie branchenübliche, weltweit verbreitete NFS-, SMB- und S3-Protokolle auf einer zentralen Plattform bereitstellen.

Dies sind die wichtigsten Vorteile von SpanFS:

• Unbegrenzte Skalierbarkeit: Durch die flexible Pay-as-you-grow-Lösung können Sie mit nur drei Knoten starten und Ihr System vor Ort oder in der Cloud grenzenlos ausbauen.
• Automatisierte globale Indexierung: Führen Sie leistungsstarke globale aktionsfähige Wildcard-Suchen nach jeder virtuellen Maschine (VM), Datei oder jedem Objekt durch.
• Garantierte Datenresilienz: Strikte Konsistenz über Knoten hinweg innerhalb eines Clusters gewährleistet die Datenresilienz im großen Maßstab.
• Workload- und protokollübergreifende Deduplizierung: Reduzieren Sie den Speicherplatzbedarf mit einer globalen Deduplizierung mit variabler Länge über Workloads und Protokolle hinweg.
• Cloud-fähig: Beseitigen Sie mit der Multicloud-Datenplattform von Cohesity Helios die Abhängigkeit von separaten Cloud-Gateways.
• Multiprotokoll-Zugriff: Nahtloses Lesen und/oder Schreiben auf das gleiche Datenvolume bei gleichzeitigem Multiprotokoll-Zugriff für NFS, SMB und S3.