分散ファイルシステムとは
DFS (分散ファイルシステム) は複数のファイルサーバーや複数の場所にまたがって存在するファイルシステムです。物理的に異なる場所にあるファイルサーバーなどが例として挙げられます。どのデバイスからでも、ネットワーク上のどこからでも、ローカルに保存されているのと同じようにファイルにアクセスすることができます。DFSは、制御/許可された方法で、ネットワーク上のユーザー間で情報やファイルを共有するのに便利です。
なぜ分散ファイルシステムが重要なのか
企業がDFSを選択する主な理由は、複数の場所から同じデータにアクセスできるようにするためです。例えば、チームが世界中に分散していても、彼らが同じファイルにアクセスして共同作業をする必要がある場合に有効です。また、ハイブリッドクラウドの普及が進む昨今の環境で、データセンターからエッジ、クラウドまで、同じデータにアクセスする必要がある場合、DFSの使用は良い選択となります。
以下のような要件がある時に、DFSは重要です。
- 透過的なローカルアクセス: 高いパフォーマンスを実現し、あたかもローカルであるかのようにユーザーがデータにアクセスできること。
- ロケーションの独立性: ファイルデータが物理的にどこにあるのかをユーザーが知る必要がないこと。
- スケールアウト能力: マシンを追加することで大規模なスケールアウトが可能な能力。DFSシステムは、数千台のサーバーからなる非常に大規模なクラスターに拡張することができます。
- フォールトトレランス: 一部のサーバーやディスクに障害が発生しても、システムは正常に動作を続ける必要があること。フォールトトレラントなDFSは、データを複数のマシンに分散させることでこのような障害に対応することができます。
DFSのメリットとは
DFS (分散ファイルシステム) とは、異なるロケールにあるファイルサーバーなど、複数の場所にデータを分散して保存するファイルシステムです。どこにあるどのデバイスからでも、ローカルに保存されているのと同じようにファイルにアクセスすることができます。DFSは、ネットワーク上の許可されたユーザー間で、制御された方法で情報やファイルを共有するのに便利です。
分散ファイルシステムにはどのような種類があるか
下記は、最も一般的なDFSの実装です。
- Windows Distributed File System
- NFS (Network File System)
- SMB (Server Message Block)
- GFS (Google File System)
- Lustre
- HDFS (Hadoop分散ファイルシステム)
- GlusterFS
- Ceph
- MapR File System
DFSとNFSとは?
NFSはNetwork File Systemの略で、DFS (分散ファイルシステム) の一種です。クライアントサーバーアーキテクチャとしてNFSプロトコルを使用すれば、コンピュータのユーザーは遠隔地にあるファイルをあたかもローカルにあるかのように閲覧、保存、更新することができます。NFSプロトコルは、NAS (ネットワーク接続ストレージ) 向けのDFS規格の1つです。
ビッグデータにおける分散ファイルシステムとは
ビッグデータを扱う際の課題として、データが大きすぎるためいかに大容量のストレージや演算能力を持つサーバーであっても、1台のサーバーで管理することができないということが挙げられます。ある段階を過ぎると1台のサーバーにさらに多くの容量を追加していくようなスケールアップは経済的にも技術的にも意味を成さなくなります。その代わり、データを複数のクラスター (ノードとも呼ばれる) に分散させ、各クラスターの演算能力を利用できるようにスケールアウトする必要があります。DFS (分散ファイルシステム) は、企業が複数のクラスターやノードにまたがるビッグデータへのアクセスを管理し、ビッグデータの高速な読み込みや複数の並列読み書き処理を可能にするものです。
分散ファイルシステムはどのように機能するのか
分散ファイルシステムは以下のように機能します。
- 分散: DFSは最初にデータセットを複数のクラスターやノードに分散させます。各ノードはそれぞれ独自の演算能力を持ち、DFSはデータセットを並列処理することができます。
- レプリケーション: DFSは同じ情報を複数のクラスターにコピーすることで、データセットを異なるクラスターに複製することもできます。この機能により、分散ファイルシステムはノードやクラスターに障害が発生した時にデータを回復する耐障害性と、同じデータを同時に処理できる高い並行処理性能を実現することができます。
分散ファイルシステムのレプリケーションとは
DFSレプリケーションは、Microsoft Windows Serverに搭載されているマルチマスターのレプリケーションエンジンで、帯域幅が限られたネットワーク接続のサーバー間でフォルダーを同期させる時に有用です。各複製されたフォルダーでデータが変更されると、その変更はネットワーク接続間で複製されます。
分散ファイルシステムはどこにあるのか
分散ファイルシステムを使用する目的は、物理的に分散したシステムのユーザーがデータやリソースを共有できるようにすることにあります。そのため、DFSはLAN (Local Area Network) で接続された任意のワークステーション、サーバー、メインフレーム、クラウドなどの集合体に配置されます。
なぜ分散ファイルシステムが必要なのか
DFSを使用することのメリットとして以下のことが挙げられます。
- トランスペアレントなローカルアクセス: あたかもユーザー自身のデバイスやコンピューターにデータが存在しているかのようにアクセスすることができます。
- ロケーションの独立性: ユーザーは、ファイルデータが物理的にどこにあるか把握する必要はありません。
- 大規模な拡張: チームは、DFSに必要な数のマシンを追加してスケールアウトすることができます。
- フォールトトレランス: DFSは、サーバーやディスクの一部に障害が発生しても、マシンが接続されていて、正常にフェイルオーバーすることができるので、動作を継続することが可能です。
Cohesityと分散ファイルシステム
企業がストレージサイロを効果的に統合するには、複数のユースケースの要件に同時に管理できる分散ファイルシステム (DFS) が必要です。このようなファイルシステムは、標準的なNFS、SMB、S3インターフェイス、シーケンシャルIOとランダムIOの両方で高いIOパフォーマンス、インライン可変長重複排除、頻度が高く永続的なスナップショットを提供する必要があります。
さらに、パブリッククラウドとのネイティブな統合により、マルチクラウドデータファブリックをサポートする必要があります。これにより、企業がアーカイブやさらに高度なユースケース (ディザスタリカバリ、アジャイルな開発/テスト、アナリティクスなど) のために、データをクラウドに送信できるようになります。
増え続ける大量のデータを効率的に管理するためには、これらすべてをWebスケールのアーキテクチャで処理する必要があります。
企業が大規模な環境でデータのコントロールを取り戻せるように、Cohesityはまったく新しいファイルシステムであるSpanFSを開発しました。SpanFSは、すべてのセカンダリデータ (バックアップ、ファイル、オブジェクト、開発/テスト、アナリティクスデータなど) を、コアからエッジ、クラウドにまたがるWebスケールのマルチクラウドプラットフォーム上で効率的に統合管理できるように設計されています。
Cohesity SpanFSを使用すれば、業界標準でグローバルに分散されたNFS、SMB、S3のプロトコルを単一のプラットフォームに独自に公開することにより、ロケーションをまたいだデータサイロの統合が可能になります。
SpanFSの最大のメリットは、以下のようなものです。
- 無制限のスケーラビリティ: 最小3ノードから始められ、オンプレミスまたはクラウド上で無制限に拡張でき、システム規模に応じた支払いが可能です。
- 自動化されたグローバルインデックス作成機能: 任意のVM (仮想マシン)、ファイル、またはオブジェクトに対して、強力でアクション可能なグローバルなワイルドカード検索が実行できます。
- データの回復力を保証: クラスター内のノード間で厳格な整合性を維持することで、データ回復力を大規模に確保します。
- ワークロードとクラスター間の重複排除機能: ワークロードとプロトコル間のグローバル可変長重複排除機能により、データフットプリントを削減します。
- クラウド対応:- Cohesity Heliosマルチクラウドデータプラットフォームを使用すれば、追加型クラウドゲートウェイへの依存を排除することができます。
- マルチプロトコルアクセス: NFS、SMB、S3の同時マルチプロトコルアクセスにより、同一データボリュームの読み書きをシームレスに行うことができます。
