FPT Data Platform の概要
FPT Data Platform では、データの取り込み、保存、処理、クエリ、ガバナンス、可視化を行うマネージドサービスを FPT Cloud ポータルから利用できます。workspace を作成し、チームに必要なサービスだけを追加します。
FPT Data Platform の構成
ポータルでは、次の 2 つのいずれかから始めます。
| 作成するもの | 場所 | 次に行うこと |
|---|---|---|
| workspace | Data platform → Workspace management | workspace の詳細ページからサービスを追加します。 |
| Lakehouse | Data platform → Lakehouse | チームが Lakehouse Portal にサインインしてデータを扱います。 |
workspace は、データ作業のための分離されたセキュアな環境です。workspace は、worker node と、作成時に選択した subnet の上で動作します。追加したサービスはすべて workspace 内で動作し、各サービスは workspace の詳細ページから開いてステータスと設定を確認します。
作業別のサービス
このページのサービスは、Lakehouse を除いてすべて workspace に追加します。各サービスについては、このガイドの専用のセクションで説明しています。
データの取り込み
- CDC Service は、データベースの変更をリアルタイムで追跡し、定義した connector を介して Kafka との間でデータを送受信します。
- Ingestion Service は、システム間のデータ移動を自動化し、各データフローを追跡、監視、管理できるようにします。
データの保存と整理
- Lakehouse は、あらゆる種類のデータを大規模に保存し、SQL クエリ、データのバージョン管理、ACID 整合性に対応しています。
- Hive Metastore は、schema、partition、データの保存場所など、テーブルのメタデータを保持します。これにより、Apache Spark、Trino、Presto などのツールがデータを見つけて読み取れます。
- Nessie は、大規模な分散データ環境において、データの開発、制御、デプロイをデータチームが管理できるようにします。
データの処理
- Flink は、Apache Flink を使用して連続するデータストリームを低レイテンシで処理します。バッチ処理とステートフル処理にも対応しています。
- Processing Service は、CPU または GPU の環境で、設定したコンピューティングリソースを使ってバッチ処理またはリアルタイムのデータ処理を実行します。
データのクエリとガバナンス
- Query Engine は Trino を基盤とし、リレーショナルデータベース、データウェアハウス、非リレーショナルストレージにまたがる分散 SQL クエリを、データを移動もコピーもせずに実行します。
- Ranger は、Trino でクエリするデータに対して、RBAC または ABAC のモデルによる、一元的できめ細かなアクセス制御を提供します。
- Open Metadata は、多数のデータソースのメタデータを 1 か所に収集して整理し、分類、データリネージ、変更時のアラートを提供します。
ワークフローのスケジュール
Orchestration は、データ処理の task を順次または並列に、スケジュールに従って、またはイベントの発生時に実行し、その監視とトラブルシューティングを支援します。
データの分析と可視化
- Apache Superset は、データの可視化、インタラクティブな dashboard の作成、データ分析を行うためのオープンソースのビジネスインテリジェンス (BI) プラットフォームです。
- JupyterHub は、データ分析、データ処理、機械学習 model の開発に使える、マルチユーザーの Jupyter Notebook 環境をチームに提供します。
次のステップ
- FPT Data Platform を使い始める: サインインし、workspace を作成して、最初のサービスを追加します。
- Lakehouse の概要: Lakehouse でできることを確認します。