メインコンテンツまでスキップ

FPT Data Platform の概要

FPT Data Platform では、データの取り込み、保存、処理、クエリ、ガバナンス、可視化を行うマネージドサービスを FPT Cloud ポータルから利用できます。workspace を作成し、チームに必要なサービスだけを追加します。

FPT Data Platform の構成​

ポータルでは、次の 2 つのいずれかから始めます。

作成するもの場所次に行うこと
workspaceData platform → Workspace managementworkspace の詳細ページからサービスを追加します。
LakehouseData platform → Lakehouseチームが Lakehouse Portal にサインインしてデータを扱います。

workspace は、データ作業のための分離されたセキュアな環境です。workspace は、worker node と、作成時に選択した subnet の上で動作します。追加したサービスはすべて workspace 内で動作し、各サービスは workspace の詳細ページから開いてステータスと設定を確認します。

作業別のサービス​

このページのサービスは、Lakehouse を除いてすべて workspace に追加します。各サービスについては、このガイドの専用のセクションで説明しています。

データの取り込み​

  • CDC Service は、データベースの変更をリアルタイムで追跡し、定義した connector を介して Kafka との間でデータを送受信します。
  • Ingestion Service は、システム間のデータ移動を自動化し、各データフローを追跡、監視、管理できるようにします。

データの保存と整理​

  • Lakehouse は、あらゆる種類のデータを大規模に保存し、SQL クエリ、データのバージョン管理、ACID 整合性に対応しています。
  • Hive Metastore は、schema、partition、データの保存場所など、テーブルのメタデータを保持します。これにより、Apache Spark、Trino、Presto などのツールがデータを見つけて読み取れます。
  • Nessie は、大規模な分散データ環境において、データの開発、制御、デプロイをデータチームが管理できるようにします。

データの処理​

  • Flink は、Apache Flink を使用して連続するデータストリームを低レイテンシで処理します。バッチ処理とステートフル処理にも対応しています。
  • Processing Service は、CPU または GPU の環境で、設定したコンピューティングリソースを使ってバッチ処理またはリアルタイムのデータ処理を実行します。

データのクエリとガバナンス​

  • Query Engine は Trino を基盤とし、リレーショナルデータベース、データウェアハウス、非リレーショナルストレージにまたがる分散 SQL クエリを、データを移動もコピーもせずに実行します。
  • Ranger は、Trino でクエリするデータに対して、RBAC または ABAC のモデルによる、一元的できめ細かなアクセス制御を提供します。
  • Open Metadata は、多数のデータソースのメタデータを 1 か所に収集して整理し、分類、データリネージ、変更時のアラートを提供します。

ワークフローのスケジュール​

Orchestration は、データ処理の task を順次または並列に、スケジュールに従って、またはイベントの発生時に実行し、その監視とトラブルシューティングを支援します。

データの分析と可視化​

  • Apache Superset は、データの可視化、インタラクティブな dashboard の作成、データ分析を行うためのオープンソースのビジネスインテリジェンス (BI) プラットフォームです。
  • JupyterHub は、データ分析、データ処理、機械学習 model の開発に使える、マルチユーザーの Jupyter Notebook 環境をチームに提供します。

次のステップ​