Tổng quan FPT Data Platform
FPT Data Platform cung cấp các managed service để nạp, lưu trữ, xử lý, truy vấn, quản trị và trực quan hóa dữ liệu trên portal FPT Cloud. Bạn tạo một workspace, rồi chỉ thêm những service mà team cần.
Cấu trúc của FPT Data Platform
Bạn bắt đầu từ một trong hai nơi trên portal.
| Bạn tạo | Từ | Sau đó |
|---|---|---|
| Workspace | Data platform → Workspace management | Bạn thêm service vào workspace từ trang chi tiết của workspace. |
| Lakehouse | Data platform → Lakehouse | Team đăng nhập vào Lakehouse Portal để làm việc với dữ liệu. |
Workspace là môi trường cô lập và an toàn để bạn làm việc với dữ liệu. Workspace chạy trên các worker node và trên Subnet mà bạn chọn khi tạo workspace. Mọi service bạn thêm đều chạy bên trong workspace, và bạn mở service từ trang chi tiết workspace để kiểm tra trạng thái và cấu hình.
Service theo tác vụ
Trừ Lakehouse, bạn thêm mọi service trên trang này vào một workspace. Mỗi service có mục riêng trong tài liệu này.
Nạp dữ liệu
- CDC Service theo dõi thay đổi trong database theo thời gian thực và chuyển dữ liệu vào và ra khỏi Kafka qua các connector do bạn định nghĩa.
- Ingestion Service tự động hóa việc chuyển dữ liệu giữa các hệ thống, đồng thời giúp bạn theo dõi, giám sát và quản lý từng luồng dữ liệu.
Lưu trữ và tổ chức dữ liệu
- Lakehouse lưu trữ mọi loại dữ liệu ở quy mô lớn, hỗ trợ truy vấn SQL, quản lý phiên bản dữ liệu và tính nhất quán ACID.
- Hive Metastore lưu metadata của các bảng, như schema, partition và vị trí dữ liệu, để các công cụ như Apache Spark, Trino hoặc Presto tìm và đọc được dữ liệu.
- Nessie giúp team dữ liệu quản lý quá trình phát triển, kiểm soát và triển khai dữ liệu trong các môi trường dữ liệu phân tán, quy mô lớn.
Xử lý dữ liệu
- Flink dùng Apache Flink để xử lý luồng dữ liệu liên tục với độ trễ thấp, đồng thời hỗ trợ xử lý batch và xử lý stateful.
- Processing Service xử lý dữ liệu theo batch hoặc theo thời gian thực trên tài nguyên tính toán do bạn cấu hình, trong môi trường CPU hoặc GPU.
Truy vấn và quản trị dữ liệu
- Query Engine dựa trên Trino, chạy truy vấn SQL phân tán trên database quan hệ, data warehouse và hệ thống lưu trữ phi quan hệ mà không cần di chuyển hay sao chép dữ liệu.
- Ranger cung cấp cơ chế kiểm soát truy cập tập trung và chi tiết cho dữ liệu bạn truy vấn bằng Trino, theo mô hình RBAC hoặc ABAC.
- Open Metadata thu thập và tổ chức metadata từ nhiều nguồn dữ liệu về một nơi, kèm phân loại, data lineage và cảnh báo khi có thay đổi.
Lập lịch workflow
Orchestration chạy các task xử lý dữ liệu tuần tự hoặc song song, theo lịch hoặc khi có sự kiện xảy ra, đồng thời giúp bạn theo dõi và xử lý sự cố.
Phân tích và trực quan hóa dữ liệu
- Apache Superset là nền tảng business intelligence (BI) mã nguồn mở để trực quan hóa dữ liệu, xây dựng dashboard tương tác và phân tích dữ liệu.
- JupyterHub cung cấp cho team môi trường Jupyter Notebook nhiều người dùng để phân tích dữ liệu, xử lý dữ liệu và phát triển model machine learning.
Bước tiếp theo
- Bắt đầu với FPT Data Platform để đăng nhập, tạo workspace và thêm service đầu tiên.
- Tổng quan Lakehouse để xem bạn làm được gì với Lakehouse.