Chuyển tới nội dung chính

Tạo CDC Service

Tạo CDC Service trong workspace để chạy các connector truyền thay đổi từ cơ sở dữ liệu qua Kafka. Form Setup CDC Service gồm bốn màn hình: Connector Information, Node Configuration, Kafka Cluster Information và Review.

Điều kiện cần​

  • Workspace có Status là Connected. Xem Tạo workspace.
  • Kafka cluster mà workspace kết nối tới được. Dùng Kafka cluster từ FPT Database Engine cùng username và mật khẩu của user Kafka trên cluster đó, hoặc chuẩn bị sẵn bootstrap server endpoint, security protocol và credential của cluster khác.

Mở form tạo CDC Service​

  1. Chọn Data platform → Workspace management, rồi chọn workspace.
  2. Trên tab Overview, chọn Create.
  3. Trong hộp thoại Create service, chọn CDC, rồi chọn Create service.

Hộp thoại Create service với bộ lọc Category và các thẻ service, thẻ CDC bị mờ vì workspace đã có CDC Service

Nếu workspace chưa có service nào, tab Overview hiển thị mục Create first service. Chọn thẻ CDC trong mục này để mở thẳng form.

Các thẻ trong mục Create first service trên tab Overview của workspace trống, gồm thẻ CDC của service change data capture và sao chép dữ liệu

ghi chú

Mỗi workspace chỉ có một CDC Service. Khi workspace đã có CDC Service, thẻ CDC bị mờ.

Nhập thông tin cơ bản​

  1. Ở màn hình Connector Information, nhập Name.
  2. Nhập Description (không bắt buộc).
  3. Chọn Version.
  4. Chọn Next Step.

Màn hình Connector Information của form Setup CDC Service với các trường Name, Description và Version

TrườngMô tả
NameBắt buộc. Từ 1 đến 30 ký tự. Chỉ gồm chữ thường, số và dấu gạch ngang (-). Không chấp nhận chữ hoa, _, . và khoảng trắng. Phải là duy nhất trong VPC.
DescriptionKhông bắt buộc. Mô tả service.
VersionBắt buộc. Phiên bản CDC sẽ chạy.

Cấu hình node​

  1. Ở màn hình Node Configuration, chọn Storage Policy.
  2. Chọn Type.
  3. Nhập Number of nodes.
  4. Chọn Next Step.

Màn hình Node Configuration của form Setup CDC Service với các trường Storage Policy, Type và Number of nodes

TrườngMô tả
Storage PolicyBắt buộc. Storage policy của các node. Danh sách hiển thị các storage policy của VPC, ví dụ Premium-SSD. Mở danh sách và chọn một policy, kể cả khi trường đã hiển thị sẵn một giá trị.
TypeBắt buộc. Kích thước node, ví dụ Large-8 (4 CPU - 8 GB RAM).
Number of nodesBắt buộc. Từ 2 đến 10.

Service chạy trên node group riêng tên ingestion, với Type và Number of nodes bạn chọn. Node group này xuất hiện trên tab Resource của workspace. Trong lúc hệ thống thêm node, Worker Status của workspace là Processing.

Kết nối Kafka cluster​

Các connector của service ghi và đọc topic trên Kafka cluster này.

  1. Ở màn hình Kafka Cluster Information, giữ From FPT Database Engine hoặc chọn Manual configuration.

    Màn hình Kafka Cluster Information khi chọn Manual configuration, gồm các trường Bootstrap Server Endpoint và Security Protocol

  2. Chọn Kafka cluster ở Database Name nếu bạn giữ From FPT Database Engine. Portal tự điền Bootstrap Server Endpoint, Security Protocol và Authentication method, nhưng không điền Username và Password.

    Màn hình Kafka Cluster Information khi chọn From FPT Database Engine, gồm các trường Database Name, Bootstrap Server Endpoint và Security Protocol

  3. Nhập Bootstrap Server Endpoint.

  4. Chọn Security Protocol, rồi điền các trường xác thực hiện ra theo lựa chọn đó.

  5. Chọn Test connection. Sau khoảng 20 giây, portal hiển thị thông báo "Connect bootstrap server successfully".

  6. Chọn Next Step sau khi kiểm tra thành công. Trước đó, nút này chưa bấm được.

TrườngMô tả
From FPT Database Engine hoặc Manual configurationBắt buộc. From FPT Database Engine (mặc định) dùng Kafka cluster từ FPT Database Engine. Manual configuration dùng thông tin kết nối của Kafka cluster khác.
Database NameBắt buộc khi dùng From FPT Database Engine. Kafka cluster sẽ dùng.
Bootstrap Server EndpointBắt buộc. Endpoint của các Kafka server. Ngăn cách nhiều endpoint bằng dấu phẩy (,).
Security ProtocolBắt buộc. SASL_PLAINTEXT: xác thực bằng username và mật khẩu. SASL_SSL: xác thực bằng username và mật khẩu, kèm mã hóa dữ liệu. PLAINTEXT: dữ liệu gửi đi không mã hóa, không khuyến nghị. SSL: bảo vệ dữ liệu truyền qua mạng.
Authentication methodKhi dùng SASL_PLAINTEXT hoặc SASL_SSL. SASL mechanism: PLAIN, SCRAM-SHA-256 hoặc SCRAM-SHA-512.
UsernameBắt buộc khi dùng SASL_PLAINTEXT hoặc SASL_SSL. User kết nối tới Kafka. Trang chi tiết hiển thị trường này là SASL Username.
PasswordBắt buộc khi dùng SASL_PLAINTEXT hoặc SASL_SSL. Mật khẩu của user đó.
cảnh báo

PLAINTEXT gửi dữ liệu qua mạng mà không mã hóa nên không được khuyến nghị. Dùng SASL_SSL hoặc SSL nếu cluster hỗ trợ.

Xem lại và tạo​

  1. Kiểm tra cấu hình ở màn hình Review. Màn hình này hiển thị Connector Information, Node Configuration và Kafka Cluster Information bạn đã nhập. Type hiển thị theo vCPU và MB, ví dụ 4 vCPU - 8192 MB RAM, còn user Kafka hiển thị thành SASL Username và SASL Password.
  2. Chọn Create. Portal quay về tab Overview của workspace, nơi thẻ CDC ở mục Services hiển thị Processing.

Màn hình Review của form Setup CDC Service với thông tin connector, cấu hình node và thông tin Kafka cluster của service mới

Trong lúc khởi động, service có Status là Processing. Service có thể mất 30 phút hoặc lâu hơn để chuyển sang Healthy, sau đó bạn có thể tạo connector.

Bước tiếp theo​