Chuyển tới nội dung chính

Tổng quan CDC Service

CDC Service giữ cơ sở dữ liệu đích, search engine và storage luôn đồng bộ với cơ sở dữ liệu nguồn bằng cách truyền từng thay đổi qua Kafka theo thời gian thực. Với connector, bạn quyết định ghi nhận dữ liệu nào và chuyển dữ liệu tới đâu.

Change data capture là gì​

Change data capture (CDC) theo dõi các dòng được thêm, cập nhật hoặc xóa trong cơ sở dữ liệu và chuyển mỗi thay đổi thành một sự kiện thay đổi. CDC connector đọc các thay đổi này từ log mà cơ sở dữ liệu vốn đã ghi.

Cơ sở dữ liệuNơi connector đọc thay đổi
PostgreSQLWrite-ahead log (WAL), thông qua replication slot và publication.
MySQL, MariaDBBinary log (binlog).
SQL ServerTính năng change data capture của SQL Server 2016 trở lên, phiên bản Standard hoặc Enterprise.
OracleRedo log, thông qua Oracle LogMiner.
MongoDBOplog.

Cách CDC Service hoạt động​

CDC Service là một service trong workspace Data Platform. Mỗi workspace chỉ có một CDC Service. Service chạy connector trên các node riêng và dùng một Kafka cluster mà bạn kết nối khi tạo service: cluster từ FPT Database Engine, hoặc cluster bạn tự cấu hình qua bootstrap server endpoint.

Tab Essential Information của CDC Service với các phần Connection Information, Node Configuration và Kafka Application Information

Source system → source connector → Kafka topics → sink connector → target system

Source connector và sink connector​

Mỗi connector có Type và Database:

  • Connector loại source ghi nhận thay đổi từ hệ thống nguồn và ghi chúng thành sự kiện thay đổi vào Kafka topic.
  • Connector loại sink đọc Kafka topic và ghi bản ghi vào hệ thống đích, ví dụ cơ sở dữ liệu, search engine hoặc storage S3.

Mỗi connector chạy một hoặc nhiều task xử lý dữ liệu song song. Với sink connector, source connector Kafka và Kafka MM2, bạn đặt số task tối đa khi tạo.

Topic và topic prefix​

Source connector ghi thay đổi của mỗi bảng vào một Kafka topic riêng. Tên topic gồm Topic prefix bạn đặt cho connector, tiếp theo là schema hoặc cơ sở dữ liệu, rồi tới tên bảng. Với prefix syncdata, schema inventory và hai bảng customer, order, connector PostgreSQL ghi vào syncdata.inventory.customer và syncdata.inventory.order. Với MongoDB, cơ sở dữ liệu và collection thay cho schema và bảng.

Sink connector đọc các topic bạn chọn và ánh xạ mỗi topic tới một bảng, một index hoặc một collection ở hệ thống đích. Xem Topic prefix, Topic và Map table.

Snapshot​

Sự kiện thay đổi chỉ gồm những thay đổi xảy ra trong lúc connector chạy. Để sao chép cả dữ liệu đã có sẵn, source connector tạo snapshot.

  • Initial snapshot. Khi bạn tạo connector, Mode quyết định connector sẽ snapshot dữ liệu có sẵn rồi mới ghi nhận thay đổi (initial), chỉ snapshot dữ liệu (initial_only), hay bỏ qua snapshot (no_data). MongoDB dùng latest và copy existing thay cho các giá trị này. MySQL và MariaDB xóa binlog cũ sau một thời gian, nên connector của hai hệ này bắt đầu bằng một snapshot nhất quán trước khi đọc binlog. Xem Chế độ snapshot.
  • Incremental snapshot. Với source connector MySQL, MariaDB và PostgreSQL đã chọn Enable incremental snapshot khi tạo, bạn chạy snapshot vào lúc khác từ menu Snapshot của connector, trong khi connector vẫn truyền thay đổi. Xem Chạy incremental snapshot.

Kafka MM2​

Kafka MM2 (MirrorMaker 2) sao chép topic từ Kafka cluster khác vào Kafka cluster của CDC Service. Kafka MM2 còn sao chép offset của các consumer group bạn chọn ở Kafka Group, để các consumer này chuyển sang cluster của CDC Service và đọc tiếp từ vị trí đã dừng. Bạn tạo Kafka MM2 bằng Create Kafka MM2 trên tab Kafka MM2 của service. Xem Quản lý source Kafka MM2.

Source connector Kafka cũng sao chép topic từ Kafka cluster khác vào cluster của CDC Service, nhưng chỉ sao chép dữ liệu của topic. Dùng source connector Kafka khi bạn chỉ cần dữ liệu, và dùng Kafka MM2 để chuyển topic cùng các consumer của topic.

Với Default Replication Policy, cả hai đặt tên topic đã sao chép theo dạng CLUSTER_ALIAS.TOPIC. Với Identity Replication Policy, cả hai giữ nguyên tên topic gốc.

Trạng thái connector​

  • Running: connector đang chạy và xử lý dữ liệu.
  • Paused: connector không xử lý dữ liệu nhưng vẫn giữ trạng thái và cấu hình. Bạn có thể cho connector chạy tiếp.
  • Stopped: connector và các task của connector đã tắt. Connector vẫn giữ cấu hình và offset, nên bạn có thể cho chạy tiếp.
  • Failed: connector gặp lỗi và không thể tiếp tục xử lý dữ liệu.
ghi chú

Đây là trạng thái của connector. Healthy là trạng thái của chính CDC Service.

Để đổi trạng thái, xem Quản lý trạng thái connector.

Connector được hỗ trợ​

Hệ thốngSource connectorSink connector
PostgreSQLSource PostgreSQLSink PostgreSQL
MySQLSource MySQLSink MySQL
MariaDBSource MariaDBSink MariaDB
SQL ServerSource SQL ServerSink SQL Server
OracleSource Oracle–
MongoDBSource MongoDBSink MongoDB
KafkaSource Kafka–
S3Source S3Sink S3
ClickHouse–Sink ClickHouse (logs) thêm mỗi thay đổi thành một dòng mới trong bảng bạn tạo trước. Sink ClickHouse (Replication) giữ trạng thái hiện tại của từng dòng, cũng trong bảng bạn tạo trước.
Iceberg–Sink Iceberg áp dụng các thao tác update và delete của cơ sở dữ liệu nguồn. Sink Iceberg (logs) ghi nối tiếp mọi bản ghi.
OpenSearch–Sink OpenSearch
Elasticsearch–Sink Elasticsearch
Redis–Sink Redis

Source connector Kafka sao chép topic từ Kafka cluster khác vào cluster của CDC Service. Source connector S3 đọc các file như CSV, TSV, Avro và XML từ Amazon S3 hoặc storage tương thích S3, ví dụ FPT Object Storage.

Quy trình điển hình​

  1. Tạo CDC Service trong workspace và kết nối service với một Kafka cluster.
  2. Chuẩn bị cơ sở dữ liệu nguồn và tạo source connector, ví dụ source connector PostgreSQL.
  3. Tạo sink connector đọc các topic của source connector, ví dụ sink connector PostgreSQL.
  4. Kiểm tra Status và Snapshot Status của connector trên tab Connectors. Tham khảo Xem chi tiết connector và Chạy incremental snapshot.

Bước tiếp theo​