Tạo sink connector Iceberg
Dùng sink connector Iceberg để giữ các bảng Iceberg trên storage S3 đồng bộ với bảng nguồn. Khi Database Type là cơ sở dữ liệu nguồn, connector áp dụng các thao tác insert, update và delete từ những Kafka topic bạn chọn, còn sink connector Iceberg (logs) chỉ ghi thêm mọi bản ghi.
Điều kiện cần
- CDC Service ở trạng thái Healthy. Xem Tạo CDC Service.
- Topic có dữ liệu thay đổi do một source connector ghi vào, ví dụ source connector PostgreSQL.
- URL và tên của catalog Iceberg, cùng endpoint, access key và secret của storage S3 chứa các bảng.
Tạo connector
-
Chọn Data platform → Workspace management, rồi chọn workspace.
-
Ở tab Overview, trong phần Services, chọn thẻ CDC.
-
Chọn tab Connectors, rồi chọn Create Connector.

-
Ở màn hình Connector Information, nhập Name, chọn sink ở Type và chọn Iceberg ở Database.

-
Chọn Next Step. Ở màn hình Properties, nhập thông tin kết nối, rồi chọn Test connection. Next Step chỉ khả dụng sau khi kiểm tra thành công.


-
Vẫn ở màn hình này, chọn Converter class và thiết lập bốn trường converter, rồi chọn các topic cần đọc ở Topics.


-
Chọn Next Step. Ở màn hình Additional properties, thiết lập các trường trong phần Task, Source, Destination, Map table và Error Tolerance.





-
Chọn Next Step, rồi kiểm tra cấu hình ở màn hình Review.
-
Chọn Create.
Cài đặt của connector
Màn hình Connector Information
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Name | Có | Tên connector. Chỉ dùng chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc dấu cách, form báo lỗi "Name has invalid characters". |
| Type | Có | Chọn sink. |
| Database | Có | Chọn Iceberg. |
Màn hình Properties
Connector này không có tùy chọn From FPT Database Engine. Nhập thông tin catalog ở phần Iceberg Information và thông tin storage ở phần Storage. Xem cách Test connection hoạt động ở Chế độ kết nối.
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Catalog type | Có | Loại catalog Iceberg: Hive Metastore hoặc Nessie. |
| URL | Có | URL của catalog Iceberg. |
| Branch | Có | Hiển thị khi Catalog type là Nessie, nằm cạnh URL. Branch của catalog Nessie. Chọn trong danh sách. |
| Catalog name | Có | Tên catalog Iceberg. |
| Endpoint | Có | Endpoint của storage S3. |
| Access Key | Có | Access key của storage S3. |
| Secret | Có | Secret đi kèm access key. |
| Root directory | Có | Root directory trong storage S3, theo dạng BUCKET_NAME/YOUR_DIRECTORY. |
| Converter class | Có | Converter class của connector. Portal cung cấp Iceberg replica. Bốn trường converter bị làm mờ cho tới khi bạn chọn class. Xem Converter. |
| Converter key, Converter key schema enable, Converter value, Converter value schema enable | Có | Cách connector đọc key và value của message, và key, value có kèm schema hay không. Với Iceberg replica, converter của key và value chỉ có org.apache.kafka.connect.json.JsonConverter, còn các trường schema enable chỉ có true. |
| Topics (trong phần Kafka topic) | Có | Các topic cần đọc. Chọn trong danh sách. Danh sách hiển thị các topic trong Kafka cluster của CDC Service. Xem Topic. |
Màn hình Additional properties
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Number of tasks | Có | Số task tối đa chạy song song. Giá trị mặc định là 1. Xem Tasks max. |
| Max poll record | Không | Số bản ghi tối đa connector lấy về trong một lần poll. Giá trị mặc định là 2000. |
| Database Type | Có | Loại cơ sở dữ liệu nguồn của các topic. Khi chọn một cơ sở dữ liệu nguồn, connector áp dụng update và delete theo primary key. Nếu không chọn, connector ghi thêm mọi bản ghi. |
| File format | Không | Định dạng của file dữ liệu: parquet, avro hoặc orc. Giá trị mặc định là parquet. |
| Topic 1, Table 1 (trong phần Map table) | Có | Bảng Iceberg nhận bản ghi của từng topic. Nếu bảng chưa có, connector tự tạo bảng. Xem Map table. |
| Mode (trong phần Error Tolerance) | Có | Cách connector xử lý message không đọc hoặc không chuyển đổi được. None làm connector dừng và chuyển sang trạng thái Failed. All bỏ qua message đó và chuyển nó tới topic bạn nhập để nhận bản ghi lỗi. Trường này không có giá trị mặc định. Xem Error tolerance. |