Chuyển tới nội dung chính

Tạo sink connector Iceberg (logs)

Dùng sink connector Iceberg (logs) để lưu mọi bản ghi của Kafka topic vào bảng Iceberg, ví dụ làm nhật ký thay đổi. Connector ghi thêm từng bản ghi vào bảng trên storage S3 thông qua catalog Iceberg, còn sink connector Iceberg có thể áp dụng update và delete.

Điều kiện cần​

  • CDC Service ở trạng thái Healthy. Xem Tạo CDC Service.
  • Topic có dữ liệu thay đổi do một source connector ghi vào, ví dụ source connector PostgreSQL.
  • URL và tên của catalog Iceberg, cùng endpoint, access key và secret của storage S3.

Tạo connector​

  1. Chọn Data platform → Workspace management, rồi chọn workspace.

  2. Ở tab Overview, trong phần Services, chọn thẻ CDC.

  3. Chọn tab Connectors, rồi chọn Create Connector.

    Tab Connectors của CDC Service chưa có connector nào, cùng nút Create Connector

  4. Ở màn hình Connector Information, nhập Name, chọn sink ở Type và chọn Iceberg (logs) ở Database.

    Màn hình Connector Information của form Create Connector với các trường Name, Type và Database

  5. Chọn Next Step. Ở màn hình Properties, nhập thông tin kết nối, rồi chọn Test connection. Next Step chỉ khả dụng sau khi kiểm tra thành công.

    Phần Iceberg Information với các trường Catalog type, URL và Catalog name

    Phần Storage với các trường Endpoint, Access Key, Secret và Root directory

  6. Vẫn ở màn hình này, chọn Converter class và thiết lập bốn trường converter, rồi chọn các topic cần đọc ở Topics.

    Phần Converter với các trường Converter class, Converter key, Converter value và schema enable

    Phần Kafka topic với danh sách Topics

  7. Chọn Next Step. Ở màn hình Additional properties, thiết lập các trường trong phần Task, Source, Destination, Map table và Error Tolerance.

    Phần Task với Number of tasks đặt là 1 và trường Max poll record để trống

    Phần Source với danh sách Database Type

    Phần Destination với danh sách File format

    Phần Map table ánh xạ một topic ở Topic 1 tới một bảng ở Table 1

    Phần Error Tolerance với Mode đặt là None

  8. Chọn Next Step, rồi kiểm tra cấu hình ở màn hình Review.

  9. Chọn Create.

Cài đặt của connector​

Màn hình Connector Information​

TrườngBắt buộcMô tả
NameCóTên connector. Chỉ dùng chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc dấu cách, form báo lỗi "Name has invalid characters".
TypeCóChọn sink.
DatabaseCóChọn Iceberg (logs).

Màn hình Properties​

Connector này không có tùy chọn From FPT Database Engine. Nhập thông tin catalog ở phần Iceberg Information và thông tin storage ở phần Storage. Xem cách Test connection hoạt động ở Chế độ kết nối.

TrườngBắt buộcMô tả
Catalog typeCóLoại catalog Iceberg: Hive Metastore hoặc Nessie.
URLCóURL của catalog Iceberg.
BranchCóHiển thị khi Catalog type là Nessie, nằm cạnh URL. Branch của catalog Nessie. Chọn trong danh sách.
Catalog nameCóTên catalog Iceberg.
EndpointCóEndpoint của storage S3.
Access KeyCóAccess key của storage S3.
SecretCóSecret đi kèm access key.
Root directoryCóRoot directory trong storage S3, theo dạng BUCKET_NAME/YOUR_DIRECTORY.
Converter classCóConverter class của connector. Portal cung cấp Iceberg log. Bốn trường converter bị làm mờ cho tới khi bạn chọn class. Xem Converter.
Converter key, Converter key schema enable, Converter value, Converter value schema enableCóCách connector đọc key và value của message, và key, value có kèm schema hay không. Với Iceberg log, Converter key chỉ có org.apache.kafka.connect.storage.StringConverter và Converter key schema enable chỉ có false. Converter value chỉ có org.apache.kafka.connect.json.JsonConverter, còn Converter value schema enable có true hoặc false.
Topics (trong phần Kafka topic)CóCác topic cần đọc. Chọn trong danh sách. Danh sách hiển thị các topic trong Kafka cluster của CDC Service. Xem Topic.

Màn hình Additional properties​

TrườngBắt buộcMô tả
Number of tasksCóSố task tối đa chạy song song. Giá trị mặc định là 1. Xem Tasks max.
Max poll recordKhôngSố bản ghi tối đa connector lấy về trong một lần poll. Giá trị mặc định là 3000.
Database TypeCóLoại cơ sở dữ liệu nguồn của các topic. Dù chọn loại nào, connector này vẫn ghi thêm mọi bản ghi.
File formatKhôngĐịnh dạng của file dữ liệu: parquet, avro hoặc orc. Giá trị mặc định là parquet.
Topic 1, Table 1 (trong phần Map table)CóBảng Iceberg nhận bản ghi của từng topic. Nếu bảng chưa có, connector tự tạo bảng. Xem Map table.
Mode (trong phần Error Tolerance)CóCách connector xử lý message không đọc hoặc không chuyển đổi được. None làm connector dừng và chuyển sang trạng thái Failed. All bỏ qua message đó và chuyển nó tới topic bạn nhập để nhận bản ghi lỗi. Trường này không có giá trị mặc định. Xem Error tolerance.

Bước tiếp theo​