Chuyển tới nội dung chính

Tạo sink connector ClickHouse (Replication)

Dùng sink connector ClickHouse (Replication) để giữ một bản sao các bảng nguồn trong ClickHouse. Connector áp dụng thay đổi từ các Kafka topic bạn chọn vào các bảng có sẵn và giữ trạng thái hiện tại của từng dòng, còn sink connector ClickHouse (logs) lưu mỗi thay đổi thành một dòng mới.

Điều kiện cần​

  • CDC Service ở trạng thái Healthy. Xem Tạo CDC Service.
  • Topic có dữ liệu thay đổi do một source connector PostgreSQL, MySQL, MariaDB hoặc SQL Server ghi vào, ví dụ source connector MariaDB.
  • Cơ sở dữ liệu ClickHouse mà workspace truy cập được, và một user có quyền SELECT và INSERT trên các bảng đích.
  • Các bảng đích đã tạo sẵn, với các cột của dòng nguồn. Connector không tự tạo bảng.

Tạo connector​

  1. Chọn Data platform → Workspace management, rồi chọn workspace.

  2. Ở tab Overview, trong phần Services, chọn thẻ CDC.

  3. Chọn tab Connectors, rồi chọn Create Connector.

    Tab Connectors của CDC Service ở trạng thái Healthy, chưa có connector nào, cùng nút Create Connector

  4. Ở màn hình Connector Information, nhập Name, chọn sink ở Type và chọn ClickHouse Replicate ở Database.

    Màn hình Connector Information của form Create Connector với các trường Name, Type và Database

  5. Chọn Next Step. Ở màn hình Properties, nhập thông tin kết nối, rồi chọn Test connection. Next Step chỉ khả dụng sau khi kiểm tra thành công.

    Phần Database Information khi chọn Manual configuration, gồm các trường Host name, Port, Database, Username và Password

    Phần Database Information khi chọn From FPT Database Engine, với danh sách Database Name phía trên các trường kết nối

  6. Vẫn ở màn hình này, chọn Converter class và thiết lập bốn trường converter, rồi chọn các topic cần đọc ở Topics.

    Phần Converter với các danh sách Converter class, Converter key, Converter value và schema enable

    Phần Kafka topic với danh sách Topics

  7. Chọn Next Step. Ở màn hình Additional properties, thiết lập các trường trong phần Task, Database source, Map table và Error Tolerance.

    Phần Map table với một topic ở Topic 1 và bảng orders đã chọn ở Table 1

  8. Chọn Next Step, rồi kiểm tra cấu hình ở màn hình Review.

    Màn hình Review với các phần Basic Information, Database Information, Kafka topic, Task, Database source, Error Tolerance và nút Create

  9. Chọn Create.

Cài đặt của connector​

Màn hình Connector Information​

TrườngBắt buộcMô tả
NameCóTên connector. Chỉ dùng chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc dấu cách, form báo lỗi "Name has invalid characters".
TypeCóChọn sink.
DatabaseCóChọn ClickHouse Replicate.

Màn hình Properties​

Trong phần Database Information, chọn From FPT Database Engine hoặc Manual configuration. Mặc định, portal chọn sẵn Manual configuration. Với From FPT Database Engine, chọn instance ở Database Name để portal tự điền Host name và Port. Xem Chế độ kết nối.

TrườngBắt buộcMô tả
Database NameCóChỉ hiển thị khi chọn From FPT Database Engine. Instance ClickHouse trong FPT Database Engine. Nhập cơ sở dữ liệu mà connector ghi vào ở Database.
Host nameCóTên host hoặc địa chỉ IP của server ClickHouse.
PortCóPort của server ClickHouse, ví dụ 8123. Ở Manual configuration, trường này không có giá trị mặc định.
DatabaseCóCơ sở dữ liệu mà connector ghi vào.
UsernameCóUser mà connector dùng để kết nối.
PasswordCóMật khẩu của user đó.
Converter classCóConverter class của connector. Portal cung cấp Clickhouse replica. Bốn trường converter bị làm mờ cho tới khi bạn chọn class. Xem Converter.
Converter key, Converter key schema enable, Converter value, Converter value schema enableCóCách connector đọc key và value của message, và key, value có kèm schema hay không. Với Clickhouse replica, converter của key và value chỉ có org.apache.kafka.connect.json.JsonConverter, còn các trường schema enable chỉ có true.
Topics (trong phần Kafka topic)CóCác topic cần đọc. Chọn trong danh sách. Danh sách hiển thị các topic trong Kafka cluster của CDC Service. Xem Topic.

Màn hình Additional properties​

TrườngBắt buộcMô tả
Tasks maxCóSố task tối đa của connector. Giá trị mặc định là 1. Xem Tasks max.
Type (trong phần Database source)CóLoại cơ sở dữ liệu nguồn của các topic: PostgreSQL, MySQL, MariaDB hoặc SQLServer. Trường này không có giá trị mặc định.
Topic 1, Table 1 (trong phần Map table)CóBảng ClickHouse nhận bản ghi của từng topic. Chọn một bảng có sẵn trong danh sách. Nếu danh sách hiển thị "No options", chọn Next Step sẽ báo lỗi "Table is required": tạo bảng trong ClickHouse trước, rồi chọn bảng đó. Xem Map table.
Mode (trong phần Error Tolerance)CóCách connector xử lý message không đọc hoặc không chuyển đổi được. None làm connector dừng và chuyển sang trạng thái Failed. All bỏ qua message đó và chuyển nó tới topic bạn nhập để nhận bản ghi lỗi. Trường này không có giá trị mặc định. Xem Error tolerance.

Bước tiếp theo​