Tạo sink connector ClickHouse (Replication)
Dùng sink connector ClickHouse (Replication) để giữ một bản sao các bảng nguồn trong ClickHouse. Connector áp dụng thay đổi từ các Kafka topic bạn chọn vào các bảng có sẵn và giữ trạng thái hiện tại của từng dòng, còn sink connector ClickHouse (logs) lưu mỗi thay đổi thành một dòng mới.
Điều kiện cần
- CDC Service ở trạng thái Healthy. Xem Tạo CDC Service.
- Topic có dữ liệu thay đổi do một source connector PostgreSQL, MySQL, MariaDB hoặc SQL Server ghi vào, ví dụ source connector MariaDB.
- Cơ sở dữ liệu ClickHouse mà workspace truy cập được, và một user có quyền SELECT và INSERT trên các bảng đích.
- Các bảng đích đã tạo sẵn, với các cột của dòng nguồn. Connector không tự tạo bảng.
Tạo connector
-
Chọn Data platform → Workspace management, rồi chọn workspace.
-
Ở tab Overview, trong phần Services, chọn thẻ CDC.
-
Chọn tab Connectors, rồi chọn Create Connector.

-
Ở màn hình Connector Information, nhập Name, chọn sink ở Type và chọn ClickHouse Replicate ở Database.

-
Chọn Next Step. Ở màn hình Properties, nhập thông tin kết nối, rồi chọn Test connection. Next Step chỉ khả dụng sau khi kiểm tra thành công.


-
Vẫn ở màn hình này, chọn Converter class và thiết lập bốn trường converter, rồi chọn các topic cần đọc ở Topics.


-
Chọn Next Step. Ở màn hình Additional properties, thiết lập các trường trong phần Task, Database source, Map table và Error Tolerance.

-
Chọn Next Step, rồi kiểm tra cấu hình ở màn hình Review.

-
Chọn Create.
Cài đặt của connector
Màn hình Connector Information
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Name | Có | Tên connector. Chỉ dùng chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc dấu cách, form báo lỗi "Name has invalid characters". |
| Type | Có | Chọn sink. |
| Database | Có | Chọn ClickHouse Replicate. |
Màn hình Properties
Trong phần Database Information, chọn From FPT Database Engine hoặc Manual configuration. Mặc định, portal chọn sẵn Manual configuration. Với From FPT Database Engine, chọn instance ở Database Name để portal tự điền Host name và Port. Xem Chế độ kết nối.
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Database Name | Có | Chỉ hiển thị khi chọn From FPT Database Engine. Instance ClickHouse trong FPT Database Engine. Nhập cơ sở dữ liệu mà connector ghi vào ở Database. |
| Host name | Có | Tên host hoặc địa chỉ IP của server ClickHouse. |
| Port | Có | Port của server ClickHouse, ví dụ 8123. Ở Manual configuration, trường này không có giá trị mặc định. |
| Database | Có | Cơ sở dữ liệu mà connector ghi vào. |
| Username | Có | User mà connector dùng để kết nối. |
| Password | Có | Mật khẩu của user đó. |
| Converter class | Có | Converter class của connector. Portal cung cấp Clickhouse replica. Bốn trường converter bị làm mờ cho tới khi bạn chọn class. Xem Converter. |
| Converter key, Converter key schema enable, Converter value, Converter value schema enable | Có | Cách connector đọc key và value của message, và key, value có kèm schema hay không. Với Clickhouse replica, converter của key và value chỉ có org.apache.kafka.connect.json.JsonConverter, còn các trường schema enable chỉ có true. |
| Topics (trong phần Kafka topic) | Có | Các topic cần đọc. Chọn trong danh sách. Danh sách hiển thị các topic trong Kafka cluster của CDC Service. Xem Topic. |
Màn hình Additional properties
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Tasks max | Có | Số task tối đa của connector. Giá trị mặc định là 1. Xem Tasks max. |
| Type (trong phần Database source) | Có | Loại cơ sở dữ liệu nguồn của các topic: PostgreSQL, MySQL, MariaDB hoặc SQLServer. Trường này không có giá trị mặc định. |
| Topic 1, Table 1 (trong phần Map table) | Có | Bảng ClickHouse nhận bản ghi của từng topic. Chọn một bảng có sẵn trong danh sách. Nếu danh sách hiển thị "No options", chọn Next Step sẽ báo lỗi "Table is required": tạo bảng trong ClickHouse trước, rồi chọn bảng đó. Xem Map table. |
| Mode (trong phần Error Tolerance) | Có | Cách connector xử lý message không đọc hoặc không chuyển đổi được. None làm connector dừng và chuyển sang trạng thái Failed. All bỏ qua message đó và chuyển nó tới topic bạn nhập để nhận bản ghi lỗi. Trường này không có giá trị mặc định. Xem Error tolerance. |