Tạo sink connector ClickHouse (logs)
Dùng sink connector ClickHouse (logs) để lưu toàn bộ lịch sử thay đổi mà source connector ghi nhận vào ClickHouse, phục vụ phân tích hoặc audit. Connector thêm mỗi thay đổi từ các Kafka topic bạn chọn thành một dòng mới trong bảng có sẵn, còn sink connector ClickHouse (Replication) chỉ giữ trạng thái hiện tại của từng dòng.
Điều kiện cần
- CDC Service ở trạng thái Healthy. Xem Tạo CDC Service.
- Topic có dữ liệu thay đổi do một source connector ghi vào, ví dụ source connector MariaDB.
- Cơ sở dữ liệu ClickHouse mà workspace truy cập được, và một user có quyền SELECT và INSERT trên các bảng đích.
- Các bảng đích đã tạo sẵn, với các cột khớp với các trường của sự kiện thay đổi sau khi làm phẳng, ví dụ
before.id,after.id,opvàts_ms. Connector không tự tạo bảng.
Tạo connector
-
Chọn Data platform → Workspace management, rồi chọn workspace.
-
Ở tab Overview, trong phần Services, chọn thẻ CDC.
-
Chọn tab Connectors, rồi chọn Create Connector.

-
Ở màn hình Connector Information, nhập Name, chọn sink ở Type và chọn ClickHouse (Logs) ở Database.

-
Chọn Next Step. Ở màn hình Properties, nhập thông tin kết nối, rồi chọn Test connection. Next Step chỉ khả dụng sau khi kiểm tra thành công. Nếu kiểm tra thất bại với thông báo "Connection failed due to invalid information, permission or network failure.", xem lại thông tin kết nối và quyền của user, rồi kiểm tra lại.


-
Vẫn ở màn hình này, chọn Converter class và thiết lập bốn trường converter, rồi chọn các topic cần đọc ở Topics.


-
Chọn Next Step. Ở màn hình Additional properties, thiết lập các trường trong phần Task, Map table và Error Tolerance.

-
Chọn Next Step, rồi kiểm tra cấu hình ở màn hình Review.

-
Chọn Create.
Cài đặt của connector
Màn hình Connector Information
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Name | Có | Tên connector. Chỉ dùng chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc dấu cách, form báo lỗi "Name has invalid characters". |
| Type | Có | Chọn sink. |
| Database | Có | Chọn ClickHouse (Logs). |
Màn hình Properties
Trong phần Database Information, chọn From FPT Database Engine hoặc Manual configuration. Mặc định, portal chọn sẵn Manual configuration. Với From FPT Database Engine, chọn instance ở Database Name để portal tự điền Host name và Port. Xem Chế độ kết nối.
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Database Name | Có | Chỉ hiển thị khi chọn From FPT Database Engine. Instance ClickHouse trong FPT Database Engine. Nhập cơ sở dữ liệu mà connector ghi vào ở Database. |
| Host name | Có | Tên host hoặc địa chỉ IP của server ClickHouse. |
| Port | Có | Port của server ClickHouse, ví dụ 8123. Ở Manual configuration, trường này không có giá trị mặc định. |
| Database | Có | Cơ sở dữ liệu mà connector ghi vào. |
| Username | Có | User mà connector dùng để kết nối. |
| Password | Có | Mật khẩu của user đó. |
| Converter class | Có | Converter class của connector. Portal cung cấp Clickhouse log. Bốn trường converter bị làm mờ cho tới khi bạn chọn class. Xem Converter. |
| Converter key, Converter key schema enable, Converter value, Converter value schema enable | Có | Cách connector đọc key và value của message, và key, value có kèm schema hay không. Với Clickhouse log, Converter key chỉ có org.apache.kafka.connect.storage.StringConverter và Converter key schema enable chỉ có true. Converter value chỉ có org.apache.kafka.connect.json.JsonConverter, còn Converter value schema enable có true hoặc false. |
| Topics (trong phần Kafka topic) | Có | Các topic cần đọc. Chọn trong danh sách. Danh sách hiển thị các topic trong Kafka cluster của CDC Service. Xem Topic. |
Màn hình Additional properties
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Tasks max | Có | Số task tối đa của connector. Giá trị mặc định là 1. Xem Tasks max. |
| Topic 1, Table 1 (trong phần Map table) | Có | Bảng ClickHouse nhận bản ghi của từng topic. Chọn một bảng có sẵn trong danh sách. Nếu danh sách hiển thị "No options", chọn Next Step sẽ báo lỗi "Table is required": tạo bảng trong ClickHouse trước, rồi chọn bảng đó. Xem Map table. |
| Mode (trong phần Error Tolerance) | Có | Cách connector xử lý message không đọc hoặc không chuyển đổi được. None làm connector dừng và chuyển sang trạng thái Failed. All bỏ qua message đó và chuyển nó tới topic bạn nhập để nhận bản ghi lỗi. Trường này không có giá trị mặc định. Xem Error tolerance. |