Tạo source connector Kafka
Đưa dữ liệu từ một hoặc nhiều topic của Kafka cluster khác vào Kafka cluster của CDC Service, để đồng bộ hoặc chuyển tiếp dữ liệu giữa các cluster. Cluster kia có thể nằm trong FPT Database Engine hoặc bên ngoài FPT Cloud.
Source connector Kafka chỉ sao chép dữ liệu của topic. Nếu cần đồng bộ cả offset của consumer group, để consumer chuyển sang Kafka cluster của CDC Service và đọc tiếp từ vị trí cũ, dùng Kafka MM2.
Điều kiện cần
- CDC Service ở trạng thái Healthy. Xem Tạo CDC Service.
- Bootstrap server endpoint của Kafka cluster kia, truy cập được từ workspace, cùng credential nếu cluster dùng SASL.
Tạo connector
-
Chọn Data platform → Workspace management, rồi chọn workspace.
-
Ở tab Overview, trong phần Services, chọn thẻ CDC.
-
Chọn tab Connectors, rồi chọn Create Connector.

-
Ở màn hình Connector Information, nhập Name, chọn source ở Type và chọn Kafka ở Database.

-
Chọn Next Step. Ở màn hình Properties, nhập thông tin cluster, chọn Test connection, rồi chọn + trong phần Topics để chọn các topic cần sao chép. Next Step chỉ khả dụng sau khi kiểm tra thành công.



-
Chọn Next Step. Ở màn hình Additional properties, đặt Number of tasks và các tùy chọn replication.


-
Chọn Next Step và kiểm tra cấu hình ở màn hình Review.

-
Chọn Create.
Portal hiển thị "Create Successfully" và mở tab Essential Information của CDC Service. Ở tab Connectors, connector mới có trạng thái Running, và mọi bộ đếm Tasks đều bằng
0cho tới khi task của connector khởi động. Việc này có thể mất tới khoảng 2,5 phút.
Cài đặt của connector
Màn hình Connector Information
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Name | Có | Tên connector, gồm chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc khoảng trắng, form báo lỗi "Name has invalid characters". |
| Type | Có | Chọn source. |
| Database | Có | Chọn Kafka. |
Màn hình Properties
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| From FPT Database Engine / Manual configuration | Có | Chọn một Kafka cluster từ FPT Database Engine, hoặc tự nhập thông tin cluster. Mặc định chọn Manual configuration. Xem Chế độ kết nối. |
| Database Name | Khi chọn From FPT Database Engine | Kafka cluster trong FPT Database Engine. Danh sách chỉ hiển thị tên cluster, và hai cluster có thể trùng tên. Khi bạn chọn một cluster, form tự điền Bootstrap Server Endpoint, đặt Security Protocol là SASL_PLAINTEXT và Authentication method là PLAIN. Cluster alias name, Username và Password vẫn để trống. |
| Cluster alias name | Có | Tên đặt cho cluster kia. Chỉ gồm chữ cái, số và dấu gạch ngang (-). Với Default Replication Policy, tên này trở thành prefix của tên các topic được sao chép. |
| Bootstrap Server Endpoint | Có | Các endpoint Kafka server của cluster kia. Phân tách nhiều endpoint bằng dấu phẩy (,). |
| Security Protocol | Có | SASL_PLAINTEXT xác thực bằng username và mật khẩu. SASL_SSL xác thực bằng username và mật khẩu, đồng thời mã hóa dữ liệu. PLAINTEXT gửi dữ liệu không mã hóa, không nên dùng. SSL mã hóa dữ liệu khi truyền. |
| Authentication method | Khi chọn SASL_PLAINTEXT hoặc SASL_SSL | Cơ chế SASL: PLAIN, SCRAM-SHA-256 hoặc SCRAM-SHA-512. |
| Username | Khi chọn SASL_PLAINTEXT hoặc SASL_SSL | Username SASL. |
| Password | Khi chọn SASL_PLAINTEXT hoặc SASL_SSL | Mật khẩu SASL. |
| Topics | Không | Các topic cần sao chép. Test connection đọc danh sách topic của cluster kia, và báo lỗi "No topics found, please check the Kafka cluster input" khi không đọc được topic nào. Nếu gặp thông báo này, kiểm tra lại thông tin cluster và credential, và kiểm tra cluster có topic hay không. Sau khi kiểm tra thành công, chọn + để tải danh sách topic của cluster kia, rồi chọn tối đa 100 topic. Dùng Filter để tìm trong danh sách và biểu tượng xóa để bỏ một topic. Nếu không chọn topic nào, connector sao chép mọi topic của cluster kia, trừ các topic nội bộ. Xem Topic. |
Màn hình Additional properties
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Number of tasks | Có | Số task tối đa của connector. Mặc định 1. Thường không vượt quá số partition của Kafka topic. Màn hình Review gọi trường này là Tasks max. Xem Tasks max. |
| Replication policy | Có | Cách đặt tên cho các topic được sao chép trong Kafka cluster của CDC Service. Default Replication Policy (mặc định) thêm cluster alias và dấu chấm vào trước tên topic, nên orders từ alias prod thành prod.orders. Identity Replication Policy giữ nguyên tên topic. |
| Replication factor | Có | Số replica của mỗi partition trong các topic được sao chép. Mặc định 1. Nhập -1 để dùng giá trị mặc định của broker. |