Chuyển tới nội dung chính

Tạo source connector Kafka

Đưa dữ liệu từ một hoặc nhiều topic của Kafka cluster khác vào Kafka cluster của CDC Service, để đồng bộ hoặc chuyển tiếp dữ liệu giữa các cluster. Cluster kia có thể nằm trong FPT Database Engine hoặc bên ngoài FPT Cloud.

ghi chú

Source connector Kafka chỉ sao chép dữ liệu của topic. Nếu cần đồng bộ cả offset của consumer group, để consumer chuyển sang Kafka cluster của CDC Service và đọc tiếp từ vị trí cũ, dùng Kafka MM2.

Điều kiện cần​

  • CDC Service ở trạng thái Healthy. Xem Tạo CDC Service.
  • Bootstrap server endpoint của Kafka cluster kia, truy cập được từ workspace, cùng credential nếu cluster dùng SASL.

Tạo connector​

  1. Chọn Data platform → Workspace management, rồi chọn workspace.

  2. Ở tab Overview, trong phần Services, chọn thẻ CDC.

  3. Chọn tab Connectors, rồi chọn Create Connector.

    Tab Connectors của CDC Service ở trạng thái Healthy, với thông báo No connector yet và nút Create Connector

  4. Ở màn hình Connector Information, nhập Name, chọn source ở Type và chọn Kafka ở Database.

    Màn hình Connector Information của form Create Connector với các trường Name, Type và Database

  5. Chọn Next Step. Ở màn hình Properties, nhập thông tin cluster, chọn Test connection, rồi chọn + trong phần Topics để chọn các topic cần sao chép. Next Step chỉ khả dụng sau khi kiểm tra thành công.

    Phần Kafka Cluster Information khi chọn From FPT Database Engine, gồm các trường Database Name, Cluster alias name, Bootstrap Server Endpoint, Security Protocol, Authentication method, Username và Password

    Phần Kafka Cluster Information khi chọn Manual configuration, gồm các trường Cluster alias name, Bootstrap Server Endpoint và Security Protocol

    Phần Topics đã thêm một topic, gồm ô Filter và danh sách topic có biểu tượng xóa

  6. Chọn Next Step. Ở màn hình Additional properties, đặt Number of tasks và các tùy chọn replication.

    Phần Task, Number of tasks đã nhập 1

    Phần Replication với danh sách Replication policy và trường Replication factor

  7. Chọn Next Step và kiểm tra cấu hình ở màn hình Review.

    Màn hình Review của source connector Kafka với các phần Basic Information, Kafka Cluster Information, Task và Replication

  8. Chọn Create.

    Portal hiển thị "Create Successfully" và mở tab Essential Information của CDC Service. Ở tab Connectors, connector mới có trạng thái Running, và mọi bộ đếm Tasks đều bằng 0 cho tới khi task của connector khởi động. Việc này có thể mất tới khoảng 2,5 phút.

Cài đặt của connector​

Màn hình Connector Information​

TrườngBắt buộcMô tả
NameCóTên connector, gồm chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc khoảng trắng, form báo lỗi "Name has invalid characters".
TypeCóChọn source.
DatabaseCóChọn Kafka.

Màn hình Properties​

TrườngBắt buộcMô tả
From FPT Database Engine / Manual configurationCóChọn một Kafka cluster từ FPT Database Engine, hoặc tự nhập thông tin cluster. Mặc định chọn Manual configuration. Xem Chế độ kết nối.
Database NameKhi chọn From FPT Database EngineKafka cluster trong FPT Database Engine. Danh sách chỉ hiển thị tên cluster, và hai cluster có thể trùng tên. Khi bạn chọn một cluster, form tự điền Bootstrap Server Endpoint, đặt Security Protocol là SASL_PLAINTEXT và Authentication method là PLAIN. Cluster alias name, Username và Password vẫn để trống.
Cluster alias nameCóTên đặt cho cluster kia. Chỉ gồm chữ cái, số và dấu gạch ngang (-). Với Default Replication Policy, tên này trở thành prefix của tên các topic được sao chép.
Bootstrap Server EndpointCóCác endpoint Kafka server của cluster kia. Phân tách nhiều endpoint bằng dấu phẩy (,).
Security ProtocolCóSASL_PLAINTEXT xác thực bằng username và mật khẩu. SASL_SSL xác thực bằng username và mật khẩu, đồng thời mã hóa dữ liệu. PLAINTEXT gửi dữ liệu không mã hóa, không nên dùng. SSL mã hóa dữ liệu khi truyền.
Authentication methodKhi chọn SASL_PLAINTEXT hoặc SASL_SSLCơ chế SASL: PLAIN, SCRAM-SHA-256 hoặc SCRAM-SHA-512.
UsernameKhi chọn SASL_PLAINTEXT hoặc SASL_SSLUsername SASL.
PasswordKhi chọn SASL_PLAINTEXT hoặc SASL_SSLMật khẩu SASL.
TopicsKhôngCác topic cần sao chép. Test connection đọc danh sách topic của cluster kia, và báo lỗi "No topics found, please check the Kafka cluster input" khi không đọc được topic nào. Nếu gặp thông báo này, kiểm tra lại thông tin cluster và credential, và kiểm tra cluster có topic hay không. Sau khi kiểm tra thành công, chọn + để tải danh sách topic của cluster kia, rồi chọn tối đa 100 topic. Dùng Filter để tìm trong danh sách và biểu tượng xóa để bỏ một topic. Nếu không chọn topic nào, connector sao chép mọi topic của cluster kia, trừ các topic nội bộ. Xem Topic.

Màn hình Additional properties​

TrườngBắt buộcMô tả
Number of tasksCóSố task tối đa của connector. Mặc định 1. Thường không vượt quá số partition của Kafka topic. Màn hình Review gọi trường này là Tasks max. Xem Tasks max.
Replication policyCóCách đặt tên cho các topic được sao chép trong Kafka cluster của CDC Service. Default Replication Policy (mặc định) thêm cluster alias và dấu chấm vào trước tên topic, nên orders từ alias prod thành prod.orders. Identity Replication Policy giữ nguyên tên topic.
Replication factorCóSố replica của mỗi partition trong các topic được sao chép. Mặc định 1. Nhập -1 để dùng giá trị mặc định của broker.

Bước tiếp theo​