Chuyển tới nội dung chính

Tạo sink connector Elasticsearch

Dùng sink connector Elasticsearch để index vào Elasticsearch những thay đổi ghi nhận từ cơ sở dữ liệu nguồn. Connector đọc các Kafka topic bạn chọn và ghi mỗi topic vào một index.

Điều kiện cần​

  • CDC Service ở trạng thái Healthy. Xem Tạo CDC Service.
  • Topic có dữ liệu thay đổi do một source connector ghi vào, ví dụ source connector PostgreSQL.
  • URL của cluster Elasticsearch, kèm username và mật khẩu.

Tạo connector​

  1. Chọn Data platform → Workspace management, rồi chọn workspace.

  2. Ở tab Overview, trong phần Services, chọn thẻ CDC.

  3. Chọn tab Connectors, rồi chọn Create Connector.

    Tab Connectors của CDC Service chưa có connector nào, cùng nút Create Connector

  4. Ở màn hình Connector Information, nhập Name, chọn sink ở Type và chọn Elastic Search ở Database.

    Màn hình Connector Information của form Create Connector với các trường Name, Type và Database

  5. Chọn Next Step. Ở màn hình Properties, nhập thông tin kết nối, rồi chọn Test connection. Next Step chỉ khả dụng sau khi kiểm tra thành công.

    Phần Database Information với các trường URL, Username và Password

  6. Vẫn ở màn hình này, chọn Converter class và thiết lập bốn trường converter. Trong phần Kafka topic, chọn +, rồi chọn các topic cần đọc trong panel Select topics.

    Phần Converter với các trường Converter class, Converter key, Converter value và schema enable

    Phần Kafka topic với các nút thêm và xóa, ô Filter và một topic trong danh sách

  7. Chọn Next Step. Ở màn hình Additional properties, thiết lập các trường trong phần Task, Map table và Error Tolerance.

    Phần Task với Number of tasks đặt là 1

    Phần Map table với Topic 1, công tắc Create new table đang bật và Index tên users

    Phần Error Tolerance với danh sách Mode

  8. Chọn Next Step, rồi kiểm tra cấu hình ở màn hình Review.

  9. Chọn Create.

Cài đặt của connector​

Màn hình Connector Information​

TrườngBắt buộcMô tả
NameCóTên connector. Chỉ dùng chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc dấu cách, form báo lỗi "Name has invalid characters".
TypeCóChọn sink.
DatabaseCóChọn Elastic Search.

Màn hình Properties​

Connector này không có tùy chọn From FPT Database Engine. Nhập thông tin kết nối ở phần Database Information. Xem cách Test connection hoạt động ở Chế độ kết nối.

TrườngBắt buộcMô tả
URLCóĐịa chỉ của cluster Elasticsearch, kèm scheme, ví dụ https://. Nếu thiếu scheme, form hiển thị "URL must be a valid uri".
UsernameCóUsername mà connector dùng để kết nối tới Elasticsearch.
PasswordCóMật khẩu của user đó.
Converter classCóConverter class của connector. Portal cung cấp Elasticsearch. Bốn trường converter bị làm mờ cho tới khi bạn chọn class. Xem Converter.
Converter key, Converter key schema enable, Converter value, Converter value schema enableCóCách connector đọc key và value của message, và key, value có kèm schema hay không. Với Elasticsearch, Converter key chỉ có org.apache.kafka.connect.storage.StringConverter và Converter key schema enable chỉ có false. Converter value chỉ có org.apache.kafka.connect.json.JsonConverter, còn Converter value schema enable có true hoặc false.
Kafka topicCóCác topic cần đọc, tối đa 100 topic. Chọn + để mở panel Select topics, chọn các topic, rồi chọn Select. Xem Topic.

Màn hình Additional properties​

TrườngBắt buộcMô tả
Number of tasksCóSố task tối đa chạy song song. Giá trị mặc định là 1. Xem Tasks max.
Topic 1, Create new table, Index (trong phần Map table)CóIndex nhận bản ghi của từng topic. Bật Create new table rồi nhập tên để tạo index mới, hoặc tắt rồi chọn index có sẵn. Xem Map table.
Mode (trong phần Error Tolerance)CóCách connector xử lý message không đọc hoặc không chuyển đổi được. None làm connector dừng và chuyển sang trạng thái Failed. All bỏ qua message đó và chuyển nó tới topic bạn nhập để nhận bản ghi lỗi. Trường này không có giá trị mặc định. Xem Error tolerance.

Bước tiếp theo​