Chuyển tới nội dung chính

2.10 OpenSearch Sink Connector

Tạo connector, Type là sink, Database là OpenSearch

Các bước tạo connector:​

Bước 1: Tại thanh menu chọn Data Platform > chọn Workspace Management > chọn Workspace name

Bước 2: Tại phần My services chọn CDC service

Bước 3: Tại màn detail CDC service > Chọn tab Connectors > nhấn Create a connector

image-1

Bước 4: Nhập các thông tin màn Connector Information:

  • Name (required): tên connector

Chú ý: Tên connector có thể chứa các kí tự chữ cái thường a-z hoặc các kí tự số 0-9. Đặc biệt không dùng dấu cách có thể thay dấu cách bằng dấu “-”.

  • Type (required): chọn sink
  • Database (required): chọn OpenSearch

image-2

Bước 5. Nhấn Next để chuyển qua màn Properties - Nhập các thông tin sau:

  • Trường hợp chọn Manual configuration - Điền các thông tin sau:
    • Connection string (required): OpenSearch host/hostname
    • Password (required): Password kết nối tới OpenSearch

image-3

  • Trường hợp chọn From FPT Database Engine - Điền các thông tin sau:
    • Connection string (required): OpenSearch connection uri
    • Username (required): Username kết nối tới OpenSearch
    • Password (required): Password kết nối tới OpenSearch

image-4

Nhấn Test connection để kiểm tra kết nối từ Workspace tới Database đã nhập

  • Converter
    • Converter key: chọn giá trị key cho converter
    • Converter key schema enable: chọn giá trị có/không sử dụng schema trong Converter key
    • Converter value: chọn giá trị value cho converter
    • Converter value schema enable: chọn giá trị có/không sử dụng schema trong Converter value

image-5

  • Topics (required): Danh sách các topics Connector sẽ consume và sink dữ liệu vào Opensearch, và được ngăn cách bởi dấu ","

image-6

Bước 6: Nhấn Next để chuyển qua màn Additional Properties

Nhập thông tin sau:

  • Data streams enable: mặc định là trạng thái Disable
  • Task max: Số lượng task mà connector có thể chạy đồng thời, nếu topics của có số lượng partition lớn hơn 1. Trong trường hợp task max > 1, message có thể consume không theo thứ tự (bạn cần đảm bảo key của message hoạt động đúng, khi đó các message cùng key sẽ đẩy vào cùng một partition).

image-7

  • Topic 1: tên topics Connector sẽ consume và sink dữ liệu vào OpenSearch
  • Table 1: tên table lắng nghe dữ liệu thay đổi từ PosgresSQL

Chú ý nếu người dùng muốn tạo bảo bảng mới thì enable nút create new table

image-8

  • Mode (required): Hành vi của Connector khi không thể xử lý được message
    • None: Connector sẽ bỏ qua các messages không thể sink vào CSDL
    • All: Các message lỗi sẽ được gửi vào topic được nhập

image-9

Bước 7: Nhấn Next để chuyển qua màn Review

image-10

Bước 8: Kiểm tra thông tin sau đó nhấn Create để hoàn thành việc tạo connector