Tạo sink connector OpenSearch
Dùng sink connector OpenSearch để có thể tìm kiếm trên OpenSearch những thay đổi ghi nhận từ cơ sở dữ liệu nguồn. Connector đọc các Kafka topic bạn chọn và ghi mỗi topic vào một index của OpenSearch.
Điều kiện cần
- CDC Service ở trạng thái Healthy. Xem Tạo CDC Service.
- Topic có dữ liệu thay đổi do một source connector ghi vào, ví dụ source connector PostgreSQL.
- Chuỗi kết nối, username và mật khẩu của cơ sở dữ liệu OpenSearch.
Tạo connector
-
Chọn Data platform → Workspace management, rồi chọn workspace.
-
Ở tab Overview, trong phần Services, chọn thẻ CDC.
-
Chọn tab Connectors, rồi chọn Create Connector.

-
Ở màn hình Connector Information, nhập Name, chọn sink ở Type và chọn OpenSearch ở Database.

-
Chọn Next Step. Ở màn hình Properties, nhập thông tin kết nối, rồi chọn Test connection. Next Step chỉ khả dụng sau khi kiểm tra thành công. Nếu kiểm tra thất bại với thông báo "Connection failed due to network failure or invalid information.", xem lại chuỗi kết nối, username và mật khẩu, rồi kiểm tra lại.


-
Vẫn ở màn hình này, chọn Converter class và thiết lập bốn trường converter, rồi chọn các topic cần đọc ở Topics.


-
Chọn Next Step. Ở màn hình Additional properties, thiết lập các trường trong phần Task, Map table và Error Tolerance.



-
Chọn Next Step, rồi kiểm tra cấu hình ở màn hình Review.

-
Chọn Create.
Portal quay về tab Essential Information của CDC Service. Ở tab Connectors, connector mới có trạng thái Running, và mọi bộ đếm Tasks đều bằng 0 cho tới khi task của connector khởi động. Việc này có thể mất tới khoảng 2,5 phút.
Cài đặt của connector
Màn hình Connector Information
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Name | Có | Tên connector. Chỉ dùng chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc dấu cách, form báo lỗi "Name has invalid characters". |
| Type | Có | Chọn sink. |
| Database | Có | Chọn OpenSearch. |
Màn hình Properties
Trong phần Database Information, chọn From FPT Database Engine hoặc Manual configuration. Mặc định, portal chọn sẵn Manual configuration. Với From FPT Database Engine, chọn instance ở Database Name. Portal tự điền Connection string theo dạng http://HOST:9200 và bạn không sửa được trường này. Xem Chế độ kết nối.
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Database Name | Có | Chỉ hiển thị khi chọn From FPT Database Engine. Instance OpenSearch trong FPT Database Engine. |
| Connection string | Có | URI kết nối hoặc tên host của cơ sở dữ liệu OpenSearch. |
| Username | Có | Username mà connector dùng để kết nối tới OpenSearch. |
| Password | Có | Mật khẩu của user đó. |
| Converter class | Có | Converter class của connector. Portal cung cấp Opensearch. Bốn trường converter bị làm mờ cho tới khi bạn chọn class. Xem Converter. |
| Converter key, Converter key schema enable, Converter value, Converter value schema enable | Có | Cách connector đọc key và value của message, và key, value có kèm schema hay không. Converter key có org.apache.kafka.connect.storage.StringConverter và org.apache.kafka.connect.json.JsonConverter, còn Converter value chỉ có org.apache.kafka.connect.json.JsonConverter. Cả hai trường schema enable đều có true và false. |
| Topics (trong phần Kafka topic) | Có | Các topic cần đọc. Chọn trong danh sách. Danh sách hiển thị các topic trong Kafka cluster của CDC Service. Xem Topic. |
Màn hình Additional properties
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Tasks max | Có | Số task connector chạy đồng thời khi topic có nhiều hơn một partition. Khi giá trị lớn hơn 1, connector có thể đọc bản ghi không theo thứ tự. Để giữ các bản ghi liên quan trong cùng một partition, đặt cùng key cho chúng. Giá trị mặc định là 1. Xem Tasks max. |
| Data stream enable | Không | Bật để ghi vào data stream thay vì index thông thường. Data stream phù hợp với dữ liệu time-series và log: data stream chỉ ghi thêm document, và mỗi bản ghi cần có trường @timestamp. Giá trị mặc định là Disable. |
| Topic 1, Create new table, Table 1 (trong phần Map table) | Có | Index OpenSearch nhận bản ghi của từng topic. Dù có nhãn Table 1, trường này nhận tên index. Mặc định, Create new table đang tắt và Table 1 liệt kê các index có sẵn, gồm cả index hệ thống có tên bắt đầu bằng .. Không chọn index hệ thống. Bật Create new table để nhập tên index mới thay vì chọn index có sẵn. Khi bật tùy chọn này, Table 1 sẽ trống. Xem Map table. |
| Mode (trong phần Error Tolerance) | Có | Cách connector xử lý message không đọc hoặc không chuyển đổi được. None làm connector dừng và chuyển sang trạng thái Failed. All bỏ qua message đó và chuyển nó tới topic bạn nhập để nhận bản ghi lỗi. Trường này không có giá trị mặc định. Xem Error tolerance. |