Chuyển tới nội dung chính

Tạo sink connector MongoDB

Dùng sink connector MongoDB để cập nhật liên tục các collection trong cơ sở dữ liệu MongoDB theo những thay đổi mà source connector ghi nhận. Connector đọc các Kafka topic bạn chọn và ghi mỗi topic vào collection mà bạn ánh xạ với topic đó.

Điều kiện cần​

  • CDC Service ở trạng thái Healthy. Xem Tạo CDC Service.
  • Topic có dữ liệu thay đổi do một source connector ghi vào, ví dụ source connector MongoDB.
  • URL kết nối tới một deployment MongoDB mà workspace truy cập được, và một user có role readWrite trên cơ sở dữ liệu đích.

Tạo connector​

  1. Chọn Data platform → Workspace management, rồi chọn workspace.

  2. Ở tab Overview, trong phần Services, chọn thẻ CDC.

  3. Chọn tab Connectors, rồi chọn Create Connector.

    Tab Connectors của CDC Service ở trạng thái Healthy, chưa có connector nào, cùng nút Create Connector

  4. Ở màn hình Connector Information, nhập Name, chọn sink ở Type và chọn MongoDB ở Database.

    Màn hình Connector Information của form Create Connector với các trường Name, Type và Database

  5. Chọn Next Step. Ở màn hình Properties, nhập thông tin kết nối, rồi chọn Test connection. Next Step chỉ khả dụng sau khi kiểm tra thành công.

    Phần Database Information khi chọn Manual configuration, gồm các trường Connection URL, Username, Password và Database

    Phần Database Information khi chọn From FPT Database Engine, với danh sách Database Name phía trên các trường kết nối

  6. Vẫn ở màn hình này, chọn Converter class và thiết lập bốn trường converter. Trong phần Kafka topic, chọn +, rồi chọn các topic cần đọc trong panel Select topics.

    Phần Converter với các danh sách Converter class, Converter key, Converter value và schema enable

    Phần Kafka topic với một topic trong danh sách, các nút thêm và xóa, ô Filter, cùng các cột Topic và Action

  7. Chọn Next Step. Ở màn hình Additional properties, thiết lập các trường trong phần Task, Database source và Map table.

    Phần Map table với một topic ánh xạ tới users ở cột Index, Create new đang bật và checkbox Enable filter errors

  8. Chọn Next Step, rồi kiểm tra cấu hình ở màn hình Review.

    Màn hình Review với các phần Basic Information, Database Information, Database source, Kafka topic, Task, Converter và nút Create

  9. Chọn Create.

    Portal quay về tab Essential Information của CDC Service. Ở tab Connectors, connector mới có trạng thái Running, và mọi bộ đếm Tasks đều bằng 0 cho tới khi task của connector khởi động. Việc này có thể mất tới khoảng 2,5 phút.

Cài đặt của connector​

Màn hình Connector Information​

TrườngBắt buộcMô tả
NameCóTên connector. Chỉ dùng chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc dấu cách, form báo lỗi "Name has invalid characters".
TypeCóChọn sink.
DatabaseCóChọn MongoDB.

Màn hình Properties​

Trong phần Database Information, chọn From FPT Database Engine hoặc Manual configuration. Mặc định, portal chọn sẵn Manual configuration. Với From FPT Database Engine, chọn instance ở Database Name. Portal tự điền Connection URL và bạn không sửa được trường này. Bạn nhập Username, Password và Database. Xem Chế độ kết nối.

TrườngBắt buộcMô tả
Database NameCóChỉ hiển thị khi chọn From FPT Database Engine. Instance MongoDB trong FPT Database Engine. Nhập cơ sở dữ liệu mà connector ghi vào ở Database.
Connection URLCóURI kết nối tới MongoDB.
UsernameCóUser mà connector dùng để kết nối.
PasswordCóMật khẩu của user đó.
DatabaseCóCơ sở dữ liệu MongoDB mà connector ghi vào. Chỉ dùng chữ cái, chữ số (0-9), dấu gạch dưới (_) và dấu gạch ngang (-). Không dùng dấu cách.
Converter classCóConverter class của connector. Portal cung cấp MongoDB. Bốn trường converter bị làm mờ cho tới khi bạn chọn class. Xem Converter.
Converter key, Converter key schema enable, Converter value, Converter value schema enableCóCách connector đọc key và value của message, và key, value có kèm schema hay không. Converter key có org.apache.kafka.connect.json.JsonConverter và org.apache.kafka.connect.storage.StringConverter, còn Converter value chỉ có org.apache.kafka.connect.json.JsonConverter. Cả hai trường schema enable đều có true và false.
Kafka topicCóCác topic cần đọc, tối đa 100 topic. Chọn + để mở panel Select topics, chọn các topic, rồi chọn Select. Xem Topic.

Màn hình Additional properties​

Sink MongoDB không có cài đặt Timezone và không có phần Error Tolerance.

TrườngBắt buộcMô tả
Tasks maxCóSố task connector chạy song song khi topic có nhiều hơn một partition. Khi có nhiều hơn một task, bản ghi có thể đến không đúng thứ tự. Giá trị mặc định là 1. Xem Tasks max.
Type (trong phần Database source)CóLoại cơ sở dữ liệu nguồn của các topic: None, PostgreSQL, MySQL, MariaDB, SQLServer hoặc MongoDB. Trường này không có giá trị mặc định.
Topic, Create new, Index (trong phần Map table)CóCollection nhận bản ghi của từng topic. Trên form, cột này có nhãn Index nhưng nhận tên collection, và màn hình Review hiển thị cột này là Collection. Mặc định, Create new đang bật và Index được điền sẵn tên bảng trong topic, dùng làm tên collection. Giữ Create new bật để tạo collection, hoặc tắt để chọn collection có sẵn. Nếu tắt rồi bật lại, bạn cần nhập lại tên. Nếu Index để trống, form báo lỗi "Table is required". Chọn Enable filter errors để chỉ liệt kê các dòng có lỗi. Xem Map table.

Bước tiếp theo​