Chuyển tới nội dung chính

Tạo source connector MongoDB

Đẩy mọi thay đổi trong các collection MongoDB vào Kafka topic, để sink connector chuyển tiếp sang hệ thống khác. Connector lắng nghe change stream, và có thể sao chép cả các document đã có.

Điều kiện cần​

  • CDC Service ở trạng thái Healthy. Xem Tạo CDC Service.
  • URL kết nối của replica set hoặc sharded cluster MongoDB. Server standalone vẫn dùng được sau khi bạn chuyển nó thành replica set.
  • Cơ sở dữ liệu đã chuẩn bị sẵn cho CDC, theo Chuẩn bị cơ sở dữ liệu MongoDB.

Chuẩn bị cơ sở dữ liệu MongoDB​

Connector đọc change stream, và MongoDB chỉ có change stream trên replica set hoặc sharded cluster. Nếu MongoDB chạy standalone, làm bước 1 đến 4 để chuyển server thành replica set một node, việc này cũng bật oplog. Các trường hợp khác bắt đầu từ bước 5.

  1. Đặt tên replica set trong file cấu hình mongod.

    replication:
    replSetName: YOUR_REPLICA_SET

    Nếu đang bật access control, replica set cần thêm xác thực nội bộ, ví dụ key file khai báo ở security.keyFile.

  2. Khởi động lại mongod để server chạy với tên replica set mới đặt.

    cảnh báo

    Khởi động lại mongod sẽ làm gián đoạn các ứng dụng đang dùng server. Lên lịch khởi động lại vào khung giờ bảo trì.

  3. Kết nối tới server bằng mongosh và khởi tạo replica set. Chỉ chạy lệnh này một lần.

    rs.initiate()
  4. Kiểm tra member đang ở trạng thái PRIMARY.

    rs.status()
  5. Tạo user chạy được find và changeStream trên cơ sở dữ liệu cần ghi nhận. Role có sẵn read đáp ứng cả hai quyền này.

    db.createUser({
    user: "YOUR_USER",
    pwd: "YOUR_PASSWORD",
    roles: [
    { role: "read", db: "YOUR_DATABASE" }
    ]
    })

    Để ghi nhận mọi cơ sở dữ liệu (connector làm vậy khi bạn chọn All database ở Database), dùng role readAnyDatabase thay cho role trên:

    db.createUser({
    user: "YOUR_USER",
    pwd: "YOUR_PASSWORD",
    roles: [
    { role: "readAnyDatabase", db: "admin" }
    ]
    })

Tạo connector​

  1. Chọn Data platform → Workspace management, rồi chọn workspace.

  2. Ở tab Overview, trong phần Services, chọn thẻ CDC.

  3. Chọn tab Connectors, rồi chọn Create Connector.

    Tab Connectors của CDC Service ở trạng thái Healthy, với thông báo No connector yet và nút Create Connector

  4. Ở màn hình Connector Information, nhập Name, chọn source ở Type và chọn MongoDB ở Database.

    Màn hình Connector Information của form Create Connector với các trường Name, Type và Database

  5. Chọn Next Step. Ở màn hình Properties, nhập thông tin kết nối và Topic prefix, chọn Test connection, rồi chọn Database cần ghi nhận. Next Step chỉ khả dụng sau khi kiểm tra thành công và hiển thị thông báo "Connect Successfully".

    Phần Database Information khi chọn From FPT Database Engine, gồm các trường Database Name, Connection URL, Username, Password và Database

    Phần Database Information khi chọn Manual configuration, gồm các trường Connection URL, Username, Password và Database

    Phần Kafka topic với trường Topic prefix

  6. Chọn Next Step. Ở màn hình Additional properties, chọn Mode của snapshot, các Collections cần ghi nhận và Mode của error tolerance.

    Phần Snapshot với danh sách Mode

    Phần Collections với danh sách Collections

    Phần Error Tolerance với danh sách Mode

  7. Chọn Next Step và kiểm tra cấu hình ở màn hình Review.

    Màn hình Review của source connector MongoDB với các phần Connector Information, Database Information, Kafka topic, Snapshot và Error Tolerance

    Màn hình Review liệt kê các collection dưới tên Collection trong phần Database Information. Màn hình này không hiển thị chế độ kết nối hay Database Name.

  8. Chọn Create.

    Portal hiển thị "Create Successfully" và mở tab Essential Information của CDC Service. Ở tab Connectors, connector mới có trạng thái Running, và mọi bộ đếm Tasks đều bằng 0 cho tới khi task của connector khởi động, trong vòng khoảng 2 phút. Với source connector MongoDB, Snapshot Status để trống.

Cài đặt của connector​

Màn hình Connector Information​

TrườngBắt buộcMô tả
NameCóTên connector, gồm chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc khoảng trắng, form báo lỗi "Name has invalid characters".
TypeCóChọn source.
DatabaseCóChọn MongoDB.

Màn hình Properties​

TrườngBắt buộcMô tả
From FPT Database Engine / Manual configurationCóChọn một instance MongoDB từ FPT Database Engine, hoặc tự nhập thông tin kết nối. Mặc định chọn Manual configuration. Xem Chế độ kết nối.
Database NameKhi chọn From FPT Database EngineInstance MongoDB trong FPT Database Engine. Khi bạn chọn một instance, form tự điền Connection URL. Username, Password và Database vẫn để trống.
Connection URLCóURI kết nối MongoDB. Với From FPT Database Engine, portal tự điền trường này và bạn không sửa được.
UsernameCóUser bạn đã tạo ở bước 5.
PasswordCóMật khẩu của user.
DatabaseKhôngCơ sở dữ liệu mà connector lắng nghe. Danh sách để trống cho tới khi Test connection thành công. Để lắng nghe mọi cơ sở dữ liệu, chọn All database, lựa chọn đầu tiên trong danh sách. Bạn không gõ được tên mà danh sách không có.
Topic prefixCóPrefix của các Kafka topic mà connector ghi vào. Mỗi collection có một topic TOPIC_PREFIX.DATABASE.COLLECTION. Xem Topic prefix.

Màn hình Additional properties​

TrườngBắt buộcMô tả
Mode (Snapshot)CóCách connector hoạt động sau khi khởi động. Trường này không có giá trị mặc định, nên bạn cần chọn một chế độ. latest chỉ ghi nhận thay đổi mới. copy existing sao chép các document đã có trong lúc ghi nhận thay đổi. Document nào thay đổi trong lúc sao chép sẽ sinh ra hai sự kiện: copyingData và chính thay đổi đó (insert, update hoặc delete). Xem Chế độ snapshot.
CollectionsKhôngCác collection trong Database đã chọn mà connector lắng nghe. Bỏ trống thì connector lắng nghe mọi collection. Danh sách này chỉ có tác dụng khi đã chọn Database.
Mode (Error Tolerance)CóCách connector xử lý khi một message bị lỗi. Trường này không có giá trị mặc định, nên bạn cần chọn một chế độ. None dừng connector với trạng thái Failed. All bỏ qua các message lỗi và gửi chúng tới Kafka topic bạn nhập ở Topic, một trường bắt buộc chỉ xuất hiện khi bạn chọn All. Xem Error tolerance.

Bước tiếp theo​