Tạo source connector MongoDB
Đẩy mọi thay đổi trong các collection MongoDB vào Kafka topic, để sink connector chuyển tiếp sang hệ thống khác. Connector lắng nghe change stream, và có thể sao chép cả các document đã có.
Điều kiện cần
- CDC Service ở trạng thái Healthy. Xem Tạo CDC Service.
- URL kết nối của replica set hoặc sharded cluster MongoDB. Server standalone vẫn dùng được sau khi bạn chuyển nó thành replica set.
- Cơ sở dữ liệu đã chuẩn bị sẵn cho CDC, theo Chuẩn bị cơ sở dữ liệu MongoDB.
Chuẩn bị cơ sở dữ liệu MongoDB
Connector đọc change stream, và MongoDB chỉ có change stream trên replica set hoặc sharded cluster. Nếu MongoDB chạy standalone, làm bước 1 đến 4 để chuyển server thành replica set một node, việc này cũng bật oplog. Các trường hợp khác bắt đầu từ bước 5.
-
Đặt tên replica set trong file cấu hình
mongod.replication:replSetName: YOUR_REPLICA_SETNếu đang bật access control, replica set cần thêm xác thực nội bộ, ví dụ key file khai báo ở
security.keyFile. -
Khởi động lại
mongodđể server chạy với tên replica set mới đặt.cảnh báoKhởi động lại
mongodsẽ làm gián đoạn các ứng dụng đang dùng server. Lên lịch khởi động lại vào khung giờ bảo trì. -
Kết nối tới server bằng
mongoshvà khởi tạo replica set. Chỉ chạy lệnh này một lần.rs.initiate() -
Kiểm tra member đang ở trạng thái
PRIMARY.rs.status() -
Tạo user chạy được
findvàchangeStreamtrên cơ sở dữ liệu cần ghi nhận. Role có sẵnreadđáp ứng cả hai quyền này.db.createUser({user: "YOUR_USER",pwd: "YOUR_PASSWORD",roles: [{ role: "read", db: "YOUR_DATABASE" }]})Để ghi nhận mọi cơ sở dữ liệu (connector làm vậy khi bạn chọn All database ở Database), dùng role
readAnyDatabasethay cho role trên:db.createUser({user: "YOUR_USER",pwd: "YOUR_PASSWORD",roles: [{ role: "readAnyDatabase", db: "admin" }]})
Tạo connector
-
Chọn Data platform → Workspace management, rồi chọn workspace.
-
Ở tab Overview, trong phần Services, chọn thẻ CDC.
-
Chọn tab Connectors, rồi chọn Create Connector.

-
Ở màn hình Connector Information, nhập Name, chọn source ở Type và chọn MongoDB ở Database.

-
Chọn Next Step. Ở màn hình Properties, nhập thông tin kết nối và Topic prefix, chọn Test connection, rồi chọn Database cần ghi nhận. Next Step chỉ khả dụng sau khi kiểm tra thành công và hiển thị thông báo "Connect Successfully".



-
Chọn Next Step. Ở màn hình Additional properties, chọn Mode của snapshot, các Collections cần ghi nhận và Mode của error tolerance.



-
Chọn Next Step và kiểm tra cấu hình ở màn hình Review.

Màn hình Review liệt kê các collection dưới tên Collection trong phần Database Information. Màn hình này không hiển thị chế độ kết nối hay Database Name.
-
Chọn Create.
Portal hiển thị "Create Successfully" và mở tab Essential Information của CDC Service. Ở tab Connectors, connector mới có trạng thái Running, và mọi bộ đếm Tasks đều bằng
0cho tới khi task của connector khởi động, trong vòng khoảng 2 phút. Với source connector MongoDB, Snapshot Status để trống.
Cài đặt của connector
Màn hình Connector Information
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Name | Có | Tên connector, gồm chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc khoảng trắng, form báo lỗi "Name has invalid characters". |
| Type | Có | Chọn source. |
| Database | Có | Chọn MongoDB. |
Màn hình Properties
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| From FPT Database Engine / Manual configuration | Có | Chọn một instance MongoDB từ FPT Database Engine, hoặc tự nhập thông tin kết nối. Mặc định chọn Manual configuration. Xem Chế độ kết nối. |
| Database Name | Khi chọn From FPT Database Engine | Instance MongoDB trong FPT Database Engine. Khi bạn chọn một instance, form tự điền Connection URL. Username, Password và Database vẫn để trống. |
| Connection URL | Có | URI kết nối MongoDB. Với From FPT Database Engine, portal tự điền trường này và bạn không sửa được. |
| Username | Có | User bạn đã tạo ở bước 5. |
| Password | Có | Mật khẩu của user. |
| Database | Không | Cơ sở dữ liệu mà connector lắng nghe. Danh sách để trống cho tới khi Test connection thành công. Để lắng nghe mọi cơ sở dữ liệu, chọn All database, lựa chọn đầu tiên trong danh sách. Bạn không gõ được tên mà danh sách không có. |
| Topic prefix | Có | Prefix của các Kafka topic mà connector ghi vào. Mỗi collection có một topic TOPIC_PREFIX.DATABASE.COLLECTION. Xem Topic prefix. |
Màn hình Additional properties
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Mode (Snapshot) | Có | Cách connector hoạt động sau khi khởi động. Trường này không có giá trị mặc định, nên bạn cần chọn một chế độ. latest chỉ ghi nhận thay đổi mới. copy existing sao chép các document đã có trong lúc ghi nhận thay đổi. Document nào thay đổi trong lúc sao chép sẽ sinh ra hai sự kiện: copyingData và chính thay đổi đó (insert, update hoặc delete). Xem Chế độ snapshot. |
| Collections | Không | Các collection trong Database đã chọn mà connector lắng nghe. Bỏ trống thì connector lắng nghe mọi collection. Danh sách này chỉ có tác dụng khi đã chọn Database. |
| Mode (Error Tolerance) | Có | Cách connector xử lý khi một message bị lỗi. Trường này không có giá trị mặc định, nên bạn cần chọn một chế độ. None dừng connector với trạng thái Failed. All bỏ qua các message lỗi và gửi chúng tới Kafka topic bạn nhập ở Topic, một trường bắt buộc chỉ xuất hiện khi bạn chọn All. Xem Error tolerance. |