MongoDB source connector を作成する
MongoDB の collection で発生するすべての変更を Kafka topic にストリーミングし、sink connector で他のシステムに配信できるようにします。connector は change stream を監視し、既存のドキュメントをコピーすることもできます。
前提条件
- ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
- MongoDB の replica set または sharded cluster の接続 URL がわかっていること。スタンドアロンサーバーも、replica set に変更すれば使用できます。
- MongoDB データベースを準備するの説明に従って、データベースが CDC 用に準備されていること。
MongoDB データベースを準備する
connector は change stream を読み取りますが、MongoDB が change stream を提供するのは replica set または sharded cluster だけです。スタンドアロンサーバーの場合は、手順 1〜4 を実行して単一 node の replica set に変更します。これにより、oplog も有効になります。それ以外の場合は、手順 5 から始めます。
-
mongodの設定ファイルで replica set の名前を設定します。replication:replSetName: YOUR_REPLICA_SETアクセス制御が有効な場合は、replica set の内部認証も必要です (例:
security.keyFileで設定するキーファイル)。 -
replica set の名前を反映するため、
mongodを再起動します。警告mongodを再起動すると、サーバーを使用しているアプリケーションが中断されます。再起動はメンテナンスウィンドウ中に計画してください。 -
mongoshでサーバーに接続し、replica set を初期化します。これは 1 回だけ実行します。rs.initiate() -
メンバーが
PRIMARY状態であることを確認します。rs.status() -
キャプチャするデータベースで
findとchangeStreamを実行できるユーザーを作成します。組み込みのreadrole には、この両方が含まれます。db.createUser({user: "YOUR_USER",pwd: "YOUR_PASSWORD",roles: [{ role: "read", db: "YOUR_DATABASE" }]})すべてのデータベースをキャプチャする場合は、代わりに
readAnyDatabaserole を使用します。Database で All database を選択すると、connector はすべてのデータベースをキャプチャします。db.createUser({user: "YOUR_USER",pwd: "YOUR_PASSWORD",roles: [{ role: "readAnyDatabase", db: "admin" }]})
connector を作成する
-
Data platform → Workspace management を選択し、workspace を選択します。
-
Overview タブの Services で、CDC カードを選択します。
-
Connectors タブを選択し、Create Connector を選択します。

-
Connector Information 画面で Name を入力し、Type で source、Database で MongoDB を選択します。

-
Next Step を選択します。Properties 画面で接続情報と Topic prefix を入力して Test connection を選択し、キャプチャする Database を選択します。テストに成功して「Connect Successfully」というメッセージが表示されると、Next Step を選択できるようになります。



-
Next Step を選択します。Additional properties 画面で、snapshot の Mode、キャプチャする Collections、Error tolerance の Mode を選択します。



-
Next Step を選択し、Review 画面で設定を確認します。

Review 画面では、collection は Database Information に Collection として表示されます。接続モードと Database Name は表示されません。
-
Create を選択します。
ポータルに「Create Successfully」と表示され、CDC Service の Essential Information タブが開きます。Connectors タブでは、新しい connector が Running と表示され、task が開始されるまで Tasks のカウンターはすべて
0のままです。task は約 2 分以内に開始されます。MongoDB source connector では、Snapshot Status は空欄のままです。
connector の設定
Connector Information 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Name | はい | connector の名前です。英小文字、数字、ハイフン (-) を使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」というエラーが表示されます。 |
| Type | はい | source を選択します。 |
| Database | はい | MongoDB を選択します。 |
Properties 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| From FPT Database Engine / Manual configuration | はい | FPT Database Engine の MongoDB instance を選択するか、接続情報を自分で入力します。デフォルトでは Manual configuration が選択されています。接続モードを参照してください。 |
| Database Name | From FPT Database Engine の場合 | FPT Database Engine の MongoDB instance です。instance を選択すると Connection URL が自動入力されます。Username、Password、Database は空のままです。 |
| Connection URL | はい | MongoDB の接続 URI です。From FPT Database Engine の場合はポータルが自動入力し、編集できません。 |
| Username | はい | 手順 5 で作成したユーザーです。 |
| Password | はい | ユーザーのパスワードです。 |
| Database | いいえ | connector が監視するデータベースです。Test connection に成功するまで、一覧は空のままです。すべてのデータベースを監視するには、最初の選択肢である All database を選択します。一覧にない名前は入力できません。 |
| Topic prefix | はい | connector の書き込み先となる Kafka topic のプレフィックスです。collection ごとの topic 名は TOPIC_PREFIX.DATABASE.COLLECTION です。Topic prefixを参照してください。 |
Additional properties 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Mode (Snapshot) | はい | 起動後の connector の処理です。このフィールドにはデフォルト値がないため、いずれかを選択します。latest は新しい変更だけをキャプチャします。copy existing は、変更をキャプチャしながら既存のドキュメントをコピーします。コピー中に変更されたドキュメントからは、copyingData と変更そのもの (insert、update、delete) の 2 つのイベントが生成されます。snapshot モードを参照してください。 |
| Collections | いいえ | 選択した Database のうち、connector が監視する collection です。空のままにすると、すべての collection を監視します。この一覧は、Database を設定した場合にのみ適用されます。 |
| Mode (Error Tolerance) | はい | メッセージの処理に失敗したときの connector の動作です。このフィールドにはデフォルト値がないため、いずれかを選択します。None は connector を停止し、ステータスを Failed にします。All は失敗したメッセージをスキップし、Kafka topic に送信します。送信先の topic は、All を選択すると表示される必須フィールド Topic に入力します。Error toleranceを参照してください。 |