メインコンテンツまでスキップ

MongoDB source connector を作成する

MongoDB の collection で発生するすべての変更を Kafka topic にストリーミングし、sink connector で他のシステムに配信できるようにします。connector は change stream を監視し、既存のドキュメントをコピーすることもできます。

前提条件​

  • ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
  • MongoDB の replica set または sharded cluster の接続 URL がわかっていること。スタンドアロンサーバーも、replica set に変更すれば使用できます。
  • MongoDB データベースを準備するの説明に従って、データベースが CDC 用に準備されていること。

MongoDB データベースを準備する​

connector は change stream を読み取りますが、MongoDB が change stream を提供するのは replica set または sharded cluster だけです。スタンドアロンサーバーの場合は、手順 1〜4 を実行して単一 node の replica set に変更します。これにより、oplog も有効になります。それ以外の場合は、手順 5 から始めます。

  1. mongod の設定ファイルで replica set の名前を設定します。

    replication:
    replSetName: YOUR_REPLICA_SET

    アクセス制御が有効な場合は、replica set の内部認証も必要です (例: security.keyFile で設定するキーファイル)。

  2. replica set の名前を反映するため、mongod を再起動します。

    警告

    mongod を再起動すると、サーバーを使用しているアプリケーションが中断されます。再起動はメンテナンスウィンドウ中に計画してください。

  3. mongosh でサーバーに接続し、replica set を初期化します。これは 1 回だけ実行します。

    rs.initiate()
  4. メンバーが PRIMARY 状態であることを確認します。

    rs.status()
  5. キャプチャするデータベースで find と changeStream を実行できるユーザーを作成します。組み込みの read role には、この両方が含まれます。

    db.createUser({
    user: "YOUR_USER",
    pwd: "YOUR_PASSWORD",
    roles: [
    { role: "read", db: "YOUR_DATABASE" }
    ]
    })

    すべてのデータベースをキャプチャする場合は、代わりに readAnyDatabase role を使用します。Database で All database を選択すると、connector はすべてのデータベースをキャプチャします。

    db.createUser({
    user: "YOUR_USER",
    pwd: "YOUR_PASSWORD",
    roles: [
    { role: "readAnyDatabase", db: "admin" }
    ]
    })

connector を作成する​

  1. Data platform → Workspace management を選択し、workspace を選択します。

  2. Overview タブの Services で、CDC カードを選択します。

  3. Connectors タブを選択し、Create Connector を選択します。

    No connector yet メッセージと Create Connector ボタンが表示された、Healthy 状態の CDC Service の Connectors タブ

  4. Connector Information 画面で Name を入力し、Type で source、Database で MongoDB を選択します。

    Name、Type、Database フィールドがある Create Connector フォームの Connector Information 画面

  5. Next Step を選択します。Properties 画面で接続情報と Topic prefix を入力して Test connection を選択し、キャプチャする Database を選択します。テストに成功して「Connect Successfully」というメッセージが表示されると、Next Step を選択できるようになります。

    From FPT Database Engine を選択し、Database Name、Connection URL、Username、Password、Database フィールドが表示された Database Information セクション

    Manual configuration を選択し、Connection URL、Username、Password、Database フィールドが表示された Database Information セクション

    Topic prefix フィールドがある Kafka topic セクション

  6. Next Step を選択します。Additional properties 画面で、snapshot の Mode、キャプチャする Collections、Error tolerance の Mode を選択します。

    Mode の一覧がある Snapshot セクション

    Collections の一覧がある Collections セクション

    Mode の一覧がある Error Tolerance セクション

  7. Next Step を選択し、Review 画面で設定を確認します。

    Connector Information、Database Information、Kafka topic、Snapshot、Error Tolerance セクションがある MongoDB source connector の Review 画面

    Review 画面では、collection は Database Information に Collection として表示されます。接続モードと Database Name は表示されません。

  8. Create を選択します。

    ポータルに「Create Successfully」と表示され、CDC Service の Essential Information タブが開きます。Connectors タブでは、新しい connector が Running と表示され、task が開始されるまで Tasks のカウンターはすべて 0 のままです。task は約 2 分以内に開始されます。MongoDB source connector では、Snapshot Status は空欄のままです。

connector の設定​

Connector Information 画面​

フィールド必須説明
Nameはいconnector の名前です。英小文字、数字、ハイフン (-) を使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」というエラーが表示されます。
Typeはいsource を選択します。
DatabaseはいMongoDB を選択します。

Properties 画面​

フィールド必須説明
From FPT Database Engine / Manual configurationはいFPT Database Engine の MongoDB instance を選択するか、接続情報を自分で入力します。デフォルトでは Manual configuration が選択されています。接続モードを参照してください。
Database NameFrom FPT Database Engine の場合FPT Database Engine の MongoDB instance です。instance を選択すると Connection URL が自動入力されます。Username、Password、Database は空のままです。
Connection URLはいMongoDB の接続 URI です。From FPT Database Engine の場合はポータルが自動入力し、編集できません。
Usernameはい手順 5 で作成したユーザーです。
Passwordはいユーザーのパスワードです。
Databaseいいえconnector が監視するデータベースです。Test connection に成功するまで、一覧は空のままです。すべてのデータベースを監視するには、最初の選択肢である All database を選択します。一覧にない名前は入力できません。
Topic prefixはいconnector の書き込み先となる Kafka topic のプレフィックスです。collection ごとの topic 名は TOPIC_PREFIX.DATABASE.COLLECTION です。Topic prefixを参照してください。

Additional properties 画面​

フィールド必須説明
Mode (Snapshot)はい起動後の connector の処理です。このフィールドにはデフォルト値がないため、いずれかを選択します。latest は新しい変更だけをキャプチャします。copy existing は、変更をキャプチャしながら既存のドキュメントをコピーします。コピー中に変更されたドキュメントからは、copyingData と変更そのもの (insert、update、delete) の 2 つのイベントが生成されます。snapshot モードを参照してください。
Collectionsいいえ選択した Database のうち、connector が監視する collection です。空のままにすると、すべての collection を監視します。この一覧は、Database を設定した場合にのみ適用されます。
Mode (Error Tolerance)はいメッセージの処理に失敗したときの connector の動作です。このフィールドにはデフォルト値がないため、いずれかを選択します。None は connector を停止し、ステータスを Failed にします。All は失敗したメッセージをスキップし、Kafka topic に送信します。送信先の topic は、All を選択すると表示される必須フィールド Topic に入力します。Error toleranceを参照してください。

次のステップ​