メインコンテンツまでスキップ

MongoDB sink connector を作成する

MongoDB sink connector を使用すると、source connector がキャプチャした変更に合わせて、MongoDB データベースの collection を最新の状態に保てます。connector は選択した Kafka topic を読み取り、各 topic をマッピング先の collection に書き込みます。

前提条件​

  • ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
  • MongoDB source connector などの source connector が書き込んだ、変更データを含む topic があること。
  • workspace からアクセスできる MongoDB デプロイメントの接続 URL と、ターゲットデータベースに対する readWrite role を持つユーザーが用意されていること。

connector を作成する​

  1. Data platform → Workspace management を選択し、workspace を選択します。

  2. Overview タブの Services で、CDC カードを選択します。

  3. Connectors タブを選択し、Create Connector を選択します。

    connector がまだなく、Create Connector ボタンがある、Healthy ステータスの CDC Service の Connectors タブ

  4. Connector Information 画面で Name を入力し、Type で sink を、Database で MongoDB を選択します。

    Name、Type、Database フィールドがある Create Connector フォームの Connector Information 画面

  5. Next Step を選択します。Properties 画面で接続情報を入力し、Test connection を選択します。テストに成功すると、Next Step を選択できるようになります。

    Manual configuration が選択され、Connection URL、Username、Password、Database フィールドがある Database Information セクション

    From FPT Database Engine が選択され、接続フィールドの上に Database Name リストがある Database Information セクション

  6. 同じ画面で Converter class を選択し、4 つの converter フィールドを設定します。Kafka topic で + を選択し、Select topics パネルで読み取る topic を選択します。

    Converter class、Converter key、Converter value、schema enable の各リストがある Converter セクション

    一覧に topic が 1 つあり、追加ボタンとクリアボタン、Filter ボックス、Topic 列と Action 列がある Kafka topic セクション

  7. Next Step を選択します。Additional properties 画面で、Task、Database source、Map table の各セクションのフィールドを設定します。

    Index 列で topic が users にマッピングされ、Create new がオンで、Enable filter errors チェックボックスがある Map table セクション

  8. Next Step を選択し、Review 画面で設定を確認します。

    Basic Information、Database Information、Database source、Kafka topic、Task、Converter の各セクションと Create ボタンがある Review 画面

  9. Create を選択します。

    ポータルは CDC Service の Essential Information タブに戻ります。Connectors タブには、新しい connector がステータス Running で表示されます。task が開始されるまで、Tasks のカウンターはすべて 0 のままです。task の開始には最大で 2.5 分ほどかかることがあります。

connector の設定​

Connector Information 画面​

フィールド必須説明
Nameはいconnector の名前です。英小文字、数字、ハイフン (-) のみを使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」と表示され、受け付けられません。
Typeはいsink を選択します。
DatabaseはいMongoDB を選択します。

Properties 画面​

Database Information セクションで、From FPT Database Engine または Manual configuration を選択します。デフォルトでは Manual configuration が選択されています。From FPT Database Engine の場合は、Database Name で instance を選択します。Connection URL はポータルが自動で入力し、編集できません。Username、Password、Database は手動で入力します。接続モードを参照してください。

フィールド必須説明
Database NameはいFrom FPT Database Engine を選択した場合にのみ表示されます。FPT Database Engine 内の MongoDB instance です。書き込み先のデータベースは Database に入力します。
Connection URLはいMongoDB の接続 URI です。
Usernameはいconnector が接続に使用するユーザーです。
Passwordはいそのユーザーのパスワードです。
Databaseはいconnector がデータを書き込む MongoDB データベースです。英字、数字 (0-9)、アンダースコア (_)、ハイフン (-) のみを使用できます。スペースは使用できません。
Converter classはいこの connector の Converter class です。ポータルで選択できるのは MongoDB です。class を選択するまで、4 つの converter フィールドはグレー表示のままです。Converterを参照してください。
Converter key、Converter key schema enable、Converter value、Converter value schema enableはいconnector がメッセージのキーと値を読み取る方法と、それらに schema が含まれるかどうかを指定します。Converter key では org.apache.kafka.connect.json.JsonConverter と org.apache.kafka.connect.storage.StringConverter を、Converter value では org.apache.kafka.connect.json.JsonConverter のみを選択できます。どちらの schema enable フィールドでも、true と false を選択できます。
Kafka topicはい読み取る topic です。最大 100 個まで指定できます。+ を選択して Select topics パネルを開き、topic を選択してから Select を選択します。topicを参照してください。

Additional properties 画面​

MongoDB sink には、Timezone の設定と Error Tolerance セクションはありません。

フィールド必須説明
Tasks maxはいtopic に複数の partition がある場合に、connector が並列で実行する task の数です。task が複数あると、レコードが順不同で届くことがあります。デフォルトは 1 です。Tasks maxを参照してください。
Type (Database source 内)はいtopic の取得元であるソースデータベースのタイプです。None、PostgreSQL、MySQL、MariaDB、SQLServer、MongoDB のいずれかを指定します。このフィールドにデフォルト値はありません。
Topic、Create new、Index (Map table 内)はい各 topic のレコードを受け取る collection です。フォームではこの列のラベルが Index になっていますが、入力するのは collection 名です。Review 画面では Collection と表示されます。Create new はデフォルトでオンになっており、Index には topic 内のテーブル名があらかじめ入力されています。この名前が collection 名になります。collection を作成するには Create new をオンのままにし、既存の collection を選択するにはオフにします。オフにしてから再度オンにした場合は、名前をもう一度入力してください。Index が空の場合は、「Table is required」と表示されます。エラーのある行だけを一覧表示するには、Enable filter errors を選択します。Map tableを参照してください。

次のステップ​