メインコンテンツまでスキップ

OpenSearch sink connector を作成する

OpenSearch sink connector を使用すると、ソースデータベースからキャプチャした変更を OpenSearch で検索できるようになります。connector は選択した Kafka topic を読み取り、各 topic を OpenSearch の index に書き込みます。

前提条件​

  • ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
  • PostgreSQL source connector などの source connector が書き込んだ、変更データを含む topic があること。
  • OpenSearch データベースの接続文字列、ユーザー名、パスワードが用意されていること。

connector を作成する​

  1. Data platform → Workspace management を選択し、workspace を選択します。

  2. Overview タブの Services で、CDC カードを選択します。

  3. Connectors タブを選択し、Create Connector を選択します。

    connector がまだなく、Create Connector ボタンがある CDC Service の Connectors タブ

  4. Connector Information 画面で Name を入力し、Type で sink を、Database で OpenSearch を選択します。

    Name、Type、Database フィールドがある Create Connector フォームの Connector Information 画面

  5. Next Step を選択します。Properties 画面で接続情報を入力し、Test connection を選択します。テストに成功すると、Next Step を選択できるようになります。テストが失敗し、「Connection failed due to network failure or invalid information.」と表示された場合は、接続文字列、ユーザー名、パスワードを確認してから、もう一度テストしてください。

    Manual configuration が選択され、Connection string、Username、Password フィールドがある Database Information セクション

    From FPT Database Engine が選択され、Database Name、Connection string、Username、Password フィールドがある Database Information セクション

  6. 同じ画面で Converter class を選択して 4 つの converter フィールドを設定し、Topics で読み取る topic を選択します。

    Converter class、Converter key、Converter value、schema enable の各フィールドがある Converter セクション

    Topics リストがある Kafka topic セクション

  7. Next Step を選択します。Additional properties 画面で、Task、Map table、Error Tolerance の各セクションのフィールドを設定します。

    Tasks max が 1 に設定され、Data stream enable スイッチが Disable に設定された Task セクション

    Topic 1、Create new table スイッチ、Table 1 がある Map table セクション

    Mode リストがある Error Tolerance セクション

  8. Next Step を選択し、Review 画面で設定を確認します。

    新しい connector の Basic Information、Database Information、Kafka topic、Task、Converter、Error Tolerance が表示された Review 画面

  9. Create を選択します。

    ポータルは CDC Service の Essential Information タブに戻ります。Connectors タブには、新しい connector がステータス Running で表示されます。task が開始されるまで、Tasks のカウンターはすべて 0 のままです。task の開始には最大で 2.5 分ほどかかることがあります。

connector の設定​

Connector Information 画面​

フィールド必須説明
Nameはいconnector の名前です。英小文字、数字、ハイフン (-) のみを使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」と表示され、受け付けられません。
Typeはいsink を選択します。
DatabaseはいOpenSearch を選択します。

Properties 画面​

Database Information セクションで、From FPT Database Engine または Manual configuration を選択します。デフォルトでは Manual configuration が選択されています。From FPT Database Engine の場合は、Database Name で instance を選択します。Connection string はポータルが http://HOST:9200 の形式で自動で入力し、編集できません。接続モードを参照してください。

フィールド必須説明
Database NameはいFrom FPT Database Engine を選択した場合にのみ表示されます。FPT Database Engine 内の OpenSearch instance です。
Connection stringはいOpenSearch データベースの接続 URI またはホスト名です。
Usernameはいconnector が OpenSearch への接続に使用するユーザー名です。
Passwordはいそのユーザーのパスワードです。
Converter classはいこの connector の Converter class です。ポータルで選択できるのは Opensearch です。class を選択するまで、4 つの converter フィールドはグレー表示のままです。Converterを参照してください。
Converter key、Converter key schema enable、Converter value、Converter value schema enableはいconnector がメッセージのキーと値を読み取る方法と、それらに schema が含まれるかどうかを指定します。Converter key では org.apache.kafka.connect.storage.StringConverter と org.apache.kafka.connect.json.JsonConverter を、Converter value では org.apache.kafka.connect.json.JsonConverter のみを選択できます。どちらの schema enable フィールドでも、true と false を選択できます。
Topics (Kafka topic 内)はい読み取る topic です。リストから選択します。リストには、CDC Service の Kafka cluster にある topic が表示されます。topicを参照してください。

Additional properties 画面​

フィールド必須説明
Tasks maxはいtopic に複数の partition がある場合に、connector が同時に実行する task の数です。1 より大きい値にするとレコードが順不同で消費されることがあるため、関連するレコードには同じキーを付けて、1 つの partition にまとめてください。デフォルトは 1 です。Tasks maxを参照してください。
Data stream enableいいえ通常の index ではなく data stream に書き込むには、オンにします。data stream は時系列データやログデータに適しています。data stream ではドキュメントの追記だけが行われ、各レコードに @timestamp フィールドが必要です。デフォルトは Disable です。
Topic 1、Create new table、Table 1 (Map table 内)はい各 topic のレコードを受け取る OpenSearch の index です。ラベルは Table 1 ですが、入力するのは index 名です。Create new table はデフォルトでオフになっており、Table 1 には、名前が . で始まるシステム index を含む既存の index が一覧表示されます。システム index は選択しないでください。既存の index を選択する代わりに新しい index 名を入力するには、Create new table をオンにします。オンにすると、Table 1 は空になります。Map tableを参照してください。
Mode (Error Tolerance 内)はい読み取りまたは変換できないメッセージを connector がどう処理するかを指定します。None の場合、connector は停止し、ステータスが Failed になります。All の場合、connector はそのメッセージをスキップし、失敗したレコードの送信先として入力した topic に送信します。このフィールドにデフォルト値はありません。Error toleranceを参照してください。

次のステップ​