メインコンテンツまでスキップ

Elasticsearch sink connector を作成する

Elasticsearch sink connector を使用すると、ソースデータベースからキャプチャした変更を Elasticsearch の index に登録できます。connector は選択した Kafka topic を読み取り、各 topic を index に書き込みます。

前提条件​

  • ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
  • PostgreSQL source connector などの source connector が書き込んだ、変更データを含む topic があること。
  • Elasticsearch cluster の URL、ユーザー名、パスワードが用意されていること。

connector を作成する​

  1. Data platform → Workspace management を選択し、workspace を選択します。

  2. Overview タブの Services で、CDC カードを選択します。

  3. Connectors タブを選択し、Create Connector を選択します。

    connector がまだなく、Create Connector ボタンがある CDC Service の Connectors タブ

  4. Connector Information 画面で Name を入力し、Type で sink を、Database で Elastic Search を選択します。

    Name、Type、Database フィールドがある Create Connector フォームの Connector Information 画面

  5. Next Step を選択します。Properties 画面で接続情報を入力し、Test connection を選択します。テストに成功すると、Next Step を選択できるようになります。

    URL、Username、Password フィールドがある Database Information セクション

  6. 同じ画面で Converter class を選択し、4 つの converter フィールドを設定します。Kafka topic で + を選択し、Select topics パネルで読み取る topic を選択します。

    Converter class、Converter key、Converter value、schema enable の各フィールドがある Converter セクション

    追加ボタンとクリアボタン、Filter ボックスがあり、一覧に topic が 1 つある Kafka topic セクション

  7. Next Step を選択します。Additional properties 画面で、Task、Map table、Error Tolerance の各セクションのフィールドを設定します。

    Number of tasks が 1 に設定された Task セクション

    Topic 1 があり、Create new table スイッチがオンで、users という名前の Index がある Map table セクション

    Mode リストがある Error Tolerance セクション

  8. Next Step を選択し、Review 画面で設定を確認します。

  9. Create を選択します。

connector の設定​

Connector Information 画面​

フィールド必須説明
Nameはいconnector の名前です。英小文字、数字、ハイフン (-) のみを使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」と表示され、受け付けられません。
Typeはいsink を選択します。
DatabaseはいElastic Search を選択します。

Properties 画面​

この connector には From FPT Database Engine オプションはありません。接続情報は Database Information セクションに入力します。Test connection の動作については、接続モードを参照してください。

フィールド必須説明
URLはいElasticsearch cluster のアドレスです。https:// などのスキームを含めて指定します。スキームがない場合、フォームに「URL must be a valid uri」と表示されます。
Usernameはいconnector が Elasticsearch への接続に使用するユーザー名です。
Passwordはいそのユーザーのパスワードです。
Converter classはいこの connector の Converter class です。ポータルで選択できるのは Elasticsearch です。class を選択するまで、4 つの converter フィールドはグレー表示のままです。Converterを参照してください。
Converter key、Converter key schema enable、Converter value、Converter value schema enableはいconnector がメッセージのキーと値を読み取る方法と、それらに schema が含まれるかどうかを指定します。Elasticsearch の場合、Converter key で選択できるのは org.apache.kafka.connect.storage.StringConverter のみ、Converter key schema enable で選択できるのは false のみです。Converter value で選択できるのは org.apache.kafka.connect.json.JsonConverter のみで、Converter value schema enable では true または false を選択できます。
Kafka topicはい読み取る topic です。最大 100 個まで指定できます。+ を選択して Select topics パネルを開き、topic を選択してから Select を選択します。topicを参照してください。

Additional properties 画面​

フィールド必須説明
Number of tasksはい並列で実行される task の最大数です。デフォルトは 1 です。Tasks maxを参照してください。
Topic 1、Create new table、Index (Map table 内)はい各 topic のレコードを受け取る index です。新しい index を作成するには、Create new table をオンにして名前を入力します。既存の index を使用するには、オフにして index を選択します。Map tableを参照してください。
Mode (Error Tolerance 内)はい読み取りまたは変換できないメッセージを connector がどう処理するかを指定します。None の場合、connector は停止し、ステータスが Failed になります。All の場合、connector はそのメッセージをスキップし、失敗したレコードの送信先として入力した topic に送信します。このフィールドにデフォルト値はありません。Error toleranceを参照してください。

次のステップ​