メインコンテンツまでスキップ

Kafka source connector を作成する

別の Kafka cluster にある 1 つ以上の topic のデータを CDC Service の Kafka cluster に取り込み、cluster 間でデータを同期または転送します。コピー元の cluster は、FPT Database Engine 上にあっても、FPT Cloud の外部にあってもかまいません。

注記

Kafka source connector がコピーするのは topic のデータだけです。consumer group の offset も同期して、consumer が CDC Service の Kafka cluster に移行した後も中断した位置から処理を続けられるようにするには、代わりに Kafka MM2 を使用してください。

前提条件​

  • ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
  • workspace からアクセスできる、コピー元の Kafka cluster の bootstrap server endpoint がわかっていること。SASL を使用する cluster の場合は、その認証情報も必要です。

connector を作成する​

  1. Data platform → Workspace management を選択し、workspace を選択します。

  2. Overview タブの Services で、CDC カードを選択します。

  3. Connectors タブを選択し、Create Connector を選択します。

    No connector yet メッセージと Create Connector ボタンが表示された、Healthy 状態の CDC Service の Connectors タブ

  4. Connector Information 画面で Name を入力し、Type で source、Database で Kafka を選択します。

    Name、Type、Database フィールドがある Create Connector フォームの Connector Information 画面

  5. Next Step を選択します。Properties 画面で cluster の情報を入力して Test connection を選択し、Topics の + を選択してコピーする topic を選びます。テストに成功すると、Next Step を選択できるようになります。

    From FPT Database Engine を選択し、Database Name、Cluster alias name、Bootstrap Server Endpoint、Security Protocol、Authentication method、Username、Password フィールドが表示された Kafka Cluster Information セクション

    Manual configuration を選択し、Cluster alias name、Bootstrap Server Endpoint、Security Protocol フィールドが表示された Kafka Cluster Information セクション

    topic が 1 つ追加され、Filter ボックスと、削除アイコン付きの topic 一覧が表示された Topics セクション

  6. Next Step を選択します。Additional properties 画面で、Number of tasks とレプリケーションのオプションを設定します。

    Number of tasks に 1 が入力された Task セクション

    Replication policy の一覧と Replication factor フィールドがある Replication セクション

  7. Next Step を選択し、Review 画面で設定を確認します。

    Basic Information、Kafka Cluster Information、Task、Replication セクションがある Kafka source connector の Review 画面

  8. Create を選択します。

    ポータルに「Create Successfully」と表示され、CDC Service の Essential Information タブが開きます。Connectors タブでは、新しい connector が Running と表示され、task が開始されるまで Tasks のカウンターはすべて 0 のままです。task の開始には最大で約 2.5 分かかります。

connector の設定​

Connector Information 画面​

フィールド必須説明
Nameはいconnector の名前です。英小文字、数字、ハイフン (-) を使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」というエラーが表示されます。
Typeはいsource を選択します。
DatabaseはいKafka を選択します。

Properties 画面​

フィールド必須説明
From FPT Database Engine / Manual configurationはいFPT Database Engine の Kafka cluster を選択するか、cluster の情報を自分で入力します。デフォルトでは Manual configuration が選択されています。接続モードを参照してください。
Database NameFrom FPT Database Engine の場合FPT Database Engine の Kafka cluster です。一覧には cluster 名だけが表示され、複数の cluster が同じ名前を持つ場合もあります。cluster を選択すると Bootstrap Server Endpoint が自動入力され、Security Protocol が SASL_PLAINTEXT に、Authentication method が PLAIN に設定されます。Cluster alias name、Username、Password は空のままです。
Cluster alias nameはいコピー元の cluster に付ける名前です。英字、数字、ハイフン (-) のみ使用できます。Default Replication Policy では、コピーされた topic 名のプレフィックスになります。
Bootstrap Server Endpointはいコピー元の cluster の Kafka サーバーの endpoint です。複数の endpoint はカンマ (,) で区切ります。
Security ProtocolはいSASL_PLAINTEXT はユーザー名とパスワードで認証します。SASL_SSL はユーザー名とパスワードで認証し、データを暗号化します。PLAINTEXT はデータを暗号化せずに送信するため、推奨されません。SSL は転送中のデータを暗号化します。
Authentication methodSASL_PLAINTEXT または SASL_SSL の場合SASL mechanism です。PLAIN、SCRAM-SHA-256、SCRAM-SHA-512 のいずれかです。
UsernameSASL_PLAINTEXT または SASL_SSL の場合SASL のユーザー名です。
PasswordSASL_PLAINTEXT または SASL_SSL の場合SASL のパスワードです。
Topicsいいえコピーする topic です。Test connection はコピー元の cluster の topic を読み取り、topic を 1 つも取得できない場合は「No topics found, please check the Kafka cluster input」と表示されて失敗します。このメッセージが表示された場合は、cluster の情報と認証情報、および cluster に topic があることを確認してください。テストに成功したら、+ を選択してコピー元の cluster の topic を読み込み、最大 100 個選択します。一覧の検索には Filter を、topic の削除には削除アイコンを使用します。topic を選択しない場合、connector はコピー元の cluster の内部 topic を除く、すべての topic をコピーします。Topicsを参照してください。

Additional properties 画面​

フィールド必須説明
Number of tasksはいconnector の task の最大数です。デフォルトは 1 です。通常は Kafka topic の partition 数以下にします。Review 画面では Tasks max と表示されます。Tasks maxを参照してください。
Replication policyはいCDC Service の Kafka cluster で、コピーされた topic にどのように名前を付けるかを指定します。Default Replication Policy (デフォルト) は、topic 名の前に cluster alias とドットを付けます。たとえば、alias が prod の場合、orders は prod.orders になります。Identity Replication Policy は元の topic 名を維持します。
Replication factorはいコピーされた topic の各 partition の replica 数です。デフォルトは 1 です。broker のデフォルト値を使用するには、-1 を入力します。

次のステップ​