Kafka source connector を作成する
別の Kafka cluster にある 1 つ以上の topic のデータを CDC Service の Kafka cluster に取り込み、cluster 間でデータを同期または転送します。コピー元の cluster は、FPT Database Engine 上にあっても、FPT Cloud の外部にあってもかまいません。
Kafka source connector がコピーするのは topic のデータだけです。consumer group の offset も同期して、consumer が CDC Service の Kafka cluster に移行した後も中断した位置から処理を続けられるようにするには、代わりに Kafka MM2 を使用してください。
前提条件
- ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
- workspace からアクセスできる、コピー元の Kafka cluster の bootstrap server endpoint がわかっていること。SASL を使用する cluster の場合は、その認証情報も必要です。
connector を作成する
-
Data platform → Workspace management を選択し、workspace を選択します。
-
Overview タブの Services で、CDC カードを選択します。
-
Connectors タブを選択し、Create Connector を選択します。

-
Connector Information 画面で Name を入力し、Type で source、Database で Kafka を選択します。

-
Next Step を選択します。Properties 画面で cluster の情報を入力して Test connection を選択し、Topics の + を選択してコピーする topic を選びます。テストに成功すると、Next Step を選択できるようになります。



-
Next Step を選択します。Additional properties 画面で、Number of tasks とレプリケーションのオプションを設定します。


-
Next Step を選択し、Review 画面で設定を確認します。

-
Create を選択します。
ポータルに「Create Successfully」と表示され、CDC Service の Essential Information タブが開きます。Connectors タブでは、新しい connector が Running と表示され、task が開始されるまで Tasks のカウンターはすべて
0のままです。task の開始には最大で約 2.5 分かかります。
connector の設定
Connector Information 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Name | はい | connector の名前です。英小文字、数字、ハイフン (-) を使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」というエラーが表示されます。 |
| Type | はい | source を選択します。 |
| Database | はい | Kafka を選択します。 |
Properties 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| From FPT Database Engine / Manual configuration | はい | FPT Database Engine の Kafka cluster を選択するか、cluster の情報を自分で入力します。デフォルトでは Manual configuration が選択されています。接続モードを参照してください。 |
| Database Name | From FPT Database Engine の場合 | FPT Database Engine の Kafka cluster です。一覧には cluster 名だけが表示され、複数の cluster が同じ名前を持つ場合もあります。cluster を選択すると Bootstrap Server Endpoint が自動入力され、Security Protocol が SASL_PLAINTEXT に、Authentication method が PLAIN に設定されます。Cluster alias name、Username、Password は空のままです。 |
| Cluster alias name | はい | コピー元の cluster に付ける名前です。英字、数字、ハイフン (-) のみ使用できます。Default Replication Policy では、コピーされた topic 名のプレフィックスになります。 |
| Bootstrap Server Endpoint | はい | コピー元の cluster の Kafka サーバーの endpoint です。複数の endpoint はカンマ (,) で区切ります。 |
| Security Protocol | はい | SASL_PLAINTEXT はユーザー名とパスワードで認証します。SASL_SSL はユーザー名とパスワードで認証し、データを暗号化します。PLAINTEXT はデータを暗号化せずに送信するため、推奨されません。SSL は転送中のデータを暗号化します。 |
| Authentication method | SASL_PLAINTEXT または SASL_SSL の場合 | SASL mechanism です。PLAIN、SCRAM-SHA-256、SCRAM-SHA-512 のいずれかです。 |
| Username | SASL_PLAINTEXT または SASL_SSL の場合 | SASL のユーザー名です。 |
| Password | SASL_PLAINTEXT または SASL_SSL の場合 | SASL のパスワードです。 |
| Topics | いいえ | コピーする topic です。Test connection はコピー元の cluster の topic を読み取り、topic を 1 つも取得できない場合は「No topics found, please check the Kafka cluster input」と表示されて失敗します。このメッセージが表示された場合は、cluster の情報と認証情報、および cluster に topic があることを確認してください。テストに成功したら、+ を選択してコピー元の cluster の topic を読み込み、最大 100 個選択します。一覧の検索には Filter を、topic の削除には削除アイコンを使用します。topic を選択しない場合、connector はコピー元の cluster の内部 topic を除く、すべての topic をコピーします。Topicsを参照してください。 |
Additional properties 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Number of tasks | はい | connector の task の最大数です。デフォルトは 1 です。通常は Kafka topic の partition 数以下にします。Review 画面では Tasks max と表示されます。Tasks maxを参照してください。 |
| Replication policy | はい | CDC Service の Kafka cluster で、コピーされた topic にどのように名前を付けるかを指定します。Default Replication Policy (デフォルト) は、topic 名の前に cluster alias とドットを付けます。たとえば、alias が prod の場合、orders は prod.orders になります。Identity Replication Policy は元の topic 名を維持します。 |
| Replication factor | はい | コピーされた topic の各 partition の replica 数です。デフォルトは 1 です。broker のデフォルト値を使用するには、-1 を入力します。 |