connector の共通設定
このページでは、接続モード、topic、Error tolerance など、多くの connector のフォームに共通して表示される設定を確認できます。各 connector のページでは、これらの設定についてこのページにリンクし、その connector 固有のフィールドを詳しく説明しています。
設定の一覧
| 設定 | 画面 | 対象の connector |
|---|---|---|
| 名前 | Connector Information | すべての connector |
| 接続モード | Properties | データベースの connector、Kafka source connector、Kafka MM2 |
| Topic prefix | Properties | source connector (Kafka と S3 を除く) |
| topic | Properties | sink connector |
| Incremental snapshot | Properties | MySQL、MariaDB、PostgreSQL の source connector |
| Converter | Properties | sink connector |
| snapshot モード | Additional properties | PostgreSQL、MySQL、MariaDB、SQL Server、Oracle、MongoDB の source connector |
| Heartbeat | Additional properties | PostgreSQL、MySQL、MariaDB、SQL Server の source connector |
| Tasks max | Additional properties | sink connector、Kafka source connector、Kafka MM2 |
| Map table | Additional properties | sink connector (S3 と Redis を除く) |
| Error tolerance | Additional properties | sink connector (MongoDB を除く)、MongoDB と S3 の source connector |
| タイムゾーン | Additional properties | PostgreSQL、MySQL、MariaDB、SQL Server、S3 の sink connector |
フォームではほとんどのフィールドに * が付いていないため、印がなくても必須のフィールドがあります。必須フィールドが空のままだと、そのフィールドの下に「Name is required」などのメッセージが表示されます。赤い * が付いているのは、source connector の Heartbeat interval (ms) だけです。
ウィザードの最後にある Review 画面には、接続モード、Database Name、Converter class、Timezone、Create new または Create new table のスイッチは表示されません。
Connector Information 画面
名前
ウィザードの最初の画面である Connector Information には、Basic Information セクションが 1 つだけあります。このセクションでは、connector の Name、Type (source または sink)、Database を指定します。Database は、Type を選択すると選択できるようになります。
Name には英小文字、数字、ハイフン (-) のみを使用できます。フィールドの下のヒントには「Only letters, numbers, hyphens are allowed」と表示されますが、英大文字、アンダースコア (_)、ドット (.)、スペースを入力すると、「Name has invalid characters」というメッセージが表示され、受け付けられません。名前を空のままにすると、「Name is required」と表示されます。
Properties 画面
接続モード
ほとんどのデータベースの connector では、Database Information セクションでデータベースへの接続方法を選択します。デフォルトでは Manual configuration が選択されています。
- From FPT Database Engine: Database Name で instance を選択します。ポータルが Host name と Port を自動入力します。自動入力された値は変更できます。その後、残りのフィールドに入力します。
- Manual configuration: workspace から接続できる任意のデータベースの接続フィールドに入力します。Port にはデフォルト値がないため、自分で入力します。
| フィールド | 説明 |
|---|---|
| Database Name | From FPT Database Engine の場合のみ。tenant 内の、対応するエンジンの FPT Database Engine instance が一覧表示されます。各項目には instance 名だけが表示され、同じ名前の instance が 2 つある場合もあります。 |
| Host name | データベースサーバーのホスト名または IP アドレス。 |
| Port | データベースサーバーのポート (例: MySQL の場合は 3306)。 |
| Database | source connector の場合は、変更をキャプチャするデータベース。sink connector の場合は、データの書き込み先のデータベース。 |
| Username | connector が使用するデータベースユーザー。このユーザーに必要な権限は、各 source connector のページに記載されています。 |
| Password | そのユーザーのパスワード。 |
MongoDB の connector はホストとポートの代わりに Connection URL を、OpenSearch sink connector は Connection string を使用します。From FPT Database Engine の場合、このフィールドはポータルが自動入力し、編集できません。Kafka source connector と Kafka MM2 は、読み取り元の Kafka cluster に対して同じ 2 つのオプションを使用します。Kafka MM2 では、デフォルトで From FPT Database Engine が選択されています。Oracle source connector では From FPT Database Engine がグレーアウトされているため、Manual configuration を使用します。Elasticsearch、Redis、Iceberg、S3 など、URL または endpoint で接続する connector には、この選択肢はありません。
接続フィールドに入力したら、Test connection を選択します。ポータルは、workspace から入力したデータベースへの接続を確認します。Enable incremental snapshot が選択されている場合は、snapshot に必要な権限も確認します。Incremental snapshotを参照してください。
Test connection が成功して「Connect Successfully」というメッセージが表示されるまで、Next Step は選択できません。必須フィールドが空の場合、テストは実行されず、そのフィールドの下に「Access Key is required」などのメッセージが表示されます。これは、すべての connector の Properties 画面に共通です。
Topic prefix
source connector は、テーブルごとの変更イベントをそれぞれ専用の Kafka topic に書き込みます。Kafka topic セクションの Topic prefix は、すべての topic 名の先頭部分になります。残りの部分はソースによって異なります。
| Source connector | topic 名 |
|---|---|
| PostgreSQL、Oracle | TOPIC_PREFIX.SCHEMA.TABLE |
| MySQL、MariaDB | TOPIC_PREFIX.DATABASE.TABLE |
| SQL Server | TOPIC_PREFIX.DATABASE.SCHEMA.TABLE |
| MongoDB | TOPIC_PREFIX.DATABASE.COLLECTION |
たとえば prefix が syncdata、schema が inventory、テーブルが customer、order、item の場合、PostgreSQL connector は syncdata.inventory.customer、syncdata.inventory.order、syncdata.inventory.item に書き込みます。
MySQL と MariaDB の connector は、prefix だけを名前とする topic (例: syncdata) にも書き込みます。この topic は、sink connector の topic リストにも表示されます。
このフィールドは必須です。英小文字、数字、ハイフン (-)、アンダースコア (_)、ドット (.) を使用できます。英大文字、スペース、! などの文字を入力すると、「Topic prefix has invalid characters」と表示されます。Oracle source connector では、文字のチェックは行われません。sink connector は、これらの名前で読み取る topic を選択します。そのため、データの取得元のソースがわかる prefix を付け、source connector ごとに異なる prefix を使用してください。後から prefix を変更すると、connector は新しい変更を新しい名前の topic に書き込むため、それらの topic を読み取る sink connector も更新してください。S3 source connector では、代わりに Topic (書き込み先となる 1 つの topic の完全な名前) を指定します。
topic
sink connector は、Properties 画面の Kafka topic セクションで選択した Kafka topic を読み取ります。一覧に表示されるのは、すでに存在する topic だけです。source connector はテーブルから最初のレコードを書き込むときにそのテーブルの topic を作成するため、まだ行がないソーステーブルには topic がありません。connector によって、このセクションには次の 2 種類のコントロールのいずれかが表示されます。
- Topics 選択リスト: CDC Service の Kafka cluster に存在する topic のリストです。名前の一部を入力してリストを絞り込み、読み取る topic を選択します。選択した topic は、それぞれ × 付きのタグとして表示されます。MySQL、MariaDB、SQL Server、OpenSearch の sink connector と、2 つの ClickHouse sink connector、2 つの Iceberg sink connector で使用されます。
- topic の表: Total topic の件数と、Topic 列、Action 列がある Selected topics リストです。PostgreSQL、MongoDB、Elasticsearch、S3、Redis の sink connector で使用されます。Kafka source connector と Kafka MM2 も、もう一方の cluster の topic に同じ表を使用します。これらの connector では、Test connection が成功するまで + は選択できません。

| topic の表のコントロール | 動作 |
|---|---|
| + | Select topics パネルを開きます。名前で topic を絞り込み、topic のチェックボックスまたは Select All を選択してから、Select を選択します。 |
| × | topic のリスト全体をクリアします。 |
| Action 列の削除アイコン | その topic をリストから削除します。 |
topic の表には最大 100 個の topic を追加できます。
Incremental snapshot
Enable incremental snapshot は、MySQL、MariaDB、PostgreSQL の source connector の Database Information セクションにある任意のチェックボックスです。これを選択すると、connector が変更の転送を続けたまま、後から snapshot を実行できます。SQL Server を含む他の source connector では、incremental snapshot は使用できません。
このチェックボックスを選択して connector を作成すると、CDC Service はソースデータベースに signal テーブルを作成します。PostgreSQL では public.cdc_signal、MySQL と MariaDB ではキャプチャ対象の Database 内の cdc_signal です。Snapshot メニューは、このテーブルを通じて connector にコマンドを送信します。そのため、データベースユーザーには CREATE TABLE 権限と INSERT 権限が必要です。チェックボックスが選択されている場合、Test connection でこれらの権限が確認されます。権限が不足している場合、テストは失敗し、詳細を含むエラーが表示されます。データベースユーザーに不足している権限を付与してから、もう一度 Test connection を選択してください。テストに成功すると、「Connect Successfully」と表示されます。
このチェックボックスは、connector の作成時に選択してください。選択しないと signal テーブルが作成されないため、Snapshot メニューは表示されても、Execute で snapshot を開始できません。
snapshot の開始と制御は connector の Snapshot メニューの Execute、Pause、Resume、Stop で行い、進捗は Connectors タブの Snapshot Status 列で確認します。incremental snapshot を実行するを参照してください。
Converter
sink connector の Properties 画面には、読み取るメッセージのキーと値に関する Converter セクションがあります。最初に Converter class を選択してください。選択するまで、他の 4 つのフィールドはグレーアウトされたままです。選択した後もこれらのフィールドは空のままなので、リストに選択肢が 1 つしかない場合でも、それぞれ値を選択してください。

| フィールド | 説明 |
|---|---|
| Converter class | sink connector の Converter class。各 sink connector で選択できる class は 1 つだけです。PostgreSQL、MySQL、MariaDB、SQL Server では JDBC、MongoDB では MongoDB、ClickHouse (Logs) では Clickhouse log、ClickHouse Replicate では Clickhouse replica、OpenSearch では Opensearch、Elastic Search では Elasticsearch、S3 では S3、Iceberg では Iceberg replica、Iceberg (logs) では Iceberg log、Redis では Redis です。 |
| Converter key | メッセージキーの converter。JDBC の場合、選択肢は org.apache.kafka.connect.json.JsonConverter だけです。 |
| Converter key schema enable | メッセージキーで schema を使用するかどうか。JDBC の場合、選択肢は true だけです。 |
| Converter value | メッセージ値の converter (例: org.apache.kafka.connect.json.JsonConverter)。 |
| Converter value schema enable | メッセージ値で schema を使用するかどうか (例: true)。 |
前の画面に戻って Database を変更した場合は、Converter class と 4 つの converter フィールドをもう一度選択してください。フォームには、前のデータベース用に選択した class と値が、新しいリストにない値も含めて残っていることがあります。
Additional properties 画面
snapshot モード
source connector は、新しい変更をキャプチャする前に、テーブルにすでにあるデータをコピーできます。この動作は、Snapshot セクションの Mode で設定します。このフィールドは必須です。
| Mode | connector の動作 |
|---|---|
| initial | テーブル内の既存データをすべて snapshot として取得し、その後も変更のキャプチャを続けます。 |
| initial_only | テーブル内の既存データの snapshot だけを取得します。その後の変更はキャプチャしません。 |
| no_data | snapshot をスキップし、connector の起動後に行われた変更だけをキャプチャします。 |
MySQL と MariaDB は一定期間が経過すると古い binlog を削除します。そのため、これらの connector は binlog を読み取る前に、整合性のある initial snapshot を取得して、データが欠けないようにします。
MongoDB source connector の Snapshot セクションにも Mode がありますが、値が異なります。
| Mode | connector の動作 |
|---|---|
| latest | connector の起動後に行われた変更だけをキャプチャします。既存のドキュメントはコピーしません。 |
| copy existing | 変更をキャプチャしながら、既存のドキュメントをすべてコピーします。コピー中に collection が変更されると、connector は同じドキュメントに対して 2 つのイベントを生成します。1 つは copyingData イベント、もう 1 つはその操作 (insert、update、delete) のイベントです。 |
connector の起動後にデータの snapshot を再取得するには、incremental snapshot を使用します。Incremental snapshotを参照してください。
Heartbeat
PostgreSQL、MySQL、MariaDB、SQL Server の source connector は heartbeat メッセージを送信します。heartbeat は、キャプチャ対象のテーブルにデータの変更がないときに connector をアクティブに保ち、offset を更新します。PostgreSQL では、replication slot が保持し続けてしまう古い WAL を、データベースが解放できるようにもなります。送信間隔は、Heartbeat セクションの Heartbeat interval (ms) で設定します。このフィールドは必須です。
- デフォルト値: PostgreSQL、MySQL、MariaDB、SQL Server の connector では
0。 - 範囲:
0〜30000ミリ秒。 0の場合、heartbeat は送信されません。1000では 1 秒ごと、5000では 5 秒ごとに送信されます。
connector の作成後は間隔を変更できません。設定した間隔は、詳細ページの Heartbeat セクションに表示されます。
PostgreSQL では、heartbeat に public.cdc_heartbeat テーブルを使用します。connector を作成する前に、ソースデータベースにこのテーブルを作成してください。PostgreSQL source connector を作成するを参照してください。
Tasks max
Task セクションでは、connector が並列に実行する task の最大数を設定します。connector によって、フィールド名は Tasks max、Number of tasks、Number of task のいずれかです。PostgreSQL sink connector では、フォームには Number of tasks、Review 画面と詳細ページには Tasks max と表示されます。
topic に複数の partition がある場合、connector は複数の task を同時に実行できます。task が複数あると、メッセージが順序どおりに消費されないことがあります。関連するメッセージの順序を保つには、それらのメッセージに同じメッセージキーを設定して、同じ partition に送られるようにします。
Kafka source connector の task 数は、通常、Kafka topic の partition 数以下です。
Map table
sink connector は、各 topic をターゲットのテーブル、index、collection にマッピングします。connector によって、Map table セクションには topic ごとに 1 行ずつ表示されるか、すべての topic をまとめた表が表示されます。
| フィールド | 説明 |
|---|---|
| Topic (Topic 1、Topic 2…) | source connector からの変更データを保持する topic。 |
| Create new または Create new table | オン: ターゲットに作成する新しいテーブルの名前を入力します。名前には英字、数字、アンダースコアを使用できます。オフ: 既存のテーブルを選択します。Create new はデフォルトでオンになっており、topic から名前が自動入力されます (PostgreSQL、MongoDB)。Create new table はデフォルトでオフで、オンにしたときの名前は空です (MySQL、MariaDB、SQL Server、OpenSearch)。名前が無効な場合は「Table has invalid characters」、空の場合は「Table is required」と表示されます。2 つの ClickHouse sink connector にはこのスイッチがなく、既存のテーブルのみ指定できます。 |
| Table (Table 1…) または Index | topic のデータを受け取るテーブル。OpenSearch sink connector では Table 1 がターゲットの index 名で、Elasticsearch sink connector ではこの列の名前が Index です。MongoDB sink connector でも列の名前は Index ですが、ターゲットの collection 名を指定します。Review 画面と詳細ページでは、この列は Collection と表示されます。また、Index が空の場合は「Table is required」と表示されます。 |
| Filter | topic 名またはテーブル名でリストを検索します。 |
| Enable filter errors | PostgreSQL と MongoDB の sink connector のみ。テーブル名にエラーがある行だけを表示します。Errors には、エラーがある行の数が表示されます。 |
Error tolerance
Error Tolerance セクションの Mode では、処理できないメッセージを connector がどう扱うかを設定します。このフィールドは必須です。
| Mode | connector の動作 |
|---|---|
| None | connector は最初に失敗したメッセージで停止し、状態が Failed に変わります。原因を解決してから、connector を再起動してください。 |
| All | 失敗したメッセージをスキップして実行を続けます。sink connector は、失敗したメッセージを、失敗したレコード用に入力した topic (CDC Service の Kafka cluster 内) にも書き込みます。 |
All の対象は、connector が読み取りまたは変換できないメッセージです。connector の書き込み中にターゲットが返すエラー (データベースの制約違反など) では、All を選択していても connector が停止することがあります。
sink connector では、All を選択すると Error Tolerance セクションに Topic フィールドが表示されます。そこに、失敗したレコード用の topic を入力します。MongoDB source connector でも、失敗したメッセージ用に同じ Topic フィールドが表示されます。S3 source connector は、失敗したレコードを topic に書き込まずにスキップします。
タイムゾーン
PostgreSQL、MySQL、MariaDB、SQL Server の sink connector には、Timezone リストを含む Database timezone セクションがあります。ソースデータベース内のデータのタイムゾーン (UTC または Asia/Ho_Chi_Minh) を選択します。このリストにデフォルト値はありません。S3 sink connector では、Source セクションの Database Type の横に Timezone が表示されます。