MySQL source connector を作成する
MySQL データベースで発生するすべての行の変更を Kafka topic にストリーミングし、sink connector で他のシステムに配信できるようにします。connector は MySQL のバイナリログ (binlog) を読み取ります。MySQL は古い binlog ファイルを削除するため、connector は既存データの整合性のある snapshot から開始できます。
前提条件
- ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
- サポートされている MySQL 構成であること。
- binlog を有効にしたスタンドアロン構成。
- プライマリと replica の構成。connector は 1 台のサーバーの binlog を読み取り、そのサーバーで発生した変更だけを取得します。
- 高可用性構成。
- MySQL データベースを準備するの説明に従って、データベースが CDC 用に準備されていること。
MySQL データベースを準備する
FPT Cloud の MySQL データベースでは、binlog、GTID、binlog_row_value_options はすでに設定されています。手順 1〜3 を実行し、手順 4〜8 は省略してください。
-
connector が接続に使用するユーザーを作成します。
CREATE USER 'YOUR_USER'@'%' IDENTIFIED BY 'YOUR_PASSWORD'; -
キャプチャするデータベースに対する
SELECT権限と、グローバル権限RELOAD、SHOW DATABASES、REPLICATION SLAVE、REPLICATION CLIENTをユーザーに付与します。GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'YOUR_USER'@'%';FLUSH PRIVILEGES;SELECT権限を 1 つのデータベースに限定するには、代わりに次のステートメントを実行します。GRANT SHOW DATABASES, RELOAD, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'YOUR_USER'@'%';GRANT SELECT ON YOUR_DATABASE.* TO 'YOUR_USER'@'%';FLUSH PRIVILEGES; -
Enable incremental snapshot を選択する予定の場合は、キャプチャするデータベースに対する
INSERT権限とCREATE権限も付与します。その場合、connector の作成時にそのデータベースに signal テーブルcdc_signalが作成され、snapshot はこのテーブルを通じて実行されます。GRANT INSERT, CREATE ON YOUR_DATABASE.* TO 'YOUR_USER'@'%';FLUSH PRIVILEGES; -
binlog が有効かどうかを確認します。
SHOW GLOBAL VARIABLES LIKE 'log_bin';-- Or, on MySQL 8.xSELECT variable_value FROM performance_schema.global_variables WHERE variable_name = 'log_bin';-- Or, on MySQL 5.xSELECT variable_value FROM information_schema.global_variables WHERE variable_name = 'log_bin'; -
log_binがOFFの場合は、MySQL の設定ファイルに次の行を追加します。server-idにはSHOW VARIABLES LIKE 'server_id';の結果を設定します。server-id = YOUR_SERVER_IDlog_bin = mysql-binbinlog_format = ROWbinlog_row_image = FULLbinlog_expire_logs_seconds = 864000binlog がすでに有効で、形式だけを変更する場合は、代わりに稼働中のサーバーで次のステートメントを実行できます。
SETではlog_binを有効にできません。また、設定ファイルにも追加しない限り、新しい値は次回の再起動までしか有効になりません。SET @@global.binlog_format = 'ROW';SET @@global.binlog_row_image = 'FULL';SET @@global.binlog_expire_logs_seconds = 864000; -
GTID を有効にします。まず、両方の変数を確認します。
SHOW GLOBAL VARIABLES LIKE 'gtid_mode';SHOW GLOBAL VARIABLES LIKE 'enforce_gtid_consistency';両方とも
OFFの場合は、MySQL の設定ファイルで設定します。gtid_mode = ONenforce_gtid_consistency = ONまたは、稼働中のサーバーで設定します。MySQL では、
gtid_modeを 1 段階ずつ変更します。SET @@global.enforce_gtid_consistency = ON;SET @@global.gtid_mode = OFF_PERMISSIVE;SET @@global.gtid_mode = ON_PERMISSIVE;SET @@global.gtid_mode = ON; -
手順 5 と 6 で行った設定ファイルの変更を有効にするため、MySQL を再起動します。設定ファイルを変更していない場合、この手順は省略します。
警告MySQL を再起動すると、MySQL を使用しているアプリケーションが中断されます。再起動はメンテナンスウィンドウ中に計画してください。
-
connector が
UPDATEイベントをキャプチャできるように、binlog_row_value_optionsを空の値に設定します。SHOW GLOBAL VARIABLES LIKE 'binlog_row_value_options';SET @@global.binlog_row_value_options = '';
connector を作成する
-
Data platform → Workspace management を選択し、workspace を選択します。
-
Overview タブの Services で、CDC カードを選択します。
-
Connectors タブを選択し、Create Connector を選択します。

-
Connector Information 画面で Name を入力し、Type で source、Database で MySQL を選択します。

-
Next Step を選択します。Properties 画面で接続情報、Database server ID、Topic prefix を入力し、Test connection を選択します。テストに成功して「Connect Successfully」というメッセージが表示されると、Next Step を選択できるようになります。



-
Next Step を選択します。Additional properties 画面で、snapshot の Mode とキャプチャするテーブルおよびカラムを選択し、Heartbeat interval (ms) を設定します。



-
Next Step を選択し、Review 画面で設定を確認します。

-
Create を選択します。
ポータルに「Create Successfully」と表示され、CDC Service の Essential Information タブが開きます。Connectors タブでは、新しい connector が Running と表示され、task が開始されるまで Tasks のカウンターはすべて
0のままです。task は約 2 分後に開始されます。Snapshot Status は incremental snapshot だけを追跡するため、Not Started のままです。
connector の設定
Connector Information 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Name | はい | connector の名前です。英小文字、数字、ハイフン (-) を使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」というエラーが表示されます。 |
| Type | はい | source を選択します。 |
| Database | はい | MySQL を選択します。 |
Properties 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| From FPT Database Engine / Manual configuration | はい | FPT Database Engine の MySQL instance を選択するか、接続情報を自分で入力します。デフォルトでは Manual configuration が選択されています。接続モードを参照してください。 |
| Database Name | From FPT Database Engine の場合 | FPT Database Engine の MySQL instance です。一覧には instance 名だけが表示され、複数の instance が同じ名前を持つ場合もあります。instance を選択すると Host name と Port (3306) が自動入力されます。自動入力された値は編集できます。Database、Username、Password、Database server ID は空のままです。 |
| Host name | はい | MySQL サーバーのホスト名または IP アドレスです。 |
| Port | はい | MySQL サーバーのポートです (例: 3306)。Manual configuration では、このフィールドにデフォルト値はありません。 |
| Database | はい | 変更をキャプチャするデータベースです。 |
| Username | はい | 手順 1 で作成したユーザーです。 |
| Password | はい | ユーザーのパスワードです。 |
| Database server ID | はい | connector がレプリケーションクライアントとして binlog を読み取るときに、自身の ID として使用する番号です。MySQL サーバーの replica やその他のレプリケーションクライアントの間で一意であり、サーバー自体の server_id とも異なる値にする必要があります。このフィールドにデフォルト値はありません。1000〜9999 の範囲の数値を入力します。 |
| Enable incremental snapshot | いいえ | この connector で incremental snapshot を実行できるようにします。選択すると、connector の作成時に、入力した Database に signal テーブル cdc_signal も作成され、Test connection で CREATE TABLE と INSERT の権限が確認されます。このオプションを選択しない場合は signal テーブルがないため、メニューに Snapshot → Execute が表示されていても実行できません。Incremental snapshotを参照してください。 |
| Topic prefix | はい | connector の書き込み先となる Kafka topic のプレフィックスです。Topic prefixを参照してください。 |
Additional properties 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Mode | はい | 既存の行に対する connector の処理です。このフィールドにはデフォルト値がないため、いずれかを選択します。initial は既存の行の snapshot を取得してから、変更をキャプチャします。initial_only は snapshot を取得するだけで、変更はキャプチャしません。no_data は新しい変更だけをキャプチャします。snapshot モードを参照してください。 |
| Table (Optional) | いいえ | キャプチャするテーブルです。Properties 画面で指定したデータベースから選択します。複数選択できます。 |
| Column (Optional) | いいえ | 選択したテーブルからキャプチャするカラムです。このフィールドはテーブルを選択すると表示され、ラベルにはテーブル名が表示されます (例: Column (Optional) - (orders))。すべてのカラムをキャプチャするには、空のままにします。 |
| Heartbeat interval (ms) | はい | heartbeat メッセージの送信間隔です。0〜30000 の範囲で指定します。デフォルトは 0 で、この場合 heartbeat は送信されません。Heartbeatを参照してください。 |