MariaDB source connector を作成する
MariaDB データベースで発生するすべての行の変更を Kafka topic にストリーミングし、sink connector で他のシステムに配信できるようにします。connector は MariaDB のバイナリログ (binlog) を読み取ります。MariaDB は古い binlog ファイルを削除するため、connector は既存データの整合性のある snapshot から開始できます。
前提条件
- ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
- サポートされている MariaDB 構成であること。
- binlog を有効にしたスタンドアロン構成。
- プライマリと replica の構成。connector は 1 台のサーバーの binlog を読み取り、そのサーバーで発生した変更だけを取得します。
- 高可用性構成。
- MariaDB データベースを準備するの説明に従って、データベースが CDC 用に準備されていること。
MariaDB データベースを準備する
FPT Cloud の MariaDB データベースでは、binlog はすでに設定されています。手順 1〜3 を実行し、手順 4〜6 は省略してください。MariaDB では GTID が常に有効なため、GTID の設定は不要です。
-
connector が接続に使用するユーザーを作成します。
CREATE USER 'YOUR_USER'@'%' IDENTIFIED BY 'YOUR_PASSWORD'; -
キャプチャするデータベースに対する
SELECT権限と、グローバル権限RELOAD、SHOW DATABASES、REPLICATION SLAVE、REPLICATION CLIENTをユーザーに付与します。GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'YOUR_USER'@'%';FLUSH PRIVILEGES;SELECT権限を 1 つのデータベースに限定するには、代わりに次のステートメントを実行します。GRANT SHOW DATABASES, RELOAD, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'YOUR_USER'@'%';GRANT SELECT ON YOUR_DATABASE.* TO 'YOUR_USER'@'%';FLUSH PRIVILEGES; -
Enable incremental snapshot を選択する予定の場合は、キャプチャするデータベースに対する
INSERT権限とCREATE権限も付与します。その場合、connector の作成時にそのデータベースに signal テーブルcdc_signalが作成され、snapshot はこのテーブルを通じて実行されます。GRANT INSERT, CREATE ON YOUR_DATABASE.* TO 'YOUR_USER'@'%';FLUSH PRIVILEGES; -
binlog が有効かどうかを確認します。
SHOW GLOBAL VARIABLES LIKE 'log_bin'; -
log_binがOFFの場合は、MariaDB の設定ファイルに次の行を追加します。server-idにはSHOW VARIABLES LIKE 'server_id';の結果を設定します。server-id = YOUR_SERVER_IDlog_bin = MariaDB-binbinlog_format = ROWbinlog_row_image = FULLbinlog_expire_logs_seconds = 864000binlog がすでに有効で、形式だけを変更する場合は、代わりに稼働中のサーバーで次のステートメントを実行できます。
SETではlog_binを有効にできません。また、設定ファイルにも追加しない限り、新しい値は次回の再起動までしか有効になりません。SET @@global.binlog_format = 'ROW';SET @@global.binlog_row_image = 'FULL';SET @@global.binlog_expire_logs_seconds = 864000; -
設定ファイルの変更を有効にするため、MariaDB を再起動します。設定ファイルを変更していない場合、この手順は省略します。
警告MariaDB を再起動すると、MariaDB を使用しているアプリケーションが中断されます。再起動はメンテナンスウィンドウ中に計画してください。
connector を作成する
-
Data platform → Workspace management を選択し、workspace を選択します。
-
Overview タブの Services で、CDC カードを選択します。
-
Connectors タブを選択し、Create Connector を選択します。

-
Connector Information 画面で Name を入力し、Type で source、Database で MariaDB を選択します。

-
Next Step を選択します。Properties 画面で接続情報、Database server ID、Topic prefix を入力し、Test connection を選択します。テストに成功して「Connect Successfully」というメッセージが表示されると、Next Step を選択できるようになります。


-
Next Step を選択します。Additional properties 画面で、snapshot の Mode とキャプチャするテーブルおよびカラムを選択し、Heartbeat interval (ms) を設定します。


-
Next Step を選択し、Review 画面で設定を確認します。

-
Create を選択します。
ポータルに「Create Successfully」と表示され、CDC Service の Essential Information タブが開きます。Connectors タブでは、新しい connector が Running と表示され、task が開始されるまで Tasks のカウンターはすべて
0のままです。task は約 2 分後に開始されます。Snapshot Status は incremental snapshot だけを追跡するため、Not Started のままです。
connector の設定
Connector Information 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Name | はい | connector の名前です。英小文字、数字、ハイフン (-) を使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」というエラーが表示されます。 |
| Type | はい | source を選択します。 |
| Database | はい | MariaDB を選択します。 |
Properties 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| From FPT Database Engine / Manual configuration | はい | FPT Database Engine の MariaDB instance を選択するか、接続情報を自分で入力します。デフォルトでは Manual configuration が選択されています。接続モードを参照してください。 |
| Database Name | From FPT Database Engine の場合 | FPT Database Engine の MariaDB instance です。一覧には instance 名だけが表示されます。instance を選択すると Host name と Port (3306) が自動入力されます。自動入力された値は編集できます。Database、Username、Password、Database server ID は空のままです。 |
| Host name | はい | MariaDB サーバーのホスト名または IP アドレスです。 |
| Port | はい | MariaDB サーバーのポートです (例: 3306)。Manual configuration では、このフィールドにデフォルト値はありません。 |
| Database | はい | 変更をキャプチャするデータベースです。 |
| Username | はい | 手順 1 で作成したユーザーです。 |
| Password | はい | ユーザーのパスワードです。 |
| Database server ID | はい | connector がレプリケーションクライアントとして binlog を読み取るときに、自身の ID として使用する番号です。MariaDB サーバーの replica やその他のレプリケーションクライアントの間で一意であり、サーバー自体の server_id とも異なる値にする必要があります。このフィールドにデフォルト値はありません。1000〜9999 の範囲の数値を入力します。どちらの接続モードでも入力が必要です。 |
| Enable incremental snapshot | いいえ | この connector で incremental snapshot を実行できるようにします。選択すると、connector の作成時に、入力した Database に signal テーブル cdc_signal も作成され、Test connection で CREATE TABLE と INSERT の権限が確認されます。このオプションを選択しない場合は signal テーブルがないため、メニューに Snapshot → Execute が表示されていても実行できません。Incremental snapshotを参照してください。 |
| Topic prefix | はい | connector の書き込み先となる Kafka topic のプレフィックスです。Topic prefixを参照してください。 |
Additional properties 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Mode | はい | 既存の行に対する connector の処理です。このフィールドにはデフォルト値がないため、いずれかを選択します。initial は既存の行の snapshot を取得してから、変更をキャプチャします。initial_only は snapshot を取得するだけで、変更はキャプチャしません。no_data は新しい変更だけをキャプチャします。snapshot モードを参照してください。 |
| Table (Optional) | いいえ | キャプチャするテーブルです。Properties 画面で指定したデータベースから選択します。複数選択できます。 |
| Column (Optional) | いいえ | 選択したテーブルからキャプチャするカラムです。このフィールドはテーブルを選択すると表示され、ラベルにはテーブル名が表示されます (例: Column (Optional) - (users))。すべてのカラムをキャプチャするには、空のままにします。 |
| Heartbeat interval (ms) | はい | heartbeat メッセージの送信間隔です。0〜30000 の範囲で指定します。デフォルトは 0 で、この場合 heartbeat は送信されません。Heartbeatを参照してください。 |