メインコンテンツまでスキップ

MySQL source connector を作成する

MySQL データベースで発生するすべての行の変更を Kafka topic にストリーミングし、sink connector で他のシステムに配信できるようにします。connector は MySQL のバイナリログ (binlog) を読み取ります。MySQL は古い binlog ファイルを削除するため、connector は既存データの整合性のある snapshot から開始できます。

前提条件​

  • ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
  • サポートされている MySQL 構成であること。
    • binlog を有効にしたスタンドアロン構成。
    • プライマリと replica の構成。connector は 1 台のサーバーの binlog を読み取り、そのサーバーで発生した変更だけを取得します。
    • 高可用性構成。
  • MySQL データベースを準備するの説明に従って、データベースが CDC 用に準備されていること。

MySQL データベースを準備する​

FPT Cloud の MySQL データベースでは、binlog、GTID、binlog_row_value_options はすでに設定されています。手順 1〜3 を実行し、手順 4〜8 は省略してください。

  1. connector が接続に使用するユーザーを作成します。

    CREATE USER 'YOUR_USER'@'%' IDENTIFIED BY 'YOUR_PASSWORD';
  2. キャプチャするデータベースに対する SELECT 権限と、グローバル権限 RELOAD、SHOW DATABASES、REPLICATION SLAVE、REPLICATION CLIENT をユーザーに付与します。

    GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'YOUR_USER'@'%';
    FLUSH PRIVILEGES;

    SELECT 権限を 1 つのデータベースに限定するには、代わりに次のステートメントを実行します。

    GRANT SHOW DATABASES, RELOAD, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'YOUR_USER'@'%';
    GRANT SELECT ON YOUR_DATABASE.* TO 'YOUR_USER'@'%';
    FLUSH PRIVILEGES;
  3. Enable incremental snapshot を選択する予定の場合は、キャプチャするデータベースに対する INSERT 権限と CREATE 権限も付与します。その場合、connector の作成時にそのデータベースに signal テーブル cdc_signal が作成され、snapshot はこのテーブルを通じて実行されます。

    GRANT INSERT, CREATE ON YOUR_DATABASE.* TO 'YOUR_USER'@'%';
    FLUSH PRIVILEGES;
  4. binlog が有効かどうかを確認します。

    SHOW GLOBAL VARIABLES LIKE 'log_bin';
    -- Or, on MySQL 8.x
    SELECT variable_value FROM performance_schema.global_variables WHERE variable_name = 'log_bin';
    -- Or, on MySQL 5.x
    SELECT variable_value FROM information_schema.global_variables WHERE variable_name = 'log_bin';
  5. log_bin が OFF の場合は、MySQL の設定ファイルに次の行を追加します。server-id には SHOW VARIABLES LIKE 'server_id'; の結果を設定します。

    server-id = YOUR_SERVER_ID
    log_bin = mysql-bin
    binlog_format = ROW
    binlog_row_image = FULL
    binlog_expire_logs_seconds = 864000

    binlog がすでに有効で、形式だけを変更する場合は、代わりに稼働中のサーバーで次のステートメントを実行できます。SET では log_bin を有効にできません。また、設定ファイルにも追加しない限り、新しい値は次回の再起動までしか有効になりません。

    SET @@global.binlog_format = 'ROW';
    SET @@global.binlog_row_image = 'FULL';
    SET @@global.binlog_expire_logs_seconds = 864000;
  6. GTID を有効にします。まず、両方の変数を確認します。

    SHOW GLOBAL VARIABLES LIKE 'gtid_mode';
    SHOW GLOBAL VARIABLES LIKE 'enforce_gtid_consistency';

    両方とも OFF の場合は、MySQL の設定ファイルで設定します。

    gtid_mode = ON
    enforce_gtid_consistency = ON

    または、稼働中のサーバーで設定します。MySQL では、gtid_mode を 1 段階ずつ変更します。

    SET @@global.enforce_gtid_consistency = ON;
    SET @@global.gtid_mode = OFF_PERMISSIVE;
    SET @@global.gtid_mode = ON_PERMISSIVE;
    SET @@global.gtid_mode = ON;
  7. 手順 5 と 6 で行った設定ファイルの変更を有効にするため、MySQL を再起動します。設定ファイルを変更していない場合、この手順は省略します。

    警告

    MySQL を再起動すると、MySQL を使用しているアプリケーションが中断されます。再起動はメンテナンスウィンドウ中に計画してください。

  8. connector が UPDATE イベントをキャプチャできるように、binlog_row_value_options を空の値に設定します。

    SHOW GLOBAL VARIABLES LIKE 'binlog_row_value_options';
    SET @@global.binlog_row_value_options = '';

connector を作成する​

  1. Data platform → Workspace management を選択し、workspace を選択します。

  2. Overview タブの Services で、CDC カードを選択します。

  3. Connectors タブを選択し、Create Connector を選択します。

    No connector yet メッセージと Create Connector ボタンが表示された、Healthy 状態の CDC Service の Connectors タブ

  4. Connector Information 画面で Name を入力し、Type で source、Database で MySQL を選択します。

    Name、Type、Database フィールドがある Create Connector フォームの Connector Information 画面

  5. Next Step を選択します。Properties 画面で接続情報、Database server ID、Topic prefix を入力し、Test connection を選択します。テストに成功して「Connect Successfully」というメッセージが表示されると、Next Step を選択できるようになります。

    From FPT Database Engine を選択し、Database Name の一覧、接続フィールド、Database server ID が表示された Database Information セクション

    Manual configuration を選択し、Host name、Port、Database、Username、Password、Database server ID フィールドと Enable incremental snapshot チェックボックスが表示された Database Information セクション

    Topic prefix フィールドがある Kafka topic セクション

  6. Next Step を選択します。Additional properties 画面で、snapshot の Mode とキャプチャするテーブルおよびカラムを選択し、Heartbeat interval (ms) を設定します。

    Mode の一覧がある Snapshot セクション

    Table (Optional) で orders テーブルが選択され、Column (Optional) - (orders) の一覧が表示された Include セクション

    Heartbeat interval (ms) に 3000 が入力された Heartbeat セクション

  7. Next Step を選択し、Review 画面で設定を確認します。

    Basic Information、Kafka topic、Database Information、Snapshot、Include、Heartbeat セクションがある MySQL source connector の Review 画面

  8. Create を選択します。

    ポータルに「Create Successfully」と表示され、CDC Service の Essential Information タブが開きます。Connectors タブでは、新しい connector が Running と表示され、task が開始されるまで Tasks のカウンターはすべて 0 のままです。task は約 2 分後に開始されます。Snapshot Status は incremental snapshot だけを追跡するため、Not Started のままです。

connector の設定​

Connector Information 画面​

フィールド必須説明
Nameはいconnector の名前です。英小文字、数字、ハイフン (-) を使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」というエラーが表示されます。
Typeはいsource を選択します。
DatabaseはいMySQL を選択します。

Properties 画面​

フィールド必須説明
From FPT Database Engine / Manual configurationはいFPT Database Engine の MySQL instance を選択するか、接続情報を自分で入力します。デフォルトでは Manual configuration が選択されています。接続モードを参照してください。
Database NameFrom FPT Database Engine の場合FPT Database Engine の MySQL instance です。一覧には instance 名だけが表示され、複数の instance が同じ名前を持つ場合もあります。instance を選択すると Host name と Port (3306) が自動入力されます。自動入力された値は編集できます。Database、Username、Password、Database server ID は空のままです。
Host nameはいMySQL サーバーのホスト名または IP アドレスです。
PortはいMySQL サーバーのポートです (例: 3306)。Manual configuration では、このフィールドにデフォルト値はありません。
Databaseはい変更をキャプチャするデータベースです。
Usernameはい手順 1 で作成したユーザーです。
Passwordはいユーザーのパスワードです。
Database server IDはいconnector がレプリケーションクライアントとして binlog を読み取るときに、自身の ID として使用する番号です。MySQL サーバーの replica やその他のレプリケーションクライアントの間で一意であり、サーバー自体の server_id とも異なる値にする必要があります。このフィールドにデフォルト値はありません。1000〜9999 の範囲の数値を入力します。
Enable incremental snapshotいいえこの connector で incremental snapshot を実行できるようにします。選択すると、connector の作成時に、入力した Database に signal テーブル cdc_signal も作成され、Test connection で CREATE TABLE と INSERT の権限が確認されます。このオプションを選択しない場合は signal テーブルがないため、メニューに Snapshot → Execute が表示されていても実行できません。Incremental snapshotを参照してください。
Topic prefixはいconnector の書き込み先となる Kafka topic のプレフィックスです。Topic prefixを参照してください。

Additional properties 画面​

フィールド必須説明
Modeはい既存の行に対する connector の処理です。このフィールドにはデフォルト値がないため、いずれかを選択します。initial は既存の行の snapshot を取得してから、変更をキャプチャします。initial_only は snapshot を取得するだけで、変更はキャプチャしません。no_data は新しい変更だけをキャプチャします。snapshot モードを参照してください。
Table (Optional)いいえキャプチャするテーブルです。Properties 画面で指定したデータベースから選択します。複数選択できます。
Column (Optional)いいえ選択したテーブルからキャプチャするカラムです。このフィールドはテーブルを選択すると表示され、ラベルにはテーブル名が表示されます (例: Column (Optional) - (orders))。すべてのカラムをキャプチャするには、空のままにします。
Heartbeat interval (ms)はいheartbeat メッセージの送信間隔です。0〜30000 の範囲で指定します。デフォルトは 0 で、この場合 heartbeat は送信されません。Heartbeatを参照してください。

次のステップ​