メインコンテンツまでスキップ

MariaDB source connector を作成する

MariaDB データベースで発生するすべての行の変更を Kafka topic にストリーミングし、sink connector で他のシステムに配信できるようにします。connector は MariaDB のバイナリログ (binlog) を読み取ります。MariaDB は古い binlog ファイルを削除するため、connector は既存データの整合性のある snapshot から開始できます。

前提条件​

  • ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
  • サポートされている MariaDB 構成であること。
    • binlog を有効にしたスタンドアロン構成。
    • プライマリと replica の構成。connector は 1 台のサーバーの binlog を読み取り、そのサーバーで発生した変更だけを取得します。
    • 高可用性構成。
  • MariaDB データベースを準備するの説明に従って、データベースが CDC 用に準備されていること。

MariaDB データベースを準備する​

FPT Cloud の MariaDB データベースでは、binlog はすでに設定されています。手順 1〜3 を実行し、手順 4〜6 は省略してください。MariaDB では GTID が常に有効なため、GTID の設定は不要です。

  1. connector が接続に使用するユーザーを作成します。

    CREATE USER 'YOUR_USER'@'%' IDENTIFIED BY 'YOUR_PASSWORD';
  2. キャプチャするデータベースに対する SELECT 権限と、グローバル権限 RELOAD、SHOW DATABASES、REPLICATION SLAVE、REPLICATION CLIENT をユーザーに付与します。

    GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'YOUR_USER'@'%';
    FLUSH PRIVILEGES;

    SELECT 権限を 1 つのデータベースに限定するには、代わりに次のステートメントを実行します。

    GRANT SHOW DATABASES, RELOAD, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'YOUR_USER'@'%';
    GRANT SELECT ON YOUR_DATABASE.* TO 'YOUR_USER'@'%';
    FLUSH PRIVILEGES;
  3. Enable incremental snapshot を選択する予定の場合は、キャプチャするデータベースに対する INSERT 権限と CREATE 権限も付与します。その場合、connector の作成時にそのデータベースに signal テーブル cdc_signal が作成され、snapshot はこのテーブルを通じて実行されます。

    GRANT INSERT, CREATE ON YOUR_DATABASE.* TO 'YOUR_USER'@'%';
    FLUSH PRIVILEGES;
  4. binlog が有効かどうかを確認します。

    SHOW GLOBAL VARIABLES LIKE 'log_bin';
  5. log_bin が OFF の場合は、MariaDB の設定ファイルに次の行を追加します。server-id には SHOW VARIABLES LIKE 'server_id'; の結果を設定します。

    server-id = YOUR_SERVER_ID
    log_bin = MariaDB-bin
    binlog_format = ROW
    binlog_row_image = FULL
    binlog_expire_logs_seconds = 864000

    binlog がすでに有効で、形式だけを変更する場合は、代わりに稼働中のサーバーで次のステートメントを実行できます。SET では log_bin を有効にできません。また、設定ファイルにも追加しない限り、新しい値は次回の再起動までしか有効になりません。

    SET @@global.binlog_format = 'ROW';
    SET @@global.binlog_row_image = 'FULL';
    SET @@global.binlog_expire_logs_seconds = 864000;
  6. 設定ファイルの変更を有効にするため、MariaDB を再起動します。設定ファイルを変更していない場合、この手順は省略します。

    警告

    MariaDB を再起動すると、MariaDB を使用しているアプリケーションが中断されます。再起動はメンテナンスウィンドウ中に計画してください。

connector を作成する​

  1. Data platform → Workspace management を選択し、workspace を選択します。

  2. Overview タブの Services で、CDC カードを選択します。

  3. Connectors タブを選択し、Create Connector を選択します。

    No connector yet メッセージと Create Connector ボタンが表示された、Healthy 状態の CDC Service の Connectors タブ

  4. Connector Information 画面で Name を入力し、Type で source、Database で MariaDB を選択します。

    Name、Type、Database フィールドがある Create Connector フォームの Connector Information 画面

  5. Next Step を選択します。Properties 画面で接続情報、Database server ID、Topic prefix を入力し、Test connection を選択します。テストに成功して「Connect Successfully」というメッセージが表示されると、Next Step を選択できるようになります。

    From FPT Database Engine を選択し、Database Name の一覧、接続フィールド、Database server ID が表示された Database Information セクション

    Manual configuration を選択し、Host name、Port、Database、Username、Password、Database server ID フィールドと Enable incremental snapshot チェックボックスが表示された Database Information セクション

    Topic prefix フィールドがある Kafka topic セクション

  6. Next Step を選択します。Additional properties 画面で、snapshot の Mode とキャプチャするテーブルおよびカラムを選択し、Heartbeat interval (ms) を設定します。

    Mode の一覧がある Snapshot セクション

    Table (Optional) で users テーブルが選択され、Column (Optional) - (users) の一覧が表示された Include セクション

    Heartbeat interval (ms) に 3000 が入力された Heartbeat セクション

  7. Next Step を選択し、Review 画面で設定を確認します。

    Basic Information、Kafka topic、Database Information、Snapshot、Include、Heartbeat セクションがある MariaDB source connector の Review 画面

  8. Create を選択します。

    ポータルに「Create Successfully」と表示され、CDC Service の Essential Information タブが開きます。Connectors タブでは、新しい connector が Running と表示され、task が開始されるまで Tasks のカウンターはすべて 0 のままです。task は約 2 分後に開始されます。Snapshot Status は incremental snapshot だけを追跡するため、Not Started のままです。

connector の設定​

Connector Information 画面​

フィールド必須説明
Nameはいconnector の名前です。英小文字、数字、ハイフン (-) を使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」というエラーが表示されます。
Typeはいsource を選択します。
DatabaseはいMariaDB を選択します。

Properties 画面​

フィールド必須説明
From FPT Database Engine / Manual configurationはいFPT Database Engine の MariaDB instance を選択するか、接続情報を自分で入力します。デフォルトでは Manual configuration が選択されています。接続モードを参照してください。
Database NameFrom FPT Database Engine の場合FPT Database Engine の MariaDB instance です。一覧には instance 名だけが表示されます。instance を選択すると Host name と Port (3306) が自動入力されます。自動入力された値は編集できます。Database、Username、Password、Database server ID は空のままです。
Host nameはいMariaDB サーバーのホスト名または IP アドレスです。
PortはいMariaDB サーバーのポートです (例: 3306)。Manual configuration では、このフィールドにデフォルト値はありません。
Databaseはい変更をキャプチャするデータベースです。
Usernameはい手順 1 で作成したユーザーです。
Passwordはいユーザーのパスワードです。
Database server IDはいconnector がレプリケーションクライアントとして binlog を読み取るときに、自身の ID として使用する番号です。MariaDB サーバーの replica やその他のレプリケーションクライアントの間で一意であり、サーバー自体の server_id とも異なる値にする必要があります。このフィールドにデフォルト値はありません。1000〜9999 の範囲の数値を入力します。どちらの接続モードでも入力が必要です。
Enable incremental snapshotいいえこの connector で incremental snapshot を実行できるようにします。選択すると、connector の作成時に、入力した Database に signal テーブル cdc_signal も作成され、Test connection で CREATE TABLE と INSERT の権限が確認されます。このオプションを選択しない場合は signal テーブルがないため、メニューに Snapshot → Execute が表示されていても実行できません。Incremental snapshotを参照してください。
Topic prefixはいconnector の書き込み先となる Kafka topic のプレフィックスです。Topic prefixを参照してください。

Additional properties 画面​

フィールド必須説明
Modeはい既存の行に対する connector の処理です。このフィールドにはデフォルト値がないため、いずれかを選択します。initial は既存の行の snapshot を取得してから、変更をキャプチャします。initial_only は snapshot を取得するだけで、変更はキャプチャしません。no_data は新しい変更だけをキャプチャします。snapshot モードを参照してください。
Table (Optional)いいえキャプチャするテーブルです。Properties 画面で指定したデータベースから選択します。複数選択できます。
Column (Optional)いいえ選択したテーブルからキャプチャするカラムです。このフィールドはテーブルを選択すると表示され、ラベルにはテーブル名が表示されます (例: Column (Optional) - (users))。すべてのカラムをキャプチャするには、空のままにします。
Heartbeat interval (ms)はいheartbeat メッセージの送信間隔です。0〜30000 の範囲で指定します。デフォルトは 0 で、この場合 heartbeat は送信されません。Heartbeatを参照してください。

次のステップ​