メインコンテンツまでスキップ

MariaDB sink connector を作成する

MariaDB sink connector を使用すると、source connector がキャプチャした変更に合わせて、MariaDB データベースのテーブルを最新の状態に保てます。connector は選択した Kafka topic を読み取り、各 topic をマッピング先のテーブルに書き込みます。

前提条件​

MariaDB データベースを準備する​

connector は primary key に基づいて行の挿入と更新を行い、ソース側で削除された行を削除し、不足しているテーブルとカラムを作成します。connector のユーザーには、ターゲットテーブルに対する INSERT、UPDATE、DELETE 権限と、テーブルの作成とカラムの追加に必要な CREATE、ALTER 権限が必要です。

  1. これらの権限を付与できるユーザーで、ターゲットデータベースに接続します。

  2. 次のステートメントを実行します。YOUR_DATABASE はターゲットデータベースに、YOUR_USER は connector のユーザーに置き換えます。

    GRANT INSERT, UPDATE, DELETE, CREATE, ALTER ON YOUR_DATABASE.* TO 'YOUR_USER'@'%';
    FLUSH PRIVILEGES;

connector を作成する​

  1. Data platform → Workspace management を選択し、workspace を選択します。

  2. Overview タブの Services で、CDC カードを選択します。

  3. Connectors タブを選択し、Create Connector を選択します。

    connector がまだなく、Create Connector ボタンがある、Healthy ステータスの CDC Service の Connectors タブ

  4. Connector Information 画面で Name を入力し、Type で sink を、Database で MariaDB を選択します。

    Name、Type、Database フィールドがある Create Connector フォームの Connector Information 画面

  5. Next Step を選択します。Properties 画面で接続情報を入力し、Test connection を選択します。テストに成功すると、Next Step を選択できるようになります。

    Manual configuration が選択され、Host name、Port、Database、Username、Password フィールドがある Database Information セクション

    From FPT Database Engine が選択され、接続フィールドの上に Database Name リストがある Database Information セクション

  6. 同じ画面で Converter class を選択して 4 つの converter フィールドを設定し、Topics で読み取る topic を選択します。

    Converter class、Converter key、Converter value、schema enable の各リストがある Converter セクション

    Topics リストがある Kafka topic セクション

  7. Next Step を選択します。Additional properties 画面で、Database timezone、Database source、Task、Map table、Error Tolerance の各セクションのフィールドを設定します。

    Topic 1 があり、Create new table スイッチがオンで、Table 1 に新しいテーブル名 users_v2 が入力された Map table セクション

  8. Next Step を選択し、Review 画面で設定を確認します。

    Basic Information、Database Information、Task、Converter、Database source、Kafka topic、Error Tolerance の各セクションと Create ボタンがある Review 画面

  9. Create を選択します。

    ポータルは CDC Service の Essential Information タブに戻ります。Connectors タブには、新しい connector がステータス Running で表示されます。task が開始されるまで、Tasks のカウンターはすべて 0 のままです。task の開始には最大で 2.5 分ほどかかることがあります。

connector の設定​

Connector Information 画面​

フィールド必須説明
Nameはいconnector の名前です。英小文字、数字、ハイフン (-) のみを使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」と表示され、受け付けられません。
Typeはいsink を選択します。
DatabaseはいMariaDB を選択します。

Properties 画面​

Database Information セクションで、From FPT Database Engine または Manual configuration を選択します。デフォルトでは Manual configuration が選択されています。From FPT Database Engine の場合は、Database Name で instance を選択すると、Host name と Port が自動で入力されます。接続モードを参照してください。

フィールド必須説明
Database NameはいFrom FPT Database Engine を選択した場合にのみ表示されます。FPT Database Engine 内の MariaDB instance です。書き込み先のデータベースは Database に入力します。
Host nameはいMariaDB サーバーのホスト名または IP アドレスです。
PortはいMariaDB サーバーのポートです (例: 3306)。Manual configuration では、このフィールドにデフォルト値はありません。
Databaseはいconnector がデータを書き込むデータベースです。
Usernameはいconnector が接続に使用するユーザーです。このユーザーには、MariaDB データベースを準備するに記載された権限が必要です。
Passwordはいそのユーザーのパスワードです。
Converter classはいこの connector の Converter class です。ポータルで選択できるのは JDBC です。class を選択するまで、4 つの converter フィールドはグレー表示のままです。Converterを参照してください。
Converter key、Converter key schema enable、Converter value、Converter value schema enableはいconnector がメッセージのキーと値を読み取る方法と、それらに schema が含まれるかどうかを指定します。JDBC の場合、キーと値の converter で選択できるのは org.apache.kafka.connect.json.JsonConverter のみで、schema enable フィールドで選択できるのは true のみです。
Topics (Kafka topic 内)はい読み取る topic です。リストから選択します。リストには、CDC Service の Kafka cluster にある topic が表示されます。topicを参照してください。

Additional properties 画面​

フィールド必須説明
Timezoneいいえソースデータベース内のデータのタイムゾーンです。UTC または Asia/Ho_Chi_Minh を指定します。このフィールドにデフォルト値はありません。タイムゾーンを参照してください。
Type (Database source 内)はいtopic の取得元であるソースデータベースのタイプです。None、PostgreSQL、MySQL、MariaDB、SQLServer のいずれかを指定します。このフィールドにデフォルト値はありません。
Tasks maxはいtopic を並列で処理する task の数です。デフォルトは 1 です。Tasks maxを参照してください。
Topic 1、Create new table、Table 1 (Map table 内)はい各 topic のレコードを受け取るテーブルです。Create new table はデフォルトでオフになっており、Table 1 にはターゲットデータベースの既存テーブルが一覧表示されます。既存のテーブルを選択する代わりに新しいテーブル名を入力するには、Create new table をオンにします。テーブル名には英字、数字、アンダースコア (_) のみを使用できます。オンにすると、Table 1 は空になります。Map tableを参照してください。
Mode (Error Tolerance 内)はい読み取りまたは変換できないメッセージを connector がどう処理するかを指定します。None の場合、connector は停止し、ステータスが Failed になります。All の場合、connector はそのメッセージをスキップし、失敗したレコードの送信先として入力した topic に送信します。このフィールドにデフォルト値はありません。Error toleranceを参照してください。

次のステップ​