メインコンテンツまでスキップ

PostgreSQL sink connector を作成する

PostgreSQL sink connector を使用すると、source connector がキャプチャした変更に合わせて、PostgreSQL データベースのテーブルを最新の状態に保てます。connector は選択した Kafka topic を読み取り、各 topic をマッピング先のテーブルに書き込みます。

前提条件​

PostgreSQL データベースを準備する​

connector は primary key に基づいて行の挿入と更新を行い、ソース側で削除された行を削除し、不足しているテーブルとカラムを作成します。connector のユーザーには、既存のターゲットテーブルに対する INSERT、UPDATE、DELETE 権限と、ターゲット schema に対する USAGE、CREATE 権限が必要です。

  1. これらの権限を付与できるユーザーで、ターゲットデータベースに接続します。

  2. 次のステートメントを実行します。YOUR_USER は connector のユーザーに置き換えます。別の schema に書き込む場合は、public もその schema に置き換えます。

    GRANT USAGE ON SCHEMA public TO YOUR_USER;
    GRANT CREATE ON SCHEMA public TO YOUR_USER;
    GRANT INSERT, UPDATE, DELETE ON ALL TABLES IN SCHEMA public TO YOUR_USER;
  3. connector がカラムを追加する必要がある既存のターゲットテーブルごとに、所有者を connector のユーザーに変更します。PostgreSQL では、カラムを追加できるのは所有者だけです。connector が作成したテーブルは、すでに connector のユーザーが所有しています。

    ALTER TABLE public.YOUR_TABLE OWNER TO YOUR_USER;

connector を作成する​

  1. Data platform → Workspace management を選択し、workspace を選択します。

  2. Overview タブの Services で、CDC カードを選択します。

  3. Connectors タブを選択し、Create Connector を選択します。

    connector がまだなく、Create Connector ボタンがある、Healthy ステータスの CDC Service の Connectors タブ

  4. Connector Information 画面で Name を入力し、Type で sink を、Database で PostgreSQL を選択します。

    Name、Type、Database フィールドがある Create Connector フォームの Connector Information 画面

  5. Next Step を選択します。Properties 画面で接続情報を入力し、Test connection を選択します。テストに成功すると、Next Step を選択できるようになります。

    Manual configuration が選択され、Host name、Port、Database、Username、Password フィールドがある Database Information セクション

    From FPT Database Engine が選択され、接続フィールドの上に Database Name リストがある Database Information セクション

  6. 同じ画面で Converter class を選択し、4 つの converter フィールドを設定します。Kafka topic で + を選択し、Select topics パネルで読み取る topic を選択します。

    Converter class、Converter key、Converter value、schema enable の各リストがある Converter セクション

    一覧に topic が 1 つあり、追加ボタンとクリアボタン、Filter ボックス、Topic 列と Action 列がある Kafka topic セクション

  7. Next Step を選択します。Additional properties 画面で、Database timezone、Database source、Task、Schema、Map table、Error Tolerance の各セクションのフィールドを設定します。

    topic が users テーブルにマッピングされ、Create new がオンで、Enable filter errors チェックボックスがある Map table セクション

  8. Next Step を選択し、Review 画面で設定を確認します。

    Basic Information、Database Information、Task、Converter、Database source、Schema、Kafka topic の各セクションと Create ボタンがある Review 画面

  9. Create を選択します。

    ポータルは CDC Service の Essential Information タブに戻ります。Connectors タブには、新しい connector がステータス Running で表示されます。task が開始されるまで、Tasks のカウンターはすべて 0 のままです。task の開始には最大で 2.5 分ほどかかることがあります。

connector の設定​

Connector Information 画面​

フィールド必須説明
Nameはいconnector の名前です。英小文字、数字、ハイフン (-) のみを使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」と表示され、受け付けられません。
Typeはいsink を選択します。
DatabaseはいPostgreSQL を選択します。

Properties 画面​

Database Information セクションで、From FPT Database Engine または Manual configuration を選択します。デフォルトでは Manual configuration が選択されています。From FPT Database Engine の場合は、Database Name で instance を選択すると、Host name と Port が自動で入力されます。接続モードを参照してください。

フィールド必須説明
Database NameはいFrom FPT Database Engine を選択した場合にのみ表示されます。FPT Database Engine 内の PostgreSQL instance です。書き込み先のデータベースは Database に入力します。
Host nameはいPostgreSQL サーバーのホスト名または IP アドレスです。
PortはいPostgreSQL サーバーのポートです (例: 5432)。Manual configuration では、このフィールドにデフォルト値はありません。
Databaseはいconnector がデータを書き込むデータベースです。
Usernameはいconnector が接続に使用するユーザーです。このユーザーには、PostgreSQL データベースを準備するに記載された権限が必要です。
Passwordはいそのユーザーのパスワードです。
Converter classはいこの connector の Converter class です。ポータルで選択できるのは JDBC です。class を選択するまで、4 つの converter フィールドはグレー表示のままです。Converterを参照してください。
Converter key、Converter key schema enable、Converter value、Converter value schema enableはいconnector がメッセージのキーと値を読み取る方法と、それらに schema が含まれるかどうかを指定します。JDBC の場合、キーと値の converter で選択できるのは org.apache.kafka.connect.json.JsonConverter のみで、schema enable フィールドで選択できるのは true のみです。
Kafka topicはい読み取る topic です。最大 100 個まで指定できます。+ を選択して Select topics パネルを開き、topic を選択してから Select を選択します。topicを参照してください。

Additional properties 画面​

フィールド必須説明
Timezoneいいえソースデータベース内のデータのタイムゾーンです。UTC または Asia/Ho_Chi_Minh を指定します。このフィールドにデフォルト値はありません。タイムゾーンを参照してください。
Type (Database source 内)はいtopic の取得元であるソースデータベースのタイプです。None、PostgreSQL、MySQL、MariaDB、SQLServer のいずれかを指定します。
Number of tasksはいtopic を並列で処理する task の数です。デフォルトは 1 です。Tasks maxを参照してください。
Schemaはいconnector がテーブルを書き込む、ターゲットデータベース内の schema です。リストには、そのデータベースの schema が表示されます。デフォルトは public です。事前に、この schema に対する権限を connector のユーザーに付与してください。
Topic、Create new、Table (Map table 内)はい各 topic のレコードを受け取るテーブルです。Create new はデフォルトでオンになっており、Table には topic から取得したテーブル名が表示されます。テーブルを作成するには Create new をオンのままにし、既存のテーブルを使用するにはオフにします。テーブル名では大文字と小文字が区別されます。エラーのある行だけを一覧表示するには、Enable filter errors を選択します。Map tableを参照してください。
Mode (Error Tolerance 内)はい読み取りまたは変換できないメッセージを connector がどう処理するかを指定します。None の場合、connector は停止し、ステータスが Failed になります。All の場合、connector はそのメッセージをスキップし、失敗したレコードの送信先として入力した topic に送信します。このフィールドにデフォルト値はありません。Error toleranceを参照してください。

次のステップ​