PostgreSQL sink connector を作成する
PostgreSQL sink connector を使用すると、source connector がキャプチャした変更に合わせて、PostgreSQL データベースのテーブルを最新の状態に保てます。connector は選択した Kafka topic を読み取り、各 topic をマッピング先のテーブルに書き込みます。
前提条件
- ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
- PostgreSQL source connector などの source connector が書き込んだ、変更データを含む topic があること。
- workspace からアクセスできる PostgreSQL データベースと、PostgreSQL データベースを準備するに記載された権限を持つユーザーが用意されていること。
PostgreSQL データベースを準備する
connector は primary key に基づいて行の挿入と更新を行い、ソース側で削除された行を削除し、不足しているテーブルとカラムを作成します。connector のユーザーには、既存のターゲットテーブルに対する INSERT、UPDATE、DELETE 権限と、ターゲット schema に対する USAGE、CREATE 権限が必要です。
-
これらの権限を付与できるユーザーで、ターゲットデータベースに接続します。
-
次のステートメントを実行します。
YOUR_USERは connector のユーザーに置き換えます。別の schema に書き込む場合は、publicもその schema に置き換えます。GRANT USAGE ON SCHEMA public TO YOUR_USER;GRANT CREATE ON SCHEMA public TO YOUR_USER;GRANT INSERT, UPDATE, DELETE ON ALL TABLES IN SCHEMA public TO YOUR_USER; -
connector がカラムを追加する必要がある既存のターゲットテーブルごとに、所有者を connector のユーザーに変更します。PostgreSQL では、カラムを追加できるのは所有者だけです。connector が作成したテーブルは、すでに connector のユーザーが所有しています。
ALTER TABLE public.YOUR_TABLE OWNER TO YOUR_USER;
connector を作成する
-
Data platform → Workspace management を選択し、workspace を選択します。
-
Overview タブの Services で、CDC カードを選択します。
-
Connectors タブを選択し、Create Connector を選択します。

-
Connector Information 画面で Name を入力し、Type で sink を、Database で PostgreSQL を選択します。

-
Next Step を選択します。Properties 画面で接続情報を入力し、Test connection を選択します。テストに成功すると、Next Step を選択できるようになります。


-
同じ画面で Converter class を選択し、4 つの converter フィールドを設定します。Kafka topic で + を選択し、Select topics パネルで読み取る topic を選択します。


-
Next Step を選択します。Additional properties 画面で、Database timezone、Database source、Task、Schema、Map table、Error Tolerance の各セクションのフィールドを設定します。

-
Next Step を選択し、Review 画面で設定を確認します。

-
Create を選択します。
ポータルは CDC Service の Essential Information タブに戻ります。Connectors タブには、新しい connector がステータス Running で表示されます。task が開始されるまで、Tasks のカウンターはすべて 0 のままです。task の開始には最大で 2.5 分ほどかかることがあります。
connector の設定
Connector Information 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Name | はい | connector の名前です。英小文字、数字、ハイフン (-) のみを使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」と表示され、受け付けられません。 |
| Type | はい | sink を選択します。 |
| Database | はい | PostgreSQL を選択します。 |
Properties 画面
Database Information セクションで、From FPT Database Engine または Manual configuration を選択します。デフォルトでは Manual configuration が選択されています。From FPT Database Engine の場合は、Database Name で instance を選択すると、Host name と Port が自動で入力されます。接続モードを参照してください。
| フィールド | 必須 | 説明 |
|---|---|---|
| Database Name | はい | From FPT Database Engine を選択した場合にのみ表示されます。FPT Database Engine 内の PostgreSQL instance です。書き込み先のデータベースは Database に入力します。 |
| Host name | はい | PostgreSQL サーバーのホスト名または IP アドレスです。 |
| Port | はい | PostgreSQL サーバーのポートです (例: 5432)。Manual configuration では、このフィールドにデフォルト値はありません。 |
| Database | はい | connector がデータを書き込むデータベースです。 |
| Username | はい | connector が接続に使用するユーザーです。このユーザーには、PostgreSQL データベースを準備するに記載された権限が必要です。 |
| Password | はい | そのユーザーのパスワードです。 |
| Converter class | はい | この connector の Converter class です。ポータルで選択できるのは JDBC です。class を選択するまで、4 つの converter フィールドはグレー表示のままです。Converterを参照してください。 |
| Converter key、Converter key schema enable、Converter value、Converter value schema enable | はい | connector がメッセージのキーと値を読み取る方法と、それらに schema が含まれるかどうかを指定します。JDBC の場合、キーと値の converter で選択できるのは org.apache.kafka.connect.json.JsonConverter のみで、schema enable フィールドで選択できるのは true のみです。 |
| Kafka topic | はい | 読み取る topic です。最大 100 個まで指定できます。+ を選択して Select topics パネルを開き、topic を選択してから Select を選択します。topicを参照してください。 |
Additional properties 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Timezone | いいえ | ソースデータベース内のデータのタイムゾーンです。UTC または Asia/Ho_Chi_Minh を指定します。このフィールドにデフォルト値はありません。タイムゾーンを参照してください。 |
| Type (Database source 内) | はい | topic の取得元であるソースデータベースのタイプです。None、PostgreSQL、MySQL、MariaDB、SQLServer のいずれかを指定します。 |
| Number of tasks | はい | topic を並列で処理する task の数です。デフォルトは 1 です。Tasks maxを参照してください。 |
| Schema | はい | connector がテーブルを書き込む、ターゲットデータベース内の schema です。リストには、そのデータベースの schema が表示されます。デフォルトは public です。事前に、この schema に対する権限を connector のユーザーに付与してください。 |
| Topic、Create new、Table (Map table 内) | はい | 各 topic のレコードを受け取るテーブルです。Create new はデフォルトでオンになっており、Table には topic から取得したテーブル名が表示されます。テーブルを作成するには Create new をオンのままにし、既存のテーブルを使用するにはオフにします。テーブル名では大文字と小文字が区別されます。エラーのある行だけを一覧表示するには、Enable filter errors を選択します。Map tableを参照してください。 |
| Mode (Error Tolerance 内) | はい | 読み取りまたは変換できないメッセージを connector がどう処理するかを指定します。None の場合、connector は停止し、ステータスが Failed になります。All の場合、connector はそのメッセージをスキップし、失敗したレコードの送信先として入力した topic に送信します。このフィールドにデフォルト値はありません。Error toleranceを参照してください。 |