S3 sink connector を作成する
S3 sink connector を使用すると、ソースデータベースからキャプチャした変更を S3 ストレージにファイルとして保存できます。connector は選択した Kafka topic を読み取り、bucket 内のフォルダーに書き込みます。
前提条件
- ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
- PostgreSQL source connector などの source connector が書き込んだ、変更データを含む topic があること。
- 書き込み先の S3 bucket と、そのストレージの endpoint、access key、secret が用意されていること。
connector を作成する
-
Data platform → Workspace management を選択し、workspace を選択します。
-
Overview タブの Services で、CDC カードを選択します。
-
Connectors タブを選択し、Create Connector を選択します。

-
Connector Information 画面で Name を入力し、Type で sink を、Database で S3 を選択します。

-
Next Step を選択します。Properties 画面で接続情報を入力し、Test connection を選択します。テストに成功すると、Next Step を選択できるようになります。

-
同じ画面で Converter class を選択し、4 つの converter フィールドを設定します。Kafka topic で + を選択し、Select topics パネルで読み取る topic を選択します。


-
Next Step を選択します。Additional properties 画面で、Task、Source、Destination、Error Tolerance の各セクションのフィールドを設定します。




-
Next Step を選択し、Review 画面で設定を確認します。

-
Create を選択します。
connector の設定
Connector Information 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Name | はい | connector の名前です。英小文字、数字、ハイフン (-) のみを使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」と表示され、受け付けられません。 |
| Type | はい | sink を選択します。 |
| Database | はい | S3 を選択します。 |
Properties 画面
この connector には From FPT Database Engine オプションはありません。bucket の情報は S3 storage セクションに入力します。Test connection の動作については、接続モードを参照してください。
| フィールド | 必須 | 説明 |
|---|---|---|
| Endpoint | はい | S3 ストレージのアドレスです。https:// などのスキームを含めて指定します。スキームがない場合、フォームに「Endpoint must be a valid uri」と表示されます。 |
| Access Key | はい | S3 ストレージの access key です。 |
| Secret | はい | access key に対応する secret です。 |
| Bucket Name | はい | 書き込み先の bucket です。 |
| Path | はい | ファイルの書き込み先となる、bucket 内のフォルダーです。connector は各 topic を、その topic 名のサブフォルダーに書き込みます。 |
| Converter class | はい | この connector の Converter class です。ポータルで選択できるのは S3 です。class を選択するまで、4 つの converter フィールドはグレー表示のままです。Converterを参照してください。 |
| Converter key、Converter key schema enable、Converter value、Converter value schema enable | はい | connector がメッセージのキーと値を読み取る方法と、それらに schema が含まれるかどうかを指定します。Converter key と Converter value では、それぞれ org.apache.kafka.connect.storage.StringConverter と org.apache.kafka.connect.json.JsonConverter を選択できます。どちらの schema enable フィールドでも、true と false を選択できます。 |
| Kafka topic | はい | 読み取る topic です。最大 100 個まで指定できます。+ を選択して Select topics パネルを開き、topic を選択してから Select を選択します。topicを参照してください。 |
Additional properties 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Number of tasks | はい | 並列で実行される task の最大数です。デフォルトは 1 です。Tasks maxを参照してください。 |
| Database Type | はい | topic の取得元であるソースデータベースのタイプです。 |
| Timezone | いいえ | データのタイムゾーンです。UTC または Asia/Ho_Chi_Minh を指定します。このフィールドにデフォルト値はありません。タイムゾーンを参照してください。 |
| File format | いいえ | connector が書き込むファイルの形式です。json、jsonl、parquet のいずれかを指定します。デフォルトは json です。 |
| Mode (Error Tolerance 内) | はい | 読み取りまたは変換できないメッセージを connector がどう処理するかを指定します。None の場合、connector は停止し、ステータスが Failed になります。All の場合、connector はそのメッセージをスキップし、失敗したレコードの送信先として入力した topic に送信します。このフィールドにデフォルト値はありません。Error toleranceを参照してください。 |