S3 source connector を作成する
bucket 内のファイルのレコードを Kafka topic に読み込み、sink connector や pipeline で他のストリームと同じように使用できるようにします。connector は、Amazon S3、または FPT Object Storage や MinIO などの S3 互換ストレージから、CSV、TSV、Avro、XML などのファイルを読み取り、スキャンして取り込みます。
前提条件
- ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
- ソースファイルの endpoint URL、bucket 名、パスと、それらのファイルを読み取れる access key と secret key があること。
connector を作成する
-
Data platform → Workspace management を選択し、workspace を選択します。
-
Overview タブの Services で、CDC カードを選択します。
-
Connectors タブを選択し、Create Connector を選択します。

-
Connector Information 画面で Name を入力し、Type で source、Database で S3 を選択します。

-
Next Step を選択します。Properties 画面で S3 の情報と Topic を入力し、Test connection を選択します。テストに成功すると、Next Step を選択できるようになります。
空のフィールドがある場合、Test connection はそのフィールドに「Access Key is required」などのメッセージを表示し、接続のテストは行いません。


-
Next Step を選択します。Additional properties 画面で、connector によるファイルの読み取り方法と、Error tolerance の Mode を設定します。


-
Next Step を選択し、Review 画面で設定を確認します。

-
Create を選択します。
ポータルに「Create Successfully」と表示され、CDC Service の Essential Information タブが開きます。Connectors タブでは、新しい connector が Running と表示され、task が開始されるまで Tasks のカウンターはすべて
0のままです。task の開始には最大で約 2.5 分かかります。
connector の設定
Connector Information 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Name | はい | connector の名前です。英小文字、数字、ハイフン (-) を使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」というエラーが表示されます。 |
| Type | はい | source を選択します。 |
| Database | はい | S3 を選択します。 |
Properties 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| URL | はい | S3 ストレージの endpoint URL です (例: https://YOUR_ENDPOINT)。フィールドの下に表示される「Only letters, numbers and hyphens are allowed」というヒントは、このフィールドには当てはまりません。 |
| Access Key | はい | access key です。 |
| Secret key | はい | access key に対応する secret key です。 |
| Bucket Name | はい | ソースファイルがある bucket です。 |
| Path Prefix | はい | ソースファイルがあるフォルダーです。先頭にスラッシュを付けず、末尾はスラッシュにします (例: data/orders/)。この形式でない場合は、「Path Prefix has invalid characters」というエラーが表示されます。 |
| Topic | はい | connector がファイルのすべてのレコードを書き込む Kafka topic の完全な名前です。プレフィックスではありません。 |
Test connection では、入力した情報で connector が bucket にアクセスできるかを確認します。
Additional properties 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Type | はい | 読み取るファイルの形式です。たとえば、ROW (CSV、TSV)、XML、Avro があります。 |
| File filter regex pattern | はい | ファイル名全体が一致する必要がある正規表現です。ドットの前にはバックスラッシュを 1 つだけ入力します。.*\.csv$ は、.csv で終わるファイルだけを受け付けます。\.csv$ のように名前の一部だけを対象とするパターンは、どのファイルにも一致しません。 |
| Header definition | はい | カラム名の取得元です。From file はファイルの 1 行目からカラム名を取得します。Autogenerated は column1、column2 のように名前を付けます。User provider は Column name に入力した名前を使用します (このラベルは「user provided」の意味です)。 |
| Delimiter | はい | カラム間の区切り文字です。デフォルトは , です。タブやセミコロンなどに変更できます。 |
| Trim value | はい | Yes は、各カラムの値の先頭と末尾にあるスペースを削除します。No はスペースを残します。 |
| Column name | User provider の場合 | ファイルのカラムです。各カラムを NAME:TYPE の形式で入力し (例: id:STRING)、+ を選択して tag として追加します。すべてのカラムに型が必要です。Header definition が User provider の場合にのみ表示されます。 |
| Mode (Error Tolerance) | はい | レコードの処理に失敗したときの connector の動作です。None は connector を停止し、ステータスを Failed にします。All は失敗したレコードをスキップして、処理を続行します。このフィールドにデフォルト値はありません。Error toleranceを参照してください。 |