メインコンテンツまでスキップ

S3 source connector を作成する

bucket 内のファイルのレコードを Kafka topic に読み込み、sink connector や pipeline で他のストリームと同じように使用できるようにします。connector は、Amazon S3、または FPT Object Storage や MinIO などの S3 互換ストレージから、CSV、TSV、Avro、XML などのファイルを読み取り、スキャンして取り込みます。

前提条件​

  • ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
  • ソースファイルの endpoint URL、bucket 名、パスと、それらのファイルを読み取れる access key と secret key があること。

connector を作成する​

  1. Data platform → Workspace management を選択し、workspace を選択します。

  2. Overview タブの Services で、CDC カードを選択します。

  3. Connectors タブを選択し、Create Connector を選択します。

    No connector yet メッセージと Create Connector ボタンが表示された、Healthy 状態の CDC Service の Connectors タブ

  4. Connector Information 画面で Name を入力し、Type で source、Database で S3 を選択します。

    Name、Type、Database フィールドがある Create Connector フォームの Connector Information 画面

  5. Next Step を選択します。Properties 画面で S3 の情報と Topic を入力し、Test connection を選択します。テストに成功すると、Next Step を選択できるようになります。

    空のフィールドがある場合、Test connection はそのフィールドに「Access Key is required」などのメッセージを表示し、接続のテストは行いません。

    URL、Access Key、Secret key、Bucket Name、Path Prefix フィールドがある S3 Information セクション

    Topic フィールドがある Kafka topic セクション

  6. Next Step を選択します。Additional properties 画面で、connector によるファイルの読み取り方法と、Error tolerance の Mode を設定します。

    Type に ROW、File filter regex pattern に csv のパターン、Header definition に User provider、Delimiter にカンマが設定され、Trim value と Column name フィールドが表示された Reader config セクション

    Mode の一覧がある Error Tolerance セクション

  7. Next Step を選択し、Review 画面で設定を確認します。

    Basic Information、S3 Information、Reader config、Error Tolerance セクションがある S3 source connector の Review 画面

  8. Create を選択します。

    ポータルに「Create Successfully」と表示され、CDC Service の Essential Information タブが開きます。Connectors タブでは、新しい connector が Running と表示され、task が開始されるまで Tasks のカウンターはすべて 0 のままです。task の開始には最大で約 2.5 分かかります。

connector の設定​

Connector Information 画面​

フィールド必須説明
Nameはいconnector の名前です。英小文字、数字、ハイフン (-) を使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」というエラーが表示されます。
Typeはいsource を選択します。
DatabaseはいS3 を選択します。

Properties 画面​

フィールド必須説明
URLはいS3 ストレージの endpoint URL です (例: https://YOUR_ENDPOINT)。フィールドの下に表示される「Only letters, numbers and hyphens are allowed」というヒントは、このフィールドには当てはまりません。
Access Keyはいaccess key です。
Secret keyはいaccess key に対応する secret key です。
Bucket Nameはいソースファイルがある bucket です。
Path Prefixはいソースファイルがあるフォルダーです。先頭にスラッシュを付けず、末尾はスラッシュにします (例: data/orders/)。この形式でない場合は、「Path Prefix has invalid characters」というエラーが表示されます。
Topicはいconnector がファイルのすべてのレコードを書き込む Kafka topic の完全な名前です。プレフィックスではありません。

Test connection では、入力した情報で connector が bucket にアクセスできるかを確認します。

Additional properties 画面​

フィールド必須説明
Typeはい読み取るファイルの形式です。たとえば、ROW (CSV、TSV)、XML、Avro があります。
File filter regex patternはいファイル名全体が一致する必要がある正規表現です。ドットの前にはバックスラッシュを 1 つだけ入力します。.*\.csv$ は、.csv で終わるファイルだけを受け付けます。\.csv$ のように名前の一部だけを対象とするパターンは、どのファイルにも一致しません。
Header definitionはいカラム名の取得元です。From file はファイルの 1 行目からカラム名を取得します。Autogenerated は column1、column2 のように名前を付けます。User provider は Column name に入力した名前を使用します (このラベルは「user provided」の意味です)。
Delimiterはいカラム間の区切り文字です。デフォルトは , です。タブやセミコロンなどに変更できます。
Trim valueはいYes は、各カラムの値の先頭と末尾にあるスペースを削除します。No はスペースを残します。
Column nameUser provider の場合ファイルのカラムです。各カラムを NAME:TYPE の形式で入力し (例: id:STRING)、+ を選択して tag として追加します。すべてのカラムに型が必要です。Header definition が User provider の場合にのみ表示されます。
Mode (Error Tolerance)はいレコードの処理に失敗したときの connector の動作です。None は connector を停止し、ステータスを Failed にします。All は失敗したレコードをスキップして、処理を続行します。このフィールドにデフォルト値はありません。Error toleranceを参照してください。

次のステップ​