メインコンテンツまでスキップ

S3 sink connector を作成する

S3 sink connector を使用すると、ソースデータベースからキャプチャした変更を S3 ストレージにファイルとして保存できます。connector は選択した Kafka topic を読み取り、bucket 内のフォルダーに書き込みます。

前提条件​

  • ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
  • PostgreSQL source connector などの source connector が書き込んだ、変更データを含む topic があること。
  • 書き込み先の S3 bucket と、そのストレージの endpoint、access key、secret が用意されていること。

connector を作成する​

  1. Data platform → Workspace management を選択し、workspace を選択します。

  2. Overview タブの Services で、CDC カードを選択します。

  3. Connectors タブを選択し、Create Connector を選択します。

    connector がまだなく、Create Connector ボタンがある CDC Service の Connectors タブ

  4. Connector Information 画面で Name を入力し、Type で sink を、Database で S3 を選択します。

    Name、Type、Database フィールドがある Create Connector フォームの Connector Information 画面

  5. Next Step を選択します。Properties 画面で接続情報を入力し、Test connection を選択します。テストに成功すると、Next Step を選択できるようになります。

    Endpoint、Access Key、Secret、Bucket Name、Path フィールドがある S3 storage セクション

  6. 同じ画面で Converter class を選択し、4 つの converter フィールドを設定します。Kafka topic で + を選択し、Select topics パネルで読み取る topic を選択します。

    Converter class、Converter key、Converter value、schema enable の各フィールドがある Converter セクション

    追加ボタンとクリアボタン、Filter ボックスがあり、一覧に topic が 1 つある Kafka topic セクション

  7. Next Step を選択します。Additional properties 画面で、Task、Source、Destination、Error Tolerance の各セクションのフィールドを設定します。

    Number of tasks が 1 に設定された Task セクション

    Database Type リストと Timezone リストがある Source セクション

    File format リストがある Destination セクション

    Mode が None に設定された Error Tolerance セクション

  8. Next Step を選択し、Review 画面で設定を確認します。

    新しい connector の Basic Information、S3 storage、Kafka topic、Task、Converter、Source、Destination、Error Tolerance が表示された Review 画面

  9. Create を選択します。

connector の設定​

Connector Information 画面​

フィールド必須説明
Nameはいconnector の名前です。英小文字、数字、ハイフン (-) のみを使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」と表示され、受け付けられません。
Typeはいsink を選択します。
DatabaseはいS3 を選択します。

Properties 画面​

この connector には From FPT Database Engine オプションはありません。bucket の情報は S3 storage セクションに入力します。Test connection の動作については、接続モードを参照してください。

フィールド必須説明
EndpointはいS3 ストレージのアドレスです。https:// などのスキームを含めて指定します。スキームがない場合、フォームに「Endpoint must be a valid uri」と表示されます。
Access KeyはいS3 ストレージの access key です。
Secretはいaccess key に対応する secret です。
Bucket Nameはい書き込み先の bucket です。
Pathはいファイルの書き込み先となる、bucket 内のフォルダーです。connector は各 topic を、その topic 名のサブフォルダーに書き込みます。
Converter classはいこの connector の Converter class です。ポータルで選択できるのは S3 です。class を選択するまで、4 つの converter フィールドはグレー表示のままです。Converterを参照してください。
Converter key、Converter key schema enable、Converter value、Converter value schema enableはいconnector がメッセージのキーと値を読み取る方法と、それらに schema が含まれるかどうかを指定します。Converter key と Converter value では、それぞれ org.apache.kafka.connect.storage.StringConverter と org.apache.kafka.connect.json.JsonConverter を選択できます。どちらの schema enable フィールドでも、true と false を選択できます。
Kafka topicはい読み取る topic です。最大 100 個まで指定できます。+ を選択して Select topics パネルを開き、topic を選択してから Select を選択します。topicを参照してください。

Additional properties 画面​

フィールド必須説明
Number of tasksはい並列で実行される task の最大数です。デフォルトは 1 です。Tasks maxを参照してください。
Database Typeはいtopic の取得元であるソースデータベースのタイプです。
Timezoneいいえデータのタイムゾーンです。UTC または Asia/Ho_Chi_Minh を指定します。このフィールドにデフォルト値はありません。タイムゾーンを参照してください。
File formatいいえconnector が書き込むファイルの形式です。json、jsonl、parquet のいずれかを指定します。デフォルトは json です。
Mode (Error Tolerance 内)はい読み取りまたは変換できないメッセージを connector がどう処理するかを指定します。None の場合、connector は停止し、ステータスが Failed になります。All の場合、connector はそのメッセージをスキップし、失敗したレコードの送信先として入力した topic に送信します。このフィールドにデフォルト値はありません。Error toleranceを参照してください。

次のステップ​