メインコンテンツまでスキップ

Iceberg (logs) sink connector を作成する

Iceberg (logs) sink connector を使用すると、Kafka topic のすべてのレコードを、変更ログなどとして Iceberg テーブルに保持できます。この connector は、Iceberg catalog を介して S3 ストレージ内のテーブルに各レコードを追記します。一方、Iceberg sink connector は更新と削除を適用できます。

前提条件​

  • ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
  • PostgreSQL source connector などの source connector が書き込んだ、変更データを含む topic があること。
  • Iceberg catalog の URL と名前、および S3 ストレージの endpoint、access key、secret が用意されていること。

connector を作成する​

  1. Data platform → Workspace management を選択し、workspace を選択します。

  2. Overview タブの Services で、CDC カードを選択します。

  3. Connectors タブを選択し、Create Connector を選択します。

    connector がまだなく、Create Connector ボタンがある CDC Service の Connectors タブ

  4. Connector Information 画面で Name を入力し、Type で sink を、Database で Iceberg (logs) を選択します。

    Name、Type、Database フィールドがある Create Connector フォームの Connector Information 画面

  5. Next Step を選択します。Properties 画面で接続情報を入力し、Test connection を選択します。テストに成功すると、Next Step を選択できるようになります。

    Catalog type、URL、Catalog name フィールドがある Iceberg Information セクション

    Endpoint、Access Key、Secret、Root directory フィールドがある Storage セクション

  6. 同じ画面で Converter class を選択して 4 つの converter フィールドを設定し、Topics で読み取る topic を選択します。

    Converter class、Converter key、Converter value、schema enable の各フィールドがある Converter セクション

    Topics リストがある Kafka topic セクション

  7. Next Step を選択します。Additional properties 画面で、Task、Source、Destination、Map table、Error Tolerance の各セクションのフィールドを設定します。

    Number of tasks が 1 に設定され、Max poll record フィールドが空の Task セクション

    Database Type リストがある Source セクション

    File format リストがある Destination セクション

    Topic 1 の topic を Table 1 のテーブルにマッピングする Map table セクション

    Mode が None に設定された Error Tolerance セクション

  8. Next Step を選択し、Review 画面で設定を確認します。

  9. Create を選択します。

connector の設定​

Connector Information 画面​

フィールド必須説明
Nameはいconnector の名前です。英小文字、数字、ハイフン (-) のみを使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」と表示され、受け付けられません。
Typeはいsink を選択します。
DatabaseはいIceberg (logs) を選択します。

Properties 画面​

この connector には From FPT Database Engine オプションはありません。catalog の情報は Iceberg Information セクションに、ストレージの情報は Storage セクションに入力します。Test connection の動作については、接続モードを参照してください。

フィールド必須説明
Catalog typeはいIceberg catalog のタイプです。Hive Metastore または Nessie を指定します。
URLはいIceberg catalog の URL です。
BranchはいCatalog type が Nessie の場合に、URL の横に表示されます。Nessie catalog の branch です。リストから選択します。
Catalog nameはいIceberg catalog の名前です。
EndpointはいS3 ストレージの endpoint です。
Access KeyはいS3 ストレージの access key です。
Secretはいaccess key に対応する secret です。
Root directoryはいS3 ストレージ内の root directory です。BUCKET_NAME/YOUR_DIRECTORY の形式で指定します。
Converter classはいこの connector の Converter class です。ポータルで選択できるのは Iceberg log です。class を選択するまで、4 つの converter フィールドはグレー表示のままです。Converterを参照してください。
Converter key、Converter key schema enable、Converter value、Converter value schema enableはいconnector がメッセージのキーと値を読み取る方法と、それらに schema が含まれるかどうかを指定します。Iceberg log の場合、Converter key で選択できるのは org.apache.kafka.connect.storage.StringConverter のみ、Converter key schema enable で選択できるのは false のみです。Converter value で選択できるのは org.apache.kafka.connect.json.JsonConverter のみで、Converter value schema enable では true または false を選択できます。
Topics (Kafka topic 内)はい読み取る topic です。リストから選択します。リストには、CDC Service の Kafka cluster にある topic が表示されます。topicを参照してください。

Additional properties 画面​

フィールド必須説明
Number of tasksはい並列で実行される task の最大数です。デフォルトは 1 です。Tasks maxを参照してください。
Max poll recordいいえconnector が 1 回のポーリングで取得するレコードの最大数です。デフォルトは 3000 です。
Database Typeはいtopic の取得元であるソースデータベースのタイプです。この connector は、タイプに関係なくすべてのレコードを追記します。
File formatいいえデータファイルの形式です。parquet、avro、orc のいずれかを指定します。デフォルトは parquet です。
Topic 1、Table 1 (Map table 内)はい各 topic のレコードを受け取る Iceberg テーブルです。テーブルが存在しない場合は、connector が作成します。Map tableを参照してください。
Mode (Error Tolerance 内)はい読み取りまたは変換できないメッセージを connector がどう処理するかを指定します。None の場合、connector は停止し、ステータスが Failed になります。All の場合、connector はそのメッセージをスキップし、失敗したレコードの送信先として入力した topic に送信します。このフィールドにデフォルト値はありません。Error toleranceを参照してください。

次のステップ​