メインコンテンツまでスキップ

ClickHouse (Replication) sink connector を作成する

ClickHouse (Replication) sink connector を使用すると、ソーステーブルのコピーを ClickHouse に保持できます。この connector は、選択した Kafka topic の変更を既存のテーブルに適用し、各行の現在の状態を保持します。一方、ClickHouse (logs) sink connector はすべての変更を新しい行として保持します。

前提条件​

  • ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
  • PostgreSQL、MySQL、MariaDB、SQL Server のいずれかの source connector (MariaDB source connector など) が書き込んだ、変更データを含む topic があること。
  • workspace からアクセスできる ClickHouse データベースと、ターゲットテーブルに対する SELECT 権限と INSERT 権限を持つユーザーが用意されていること。
  • ソースの行と同じカラムを持つターゲットテーブルが、事前に作成されていること。connector はテーブルを作成しません。

connector を作成する​

  1. Data platform → Workspace management を選択し、workspace を選択します。

  2. Overview タブの Services で、CDC カードを選択します。

  3. Connectors タブを選択し、Create Connector を選択します。

    connector がまだなく、Create Connector ボタンがある、Healthy ステータスの CDC Service の Connectors タブ

  4. Connector Information 画面で Name を入力し、Type で sink を、Database で ClickHouse Replicate を選択します。

    Name、Type、Database フィールドがある Create Connector フォームの Connector Information 画面

  5. Next Step を選択します。Properties 画面で接続情報を入力し、Test connection を選択します。テストに成功すると、Next Step を選択できるようになります。

    Manual configuration が選択され、Host name、Port、Database、Username、Password フィールドがある Database Information セクション

    From FPT Database Engine が選択され、接続フィールドの上に Database Name リストがある Database Information セクション

  6. 同じ画面で Converter class を選択して 4 つの converter フィールドを設定し、Topics で読み取る topic を選択します。

    Converter class、Converter key、Converter value、schema enable の各リストがある Converter セクション

    Topics リストがある Kafka topic セクション

  7. Next Step を選択します。Additional properties 画面で、Task、Database source、Map table、Error Tolerance の各セクションのフィールドを設定します。

    Topic 1 に topic が設定され、Table 1 で orders テーブルが選択された Map table セクション

  8. Next Step を選択し、Review 画面で設定を確認します。

    Basic Information、Database Information、Kafka topic、Task、Database source、Error Tolerance の各セクションと Create ボタンがある Review 画面

  9. Create を選択します。

connector の設定​

Connector Information 画面​

フィールド必須説明
Nameはいconnector の名前です。英小文字、数字、ハイフン (-) のみを使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」と表示され、受け付けられません。
Typeはいsink を選択します。
DatabaseはいClickHouse Replicate を選択します。

Properties 画面​

Database Information セクションで、From FPT Database Engine または Manual configuration を選択します。デフォルトでは Manual configuration が選択されています。From FPT Database Engine の場合は、Database Name で instance を選択すると、Host name と Port が自動で入力されます。接続モードを参照してください。

フィールド必須説明
Database NameはいFrom FPT Database Engine を選択した場合にのみ表示されます。FPT Database Engine 内の ClickHouse instance です。書き込み先のデータベースは Database に入力します。
Host nameはいClickHouse サーバーのホスト名または IP アドレスです。
PortはいClickHouse サーバーのポートです (例: 8123)。Manual configuration では、このフィールドにデフォルト値はありません。
Databaseはいconnector がデータを書き込むデータベースです。
Usernameはいconnector が接続に使用するユーザーです。
Passwordはいそのユーザーのパスワードです。
Converter classはいこの connector の Converter class です。ポータルで選択できるのは Clickhouse replica です。class を選択するまで、4 つの converter フィールドはグレー表示のままです。Converterを参照してください。
Converter key、Converter key schema enable、Converter value、Converter value schema enableはいconnector がメッセージのキーと値を読み取る方法と、それらに schema が含まれるかどうかを指定します。Clickhouse replica の場合、キーと値の converter で選択できるのは org.apache.kafka.connect.json.JsonConverter のみで、schema enable フィールドで選択できるのは true のみです。
Topics (Kafka topic 内)はい読み取る topic です。リストから選択します。リストには、CDC Service の Kafka cluster にある topic が表示されます。topicを参照してください。

Additional properties 画面​

フィールド必須説明
Tasks maxはいconnector の task の最大数です。デフォルトは 1 です。Tasks maxを参照してください。
Type (Database source 内)はいtopic の取得元であるソースデータベースのタイプです。PostgreSQL、MySQL、MariaDB、SQLServer のいずれかを指定します。このフィールドにデフォルト値はありません。
Topic 1、Table 1 (Map table 内)はい各 topic のレコードを受け取る ClickHouse のテーブルです。リストから既存のテーブルを選択します。リストに「No options」と表示される場合、Next Step を選択すると「Table is required」と表示されます。その場合は、先に ClickHouse でテーブルを作成してから選択してください。Map tableを参照してください。
Mode (Error Tolerance 内)はい読み取りまたは変換できないメッセージを connector がどう処理するかを指定します。None の場合、connector は停止し、ステータスが Failed になります。All の場合、connector はそのメッセージをスキップし、失敗したレコードの送信先として入力した topic に送信します。このフィールドにデフォルト値はありません。Error toleranceを参照してください。

次のステップ​