ClickHouse (logs) sink connector を作成する
ClickHouse (logs) sink connector を使用すると、source connector がキャプチャした変更の全履歴を ClickHouse に保持して、分析や監査に利用できます。この connector は、選択した Kafka topic のすべての変更を既存のテーブルに新しい行として追加します。一方、ClickHouse (Replication) sink connector は各行の現在の状態だけを保持します。
前提条件
- ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
- MariaDB source connector などの source connector が書き込んだ、変更データを含む topic があること。
- workspace からアクセスできる ClickHouse データベースと、ターゲットテーブルに対する SELECT 権限と INSERT 権限を持つユーザーが用意されていること。
- フラット化された変更イベントに対応するカラム (
before.id、after.id、op、ts_msなど) を持つターゲットテーブルが、事前に作成されていること。connector はテーブルを作成しません。
connector を作成する
-
Data platform → Workspace management を選択し、workspace を選択します。
-
Overview タブの Services で、CDC カードを選択します。
-
Connectors タブを選択し、Create Connector を選択します。

-
Connector Information 画面で Name を入力し、Type で sink を、Database で ClickHouse (Logs) を選択します。

-
Next Step を選択します。Properties 画面で接続情報を入力し、Test connection を選択します。テストに成功すると、Next Step を選択できるようになります。テストが失敗し、「Connection failed due to invalid information, permission or network failure.」と表示された場合は、接続情報とユーザーの権限を確認してから、もう一度テストしてください。


-
同じ画面で Converter class を選択して 4 つの converter フィールドを設定し、Topics で読み取る topic を選択します。


-
Next Step を選択します。Additional properties 画面で、Task、Map table、Error Tolerance の各セクションのフィールドを設定します。

-
Next Step を選択し、Review 画面で設定を確認します。

-
Create を選択します。
connector の設定
Connector Information 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Name | はい | connector の名前です。英小文字、数字、ハイフン (-) のみを使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」と表示され、受け付けられません。 |
| Type | はい | sink を選択します。 |
| Database | はい | ClickHouse (Logs) を選択します。 |
Properties 画面
Database Information セクションで、From FPT Database Engine または Manual configuration を選択します。デフォルトでは Manual configuration が選択されています。From FPT Database Engine の場合は、Database Name で instance を選択すると、Host name と Port が自動で入力されます。接続モードを参照してください。
| フィールド | 必須 | 説明 |
|---|---|---|
| Database Name | はい | From FPT Database Engine を選択した場合にのみ表示されます。FPT Database Engine 内の ClickHouse instance です。書き込み先のデータベースは Database に入力します。 |
| Host name | はい | ClickHouse サーバーのホスト名または IP アドレスです。 |
| Port | はい | ClickHouse サーバーのポートです (例: 8123)。Manual configuration では、このフィールドにデフォルト値はありません。 |
| Database | はい | connector がデータを書き込むデータベースです。 |
| Username | はい | connector が接続に使用するユーザーです。 |
| Password | はい | そのユーザーのパスワードです。 |
| Converter class | はい | この connector の Converter class です。ポータルで選択できるのは Clickhouse log です。class を選択するまで、4 つの converter フィールドはグレー表示のままです。Converterを参照してください。 |
| Converter key、Converter key schema enable、Converter value、Converter value schema enable | はい | connector がメッセージのキーと値を読み取る方法と、それらに schema が含まれるかどうかを指定します。Clickhouse log の場合、Converter key で選択できるのは org.apache.kafka.connect.storage.StringConverter のみ、Converter key schema enable で選択できるのは true のみです。Converter value で選択できるのは org.apache.kafka.connect.json.JsonConverter のみで、Converter value schema enable では true または false を選択できます。 |
| Topics (Kafka topic 内) | はい | 読み取る topic です。リストから選択します。リストには、CDC Service の Kafka cluster にある topic が表示されます。topicを参照してください。 |
Additional properties 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Tasks max | はい | connector の task の最大数です。デフォルトは 1 です。Tasks maxを参照してください。 |
| Topic 1、Table 1 (Map table 内) | はい | 各 topic のレコードを受け取る ClickHouse のテーブルです。リストから既存のテーブルを選択します。リストに「No options」と表示される場合、Next Step を選択すると「Table is required」と表示されます。その場合は、先に ClickHouse でテーブルを作成してから選択してください。Map tableを参照してください。 |
| Mode (Error Tolerance 内) | はい | 読み取りまたは変換できないメッセージを connector がどう処理するかを指定します。None の場合、connector は停止し、ステータスが Failed になります。All の場合、connector はそのメッセージをスキップし、失敗したレコードの送信先として入力した topic に送信します。このフィールドにデフォルト値はありません。Error toleranceを参照してください。 |