メインコンテンツまでスキップ

ClickHouse (logs) sink connector を作成する

ClickHouse (logs) sink connector を使用すると、source connector がキャプチャした変更の全履歴を ClickHouse に保持して、分析や監査に利用できます。この connector は、選択した Kafka topic のすべての変更を既存のテーブルに新しい行として追加します。一方、ClickHouse (Replication) sink connector は各行の現在の状態だけを保持します。

前提条件​

  • ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
  • MariaDB source connector などの source connector が書き込んだ、変更データを含む topic があること。
  • workspace からアクセスできる ClickHouse データベースと、ターゲットテーブルに対する SELECT 権限と INSERT 権限を持つユーザーが用意されていること。
  • フラット化された変更イベントに対応するカラム (before.id、after.id、op、ts_ms など) を持つターゲットテーブルが、事前に作成されていること。connector はテーブルを作成しません。

connector を作成する​

  1. Data platform → Workspace management を選択し、workspace を選択します。

  2. Overview タブの Services で、CDC カードを選択します。

  3. Connectors タブを選択し、Create Connector を選択します。

    connector がまだなく、Create Connector ボタンがある、Healthy ステータスの CDC Service の Connectors タブ

  4. Connector Information 画面で Name を入力し、Type で sink を、Database で ClickHouse (Logs) を選択します。

    Name、Type、Database フィールドがある Create Connector フォームの Connector Information 画面

  5. Next Step を選択します。Properties 画面で接続情報を入力し、Test connection を選択します。テストに成功すると、Next Step を選択できるようになります。テストが失敗し、「Connection failed due to invalid information, permission or network failure.」と表示された場合は、接続情報とユーザーの権限を確認してから、もう一度テストしてください。

    Manual configuration が選択され、Host name、Port、Database、Username、Password フィールドがある Database Information セクション

    From FPT Database Engine が選択され、接続フィールドの上に Database Name リストがある Database Information セクション

  6. 同じ画面で Converter class を選択して 4 つの converter フィールドを設定し、Topics で読み取る topic を選択します。

    Converter class、Converter key、Converter value、schema enable の各リストがある Converter セクション

    Topics リストがある Kafka topic セクション

  7. Next Step を選択します。Additional properties 画面で、Task、Map table、Error Tolerance の各セクションのフィールドを設定します。

    Topic 1 に topic が設定され、Table 1 リストがある Map table セクション

  8. Next Step を選択し、Review 画面で設定を確認します。

    Basic Information、Database Information、Kafka topic、Task、Error Tolerance の各セクションと Create ボタンがある Review 画面

  9. Create を選択します。

connector の設定​

Connector Information 画面​

フィールド必須説明
Nameはいconnector の名前です。英小文字、数字、ハイフン (-) のみを使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」と表示され、受け付けられません。
Typeはいsink を選択します。
DatabaseはいClickHouse (Logs) を選択します。

Properties 画面​

Database Information セクションで、From FPT Database Engine または Manual configuration を選択します。デフォルトでは Manual configuration が選択されています。From FPT Database Engine の場合は、Database Name で instance を選択すると、Host name と Port が自動で入力されます。接続モードを参照してください。

フィールド必須説明
Database NameはいFrom FPT Database Engine を選択した場合にのみ表示されます。FPT Database Engine 内の ClickHouse instance です。書き込み先のデータベースは Database に入力します。
Host nameはいClickHouse サーバーのホスト名または IP アドレスです。
PortはいClickHouse サーバーのポートです (例: 8123)。Manual configuration では、このフィールドにデフォルト値はありません。
Databaseはいconnector がデータを書き込むデータベースです。
Usernameはいconnector が接続に使用するユーザーです。
Passwordはいそのユーザーのパスワードです。
Converter classはいこの connector の Converter class です。ポータルで選択できるのは Clickhouse log です。class を選択するまで、4 つの converter フィールドはグレー表示のままです。Converterを参照してください。
Converter key、Converter key schema enable、Converter value、Converter value schema enableはいconnector がメッセージのキーと値を読み取る方法と、それらに schema が含まれるかどうかを指定します。Clickhouse log の場合、Converter key で選択できるのは org.apache.kafka.connect.storage.StringConverter のみ、Converter key schema enable で選択できるのは true のみです。Converter value で選択できるのは org.apache.kafka.connect.json.JsonConverter のみで、Converter value schema enable では true または false を選択できます。
Topics (Kafka topic 内)はい読み取る topic です。リストから選択します。リストには、CDC Service の Kafka cluster にある topic が表示されます。topicを参照してください。

Additional properties 画面​

フィールド必須説明
Tasks maxはいconnector の task の最大数です。デフォルトは 1 です。Tasks maxを参照してください。
Topic 1、Table 1 (Map table 内)はい各 topic のレコードを受け取る ClickHouse のテーブルです。リストから既存のテーブルを選択します。リストに「No options」と表示される場合、Next Step を選択すると「Table is required」と表示されます。その場合は、先に ClickHouse でテーブルを作成してから選択してください。Map tableを参照してください。
Mode (Error Tolerance 内)はい読み取りまたは変換できないメッセージを connector がどう処理するかを指定します。None の場合、connector は停止し、ステータスが Failed になります。All の場合、connector はそのメッセージをスキップし、失敗したレコードの送信先として入力した topic に送信します。このフィールドにデフォルト値はありません。Error toleranceを参照してください。

次のステップ​