メインコンテンツまでスキップ

incremental snapshot を実行する

incremental snapshot を実行すると、connector が変更の転送を続けたまま、テーブルをロックせずにソーステーブルの現在のデータを Kafka topic にコピーできます。システムに初期データをロードする場合や、完了または失敗した snapshot を再実行する場合に使用します。

前提条件​

  • Enable incremental snapshot を選択して作成した MySQL、MariaDB、PostgreSQL のいずれかの source connector があること。Incremental snapshotを参照してください。
  • データベースユーザーに CREATE TABLE 権限と INSERT 権限があること。
  • PostgreSQL の場合は、public.cdc_signal テーブルを含む publication があること。すべてのテーブルを対象に作成した publication には、このテーブルがすでに含まれています。

Enable incremental snapshot を選択して connector を作成すると、CDC Service はソースデータベースに signal テーブルを作成します。PostgreSQL では public.cdc_signal、MySQL と MariaDB ではキャプチャ対象のデータベース内の cdc_signal です。Execute、Pause、Resume、Stop は、このテーブルを通じて connector に伝えられます。このチェックボックスを選択せずに作成した connector でも Snapshot メニューは表示されますが、Execute で snapshot を開始できません。

SQL Server source connector では、Connectors タブに Snapshot Status が表示されますが、incremental snapshot は使用できません。その他の connector には snapshot のステータスは表示されません。sink connector と MongoDB source connector では、Snapshot メニューがグレーアウトされます。

snapshot のステータスを表示する​

  1. Data platform → Workspace management を選択し、workspace を選択します。
  2. Overview タブの Services で、CDC カードを選択します。
  3. Connectors タブを選択します。

Snapshot Status 列があり、実行中の MariaDB source connector が Completed と表示されている CDC Service の Connectors タブ

Snapshot Status 列には、各 connector の snapshot の現在のステータスが表示されます。

snapshot のステータス​

ステータス説明
Not Startedincremental snapshot はまだ一度も実行されていません。connector の起動時に Mode の設定に従って実行される snapshot では、このステータスは変わりません。
In Progresssnapshot を実行中です。Kafka topic にデータを書き込んでいます。
Pausedsnapshot は一時停止しています。再開または停止できます。
Completedsnapshot が完了してすべてのデータがコピーされたか、snapshot が停止されました。停止した snapshot は再開できません。
Failed権限の不足やデータベースのエラーなどにより、snapshot でエラーが発生し、完了できませんでした。

ステータスごとの操作​

ステータス実行できる操作
Not StartedExecute
In ProgressPause、Stop
PausedResume、Stop
CompletedExecute
FailedExecute

現在のステータスで実行できない操作は、Snapshot メニューでグレーアウトされます。Not Started の場合は、Execute だけが有効です。

注記

小さなテーブルの snapshot は、一覧の表示が In Progress から変わる前に、数秒で完了することがあります。完了した snapshot に対して Pause または Stop を実行すると、「Cannot pause incremental snapshot that is not in-progress」などのエラーで失敗し、Cancel を選択するまでダイアログは開いたままになります。

Snapshot メニューは、connector の行にあるその他アイコン (⋮) と、connector の詳細ページの Actions の 2 か所にあります。

snapshot を開始する​

データベースの現在のデータをすべて Kafka topic にコピーするには、snapshot を開始します。

  1. Data platform → Workspace management を選択し、workspace を選択します。
  2. Overview タブの Services で、CDC カードを選択します。
  3. Connectors タブを選択します。
  4. connector の行で、その他アイコン (⋮) を選択し、Snapshot → Execute を選択します。Select tables パネルで、All support table を選択したままにするか、選択を解除してコピーするテーブルを選択し、Execute を選択します。

Snapshot Status が In Progress に変わり、Kafka topic が snapshot のデータを受信し始めます。connector とその task は通常どおり動作し続けます。

snapshot を一時停止する​

実行中の snapshot は、ピーク時間帯にパフォーマンスを維持したい場合やメンテナンス中などに、一時停止できます。

  1. Data platform → Workspace management を選択し、workspace を選択します。
  2. Overview タブの Services で、CDC カードを選択します。
  3. Connectors タブを選択します。
  4. connector の行で、その他アイコン (⋮) を選択し、Snapshot → Pause を選択します。Snapshot Pause ダイアログで Pause を選択します。

connector は snapshot データの収集をただちに停止し、Snapshot Status が Paused に変わります。進捗は保存されるため、後で再開できます。connector とその task は通常どおり動作し続けます。

snapshot を再開する​

システムが再び安定したら、一時停止した snapshot を再開します。

  1. Data platform → Workspace management を選択し、workspace を選択します。
  2. Overview タブの Services で、CDC カードを選択します。
  3. Connectors タブを選択します。
  4. connector の行で、その他アイコン (⋮) を選択し、Snapshot → Resume を選択します。

Snapshot Status が In Progress に変わります。snapshot が完了するまで、Kafka topic は snapshot を一時停止した位置からデータを再び受信します。

snapshot を停止する​

不要になった snapshot、エラーが表示された snapshot、他の用途に必要なリソースを使用している snapshot は停止します。

  1. Data platform → Workspace management を選択し、workspace を選択します。
  2. Overview タブの Services で、CDC カードを選択します。
  3. Connectors タブを選択します。
  4. connector の行で、その他アイコン (⋮) を選択し、Snapshot → Stop を選択します。Snapshot Stop ダイアログで Stop を選択します。

Kafka topic は snapshot データの受信をただちに停止し、Snapshot Status が Completed (完了した snapshot と同じステータス) に変わります。

警告

停止すると snapshot 全体がキャンセルされ、再開できません。データを再度コピーするには、Execute で新しい snapshot を開始します。新しい snapshot は最初から実行されます。

次のステップ​