incremental snapshot を実行する
incremental snapshot を実行すると、connector が変更の転送を続けたまま、テーブルをロックせずにソーステーブルの現在のデータを Kafka topic にコピーできます。システムに初期データをロードする場合や、完了または失敗した snapshot を再実行する場合に使用します。
前提条件
- Enable incremental snapshot を選択して作成した MySQL、MariaDB、PostgreSQL のいずれかの source connector があること。Incremental snapshotを参照してください。
- データベースユーザーに CREATE TABLE 権限と INSERT 権限があること。
- PostgreSQL の場合は、
public.cdc_signalテーブルを含む publication があること。すべてのテーブルを対象に作成した publication には、このテーブルがすでに含まれています。
Enable incremental snapshot を選択して connector を作成すると、CDC Service はソースデータベースに signal テーブルを作成します。PostgreSQL では public.cdc_signal、MySQL と MariaDB ではキャプチャ対象のデータベース内の cdc_signal です。Execute、Pause、Resume、Stop は、このテーブルを通じて connector に伝えられます。このチェックボックスを選択せずに作成した connector でも Snapshot メニューは表示されますが、Execute で snapshot を開始できません。
SQL Server source connector では、Connectors タブに Snapshot Status が表示されますが、incremental snapshot は使用できません。その他の connector には snapshot のステータスは表示されません。sink connector と MongoDB source connector では、Snapshot メニューがグレーアウトされます。
snapshot のステータスを表示する
- Data platform → Workspace management を選択し、workspace を選択します。
- Overview タブの Services で、CDC カードを選択します。
- Connectors タブを選択します。

Snapshot Status 列には、各 connector の snapshot の現在のステータスが表示されます。
snapshot のステータス
| ステータス | 説明 |
|---|---|
| Not Started | incremental snapshot はまだ一度も実行されていません。connector の起動時に Mode の設定に従って実行される snapshot では、このステータスは変わりません。 |
| In Progress | snapshot を実行中です。Kafka topic にデータを書き込んでいます。 |
| Paused | snapshot は一時停止しています。再開または停止できます。 |
| Completed | snapshot が完了してすべてのデータがコピーされたか、snapshot が停止されました。停止した snapshot は再開できません。 |
| Failed | 権限の不足やデータベースのエラーなどにより、snapshot でエラーが発生し、完了できませんでした。 |
ステータスごとの操作
| ステータス | 実行できる操作 |
|---|---|
| Not Started | Execute |
| In Progress | Pause、Stop |
| Paused | Resume、Stop |
| Completed | Execute |
| Failed | Execute |
現在のステータスで実行できない操作は、Snapshot メニューでグレーアウトされます。Not Started の場合は、Execute だけが有効です。
小さなテーブルの snapshot は、一覧の表示が In Progress から変わる前に、数秒で完了することがあります。完了した snapshot に対して Pause または Stop を実行すると、「Cannot pause incremental snapshot that is not in-progress」などのエラーで失敗し、Cancel を選択するまでダイアログは開いたままになります。
Snapshot メニューは、connector の行にあるその他アイコン (⋮) と、connector の詳細ページの Actions の 2 か所にあります。
snapshot を開始する
データベースの現在のデータをすべて Kafka topic にコピーするには、snapshot を開始します。
- Data platform → Workspace management を選択し、workspace を選択します。
- Overview タブの Services で、CDC カードを選択します。
- Connectors タブを選択します。
- connector の行で、その他アイコン (⋮) を選択し、Snapshot → Execute を選択します。Select tables パネルで、All support table を選択したままにするか、選択を解除してコピーするテーブルを選択し、Execute を選択します。
Snapshot Status が In Progress に変わり、Kafka topic が snapshot のデータを受信し始めます。connector とその task は通常どおり動作し続けます。
snapshot を一時停止する
実行中の snapshot は、ピーク時間帯にパフォーマンスを維持したい場合やメンテナンス中などに、一時停止できます。
- Data platform → Workspace management を選択し、workspace を選択します。
- Overview タブの Services で、CDC カードを選択します。
- Connectors タブを選択します。
- connector の行で、その他アイコン (⋮) を選択し、Snapshot → Pause を選択します。Snapshot Pause ダイアログで Pause を選択します。
connector は snapshot データの収集をただちに停止し、Snapshot Status が Paused に変わります。進捗は保存されるため、後で再開できます。connector とその task は通常どおり動作し続けます。
snapshot を再開する
システムが再び安定したら、一時停止した snapshot を再開します。
- Data platform → Workspace management を選択し、workspace を選択します。
- Overview タブの Services で、CDC カードを選択します。
- Connectors タブを選択します。
- connector の行で、その他アイコン (⋮) を選択し、Snapshot → Resume を選択します。
Snapshot Status が In Progress に変わります。snapshot が完了するまで、Kafka topic は snapshot を一時停止した位置からデータを再び受信します。
snapshot を停止する
不要になった snapshot、エラーが表示された snapshot、他の用途に必要なリソースを使用している snapshot は停止します。
- Data platform → Workspace management を選択し、workspace を選択します。
- Overview タブの Services で、CDC カードを選択します。
- Connectors タブを選択します。
- connector の行で、その他アイコン (⋮) を選択し、Snapshot → Stop を選択します。Snapshot Stop ダイアログで Stop を選択します。
Kafka topic は snapshot データの受信をただちに停止し、Snapshot Status が Completed (完了した snapshot と同じステータス) に変わります。
停止すると snapshot 全体がキャンセルされ、再開できません。データを再度コピーするには、Execute で新しい snapshot を開始します。新しい snapshot は最初から実行されます。