Chuyển tới nội dung chính

Chạy incremental snapshot

Chạy incremental snapshot để sao chép dữ liệu hiện có của các bảng nguồn vào Kafka topic mà không khóa bảng, trong khi connector vẫn truyền thay đổi. Dùng incremental snapshot để nạp dữ liệu ban đầu cho một hệ thống, hoặc để chạy lại snapshot sau khi snapshot đã hoàn tất hay bị lỗi.

Điều kiện cần​

  • Source connector MySQL, MariaDB hoặc PostgreSQL đã chọn Enable incremental snapshot khi tạo. Xem Incremental snapshot.
  • User cơ sở dữ liệu có quyền CREATE TABLE và INSERT.
  • Với PostgreSQL, publication có chứa bảng public.cdc_signal. Publication tạo cho mọi bảng đã chứa sẵn bảng này.

Khi bạn tạo connector có chọn Enable incremental snapshot, CDC Service tạo một bảng signal trong cơ sở dữ liệu nguồn: public.cdc_signal trên PostgreSQL, và cdc_signal trong cơ sở dữ liệu mà connector ghi nhận trên MySQL và MariaDB. Execute, Pause, Resume và Stop gửi lệnh tới connector thông qua bảng này. Với connector tạo mà không chọn checkbox, menu Snapshot vẫn hiển thị, nhưng Execute không bắt đầu được snapshot.

Source connector SQL Server không hỗ trợ incremental snapshot, dù tab Connectors vẫn hiển thị Snapshot Status cho loại connector này. Các connector khác không có trạng thái snapshot. Menu Snapshot bị mờ với sink connector và source connector MongoDB.

Xem trạng thái snapshot​

  1. Chọn Data platform → Workspace management, rồi chọn workspace.
  2. Trên tab Overview, ở mục Services, chọn thẻ CDC.
  3. Chọn tab Connectors.

Tab Connectors của CDC Service với cột Snapshot Status, trong đó một source connector MariaDB đang chạy có trạng thái Completed

Cột Snapshot Status hiển thị trạng thái snapshot hiện tại của từng connector.

Các trạng thái snapshot​

Trạng tháiMô tả
Not StartedChưa có incremental snapshot nào chạy. Snapshot mà connector chạy khi khởi động theo cài đặt Mode không làm thay đổi trạng thái này.
In ProgressSnapshot đang chạy. Connector đang ghi dữ liệu vào Kafka topic.
PausedSnapshot đang tạm dừng. Bạn có thể tiếp tục hoặc dừng snapshot.
CompletedSnapshot đã hoàn tất và đã sao chép toàn bộ dữ liệu, hoặc bạn đã dừng snapshot. Không thể tiếp tục snapshot đã dừng.
FailedSnapshot gặp lỗi và không thể hoàn tất, ví dụ do thiếu quyền hoặc lỗi cơ sở dữ liệu.

Thao tác theo từng trạng thái​

Trạng tháiThao tác khả dụng
Not StartedExecute
In ProgressPause, Stop
PausedResume, Stop
CompletedExecute
FailedExecute

Menu Snapshot làm mờ các thao tác mà trạng thái hiện tại không cho phép. Ở Not Started, chỉ Execute khả dụng.

ghi chú

Snapshot của các bảng nhỏ có thể hoàn tất chỉ trong vài giây, trong khi danh sách vẫn hiển thị In Progress. Chọn Pause hoặc Stop trên snapshot đã hoàn tất sẽ báo lỗi, ví dụ "Cannot pause incremental snapshot that is not in-progress", và hộp thoại vẫn mở cho tới khi bạn chọn Cancel.

Menu Snapshot có ở hai nơi: biểu tượng ⋮ ở dòng của connector, và Actions trên trang chi tiết connector.

Bắt đầu snapshot​

Bắt đầu snapshot để sao chép toàn bộ dữ liệu hiện có của cơ sở dữ liệu vào Kafka topic.

  1. Chọn Data platform → Workspace management, rồi chọn workspace.
  2. Trên tab Overview, ở mục Services, chọn thẻ CDC.
  3. Chọn tab Connectors.
  4. Ở dòng của connector, chọn biểu tượng ⋮, rồi chọn Snapshot → Execute. Trong panel Select tables, giữ nguyên lựa chọn All support table, hoặc bỏ chọn mục này rồi chọn các bảng cần sao chép, sau đó chọn Execute.

Snapshot Status chuyển sang In Progress, và Kafka topic bắt đầu nhận dữ liệu snapshot. Connector và các task vẫn hoạt động bình thường.

Tạm dừng snapshot​

Tạm dừng snapshot đang chạy, ví dụ vào giờ cao điểm để giữ hiệu năng, hoặc trong lúc bảo trì.

  1. Chọn Data platform → Workspace management, rồi chọn workspace.
  2. Trên tab Overview, ở mục Services, chọn thẻ CDC.
  3. Chọn tab Connectors.
  4. Ở dòng của connector, chọn biểu tượng ⋮, rồi chọn Snapshot → Pause. Trong hộp thoại Snapshot Pause, chọn Pause.

Connector ngừng thu thập dữ liệu snapshot ngay lập tức, và Snapshot Status chuyển sang Paused. Tiến độ đã lưu, nên bạn có thể tiếp tục sau. Connector và các task vẫn hoạt động bình thường.

Tiếp tục snapshot​

Tiếp tục snapshot đang tạm dừng khi hệ thống ổn định trở lại.

  1. Chọn Data platform → Workspace management, rồi chọn workspace.
  2. Trên tab Overview, ở mục Services, chọn thẻ CDC.
  3. Chọn tab Connectors.
  4. Ở dòng của connector, chọn biểu tượng ⋮, rồi chọn Snapshot → Resume.

Snapshot Status chuyển sang In Progress. Kafka topic nhận dữ liệu tiếp từ điểm snapshot đã tạm dừng, cho tới khi snapshot hoàn tất.

Dừng snapshot​

Dừng snapshot khi bạn không còn cần đến, khi snapshot báo lỗi, hoặc khi snapshot chiếm tài nguyên bạn cần cho việc khác.

  1. Chọn Data platform → Workspace management, rồi chọn workspace.
  2. Trên tab Overview, ở mục Services, chọn thẻ CDC.
  3. Chọn tab Connectors.
  4. Ở dòng của connector, chọn biểu tượng ⋮, rồi chọn Snapshot → Stop. Trong hộp thoại Snapshot Stop, chọn Stop.

Kafka topic ngừng nhận dữ liệu snapshot ngay lập tức, và Snapshot Status chuyển sang Completed, giống trạng thái của snapshot đã chạy xong.

cảnh báo

Dừng snapshot sẽ hủy toàn bộ snapshot, và bạn không thể tiếp tục snapshot đó. Để sao chép lại dữ liệu, bắt đầu snapshot mới bằng Execute. Snapshot mới chạy lại từ đầu.

Bước tiếp theo​