Tổng quan Time Machine
Time Machine cho bạn xem bảng trông như thế nào trong quá khứ và điều gì đã thay đổi giữa hai thời điểm. Dùng Time Machine để kiểm tra job chạy đêm ghi sai dữ liệu, hoặc để cho kiểm toán viên thấy dữ liệu của một ngày cụ thể.
Time Machine chỉ đọc dữ liệu. Bạn không cần SQL đặc biệt, cũng không cần khôi phục hay sao chép bảng.
Cách snapshot hoạt động
Mỗi lần dữ liệu được ghi vào bảng, Lakehouse lưu một snapshot mới. Snapshot là phiên bản cố định, chỉ đọc của toàn bộ bảng tại thời điểm đó. Các snapshot cũ vẫn còn, nên bạn có thể quay lại xem.
Mỗi snapshot ghi lại thời điểm ghi, loại thao tác ghi (ví dụ append hoặc overwrite) và số bản ghi đã thêm.
Bạn có thể làm gì
| Tác vụ | Trả lời câu hỏi | Trang |
|---|---|---|
| Xem dòng thời gian snapshot | Bảng thay đổi khi nào và như thế nào? | Xem dòng thời gian snapshot của bảng |
| Xem trước dữ liệu cũ | Các dòng dữ liệu lúc đó trông ra sao? | Xem trước dữ liệu từ snapshot cũ |
| So sánh cấu trúc | Cột, partition, file hoặc số bản ghi có thay đổi không? | So sánh cấu trúc của hai snapshot |
| So sánh dữ liệu | Những dòng nào đã được thêm, xóa hoặc thay đổi? | So sánh dữ liệu của hai snapshot |
Quy trình điều tra thường gặp
- Mở dòng thời gian của bảng và tìm snapshot mà số liệu bắt đầu thay đổi.
- Xem trước snapshot ngay trước đó để thấy dữ liệu nguyên trạng.
- So sánh cấu trúc của hai snapshot. Bước này nhanh và cho biết schema hoặc số bản ghi có thay đổi không.
- So sánh dữ liệu của hai snapshot để lấy chính xác các dòng đã thay đổi.
So sánh dữ liệu đọc nhiều hơn hẳn so sánh cấu trúc. Time Machine ước tính dung lượng trước và yêu cầu bạn xác nhận rồi mới chạy.
Những bảng nào dùng được
Time Machine hoạt động với các bảng ở định dạng bảng của Lakehouse, định dạng có lưu snapshot. View và bảng ở định dạng khác không có snapshot, nên Time Machine không mở được.
Bảng mới chưa có snapshot nào sẽ hiện dòng thời gian trống. Bảng cần có ít nhất 2 snapshot thì bạn mới so sánh được.
Quyền truy cập dữ liệu của bạn vẫn được áp dụng
Time Machine đọc dữ liệu bằng chính tài khoản của bạn. Áp dụng các quy tắc như trong Query Editor: bảng bạn được đọc, cột bạn được thấy, bộ lọc dòng và cột bị che từ Data Security. Time Machine không bao giờ hiển thị nhiều hơn những gì bạn tự truy vấn được.
Giới hạn mặc định
Các giới hạn bảo vệ Lakehouse dùng chung khỏi những lần đọc quá lớn. Admin có thể thay đổi các giới hạn này.
| Giới hạn | Mặc định |
|---|---|
| Số dòng hiển thị trong bản xem trước | 1.000 |
| Dung lượng dữ liệu đọc trong một lần so sánh dữ liệu, ước tính trước khi chạy | 10 GB |
| Số dòng đọc trong một lần so sánh dữ liệu | 50.000.000 |
| Số điểm khác biệt trả về trong một lần so sánh dữ liệu | 10.000 |
| Thời gian chạy so sánh dữ liệu sau khi bạn xem ước tính | 5 phút |
| Giới hạn thời gian cho một yêu cầu | 5 phút |
| Số lần so sánh dữ liệu chạy cùng lúc | 1 |
Ai có thể dùng Time Machine
| Quyền | Cho phép bạn | Role có quyền này |
|---|---|---|
time_machine:read | Xem dòng thời gian snapshot và xem trước dữ liệu cũ. | portal_admin, data_engineer, data_analyst |
time_machine:metadata_diff | So sánh cấu trúc của hai snapshot. | portal_admin, data_engineer, data_analyst |
time_machine:data_diff | So sánh dữ liệu của hai snapshot. | portal_admin, data_engineer, data_analyst |
Xem Role và quyền trên portal.