Tổng quan Janitor
Janitor chạy bảo trì cho các bảng Lakehouse theo lịch. Janitor gộp các file nhỏ, xóa snapshot cũ và dọn các file không còn dùng, để truy vấn luôn nhanh và dung lượng lưu trữ luôn gọn.
Bạn đặt giá trị mặc định an toàn một lần. Sau đó, bạn tạo job cho từng bảng cần bảo trì, và có thể chạy, vô hiệu hóa hoặc thay đổi job.
Bảo trì làm gì
Janitor có ba tùy chọn bảo trì. Bạn bật hoặc tắt chúng trong giá trị mặc định, và có thể đổi lại cho từng job.
| Tùy chọn | Tác dụng | Bật mặc định |
|---|---|---|
| OPTIMIZE | Ghi lại nhiều file dữ liệu nhỏ thành ít file lớn hơn. Truy vấn đọc ít file hơn nên chạy nhanh hơn. | Có |
| EXPIRE SNAPSHOTS | Xóa các snapshot cũ hơn thời gian lưu giữ. Nhờ vậy lịch sử của bảng luôn ngắn gọn. | Có, 7 ngày |
| ORPHAN CLEANUP | Xóa các file trong bộ lưu trữ mà không snapshot nào còn dùng, ví dụ file sót lại sau một lần ghi lỗi. | Không, 7 ngày |
Không thể hoàn tác ORPHAN CLEANUP. Tùy chọn này chỉ xóa các file cũ hơn thời gian lưu giữ. Chỉ bật sau khi đã kiểm tra thời gian lưu giữ.
Sau khi EXPIRE SNAPSHOTS chạy, các snapshot đã bị xóa không còn xuất hiện trong Time Machine. Đặt thời gian lưu giữ đủ dài cho phần lịch sử bạn cần.
Cách hoạt động
- Đặt giá trị mặc định trên trang Settings: lịch chạy, khung giờ bảo trì, số lượt chạy được phép chạy cùng lúc và các tùy chọn bảo trì.
- Tạo job cho từng bảng cần bảo trì. Job mới lấy giá trị mặc định. Bạn có thể đổi lịch chạy và tùy chọn của job sau.
- Chờ đến lịch, hoặc chọn Run để bắt đầu lượt chạy ngay. Đến giờ đã lên lịch, Janitor bắt đầu một lượt chạy cho job.
- Kiểm tra kết quả trong Run history. Mỗi lượt chạy gồm nhiều bước, mỗi bước là một phần của việc bảo trì.
Mỗi job chỉ có một lượt chạy tại một thời điểm. Mặc định, toàn bộ Lakehouse cũng chỉ có một lượt chạy tại một thời điểm, để việc bảo trì không làm Lakehouse quá tải.
Nếu bảo trì ngừng hoạt động một thời gian, Janitor bỏ qua các lượt chạy đã lỡ và chạy lại từ giờ theo lịch kế tiếp. Để chạy bù, bắt đầu một lượt chạy bằng Run.
Những việc Janitor không bao giờ làm
- Janitor không bao giờ thay đổi, thêm hay xóa các dòng trong bảng.
- Janitor không bao giờ xóa bảng hay làm rỗng bảng.
- Bạn không thể gửi SQL của riêng mình qua Janitor. Janitor chỉ chạy các bước bảo trì cố định.
Bảng nào dùng được
Janitor làm việc với các bảng ở định dạng bảng Lakehouse, loại có lưu snapshot. View và bảng ở định dạng khác không xuất hiện trong Janitor.
Tìm Janitor ở đâu
Trên thanh bên, mở Janitor. Janitor có ba trang:
| Trang | Việc bạn làm ở đó |
|---|---|
| Maintenance Jobs | Tạo job, chạy job, đổi lịch chạy và tùy chọn. |
| Run history | Kiểm tra kết quả của mọi lượt chạy và dừng một lượt chạy. |
| Settings | Đặt giá trị mặc định, tạm dừng hoặc tiếp tục toàn bộ việc bảo trì. |
Bạn có thể làm gì
| Việc cần làm | Trang |
|---|---|
| Đặt giá trị mặc định | Cấu hình thiết lập bảo trì mặc định |
| Tạo và thay đổi job | Tạo và quản lý job bảo trì |
| Kiểm tra và bắt đầu lượt chạy, hoặc gỡ job bị kẹt | Chạy bảo trì thủ công |
| Tìm lý do lượt chạy thất bại, hoặc dừng lượt chạy | Xem lịch sử chạy và dừng lượt chạy |
| Dừng toàn bộ việc bảo trì trong một thời gian | Tạm dừng và tiếp tục toàn bộ việc bảo trì |
Ai dùng được Janitor
| Quyền | Cho phép bạn |
|---|---|
maintenance:read | Xem job, lượt chạy, chi tiết bước và thiết lập. Kiểm tra lượt chạy bằng Dry run. |
maintenance:manage | Mọi việc còn lại: tạo và đổi job, bắt đầu và dừng lượt chạy, đổi thiết lập, tạm dừng và tiếp tục. |
Xem Quyền và quy tắc nhập liệu của Janitor và Role và quyền trên portal.