Tạo source connector S3
Nạp bản ghi trong các file của bucket vào Kafka topic, để sink connector và pipeline dùng như mọi luồng dữ liệu khác. Connector đọc, quét và nạp các file như CSV, TSV, Avro hoặc XML từ Amazon S3 hoặc storage tương thích S3 như FPT Object Storage hay MinIO.
Điều kiện cần
- CDC Service ở trạng thái Healthy. Xem Tạo CDC Service.
- Endpoint URL, tên bucket và đường dẫn của các file nguồn, cùng access key và secret key có quyền đọc các file đó.
Tạo connector
-
Chọn Data platform → Workspace management, rồi chọn workspace.
-
Ở tab Overview, trong phần Services, chọn thẻ CDC.
-
Chọn tab Connectors, rồi chọn Create Connector.

-
Ở màn hình Connector Information, nhập Name, chọn source ở Type và chọn S3 ở Database.

-
Chọn Next Step. Ở màn hình Properties, nhập thông tin S3 và Topic, rồi chọn Test connection. Next Step chỉ khả dụng sau khi kiểm tra thành công.
Nếu còn trường nào trống, Test connection đánh dấu trường đó bằng thông báo như "Access Key is required" và không kiểm tra kết nối.


-
Chọn Next Step. Ở màn hình Additional properties, thiết lập cách connector đọc file và Mode của error tolerance.


-
Chọn Next Step và kiểm tra cấu hình ở màn hình Review.

-
Chọn Create.
Portal hiển thị "Create Successfully" và mở tab Essential Information của CDC Service. Ở tab Connectors, connector mới có trạng thái Running, và mọi bộ đếm Tasks đều bằng
0cho tới khi task của connector khởi động. Việc này có thể mất tới khoảng 2,5 phút.
Cài đặt của connector
Màn hình Connector Information
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Name | Có | Tên connector, gồm chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc khoảng trắng, form báo lỗi "Name has invalid characters". |
| Type | Có | Chọn source. |
| Database | Có | Chọn S3. |
Màn hình Properties
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| URL | Có | Endpoint URL của storage S3, ví dụ https://YOUR_ENDPOINT. Gợi ý "Only letters, numbers and hyphens are allowed" hiển thị dưới trường không áp dụng cho trường này. |
| Access Key | Có | Access key. |
| Secret key | Có | Secret key đi kèm access key. |
| Bucket Name | Có | Bucket chứa các file nguồn. |
| Path Prefix | Có | Thư mục chứa các file nguồn. Không bắt đầu bằng dấu gạch chéo và phải kết thúc bằng dấu gạch chéo, ví dụ data/orders/. Nếu không, trường báo lỗi "Path Prefix has invalid characters". |
| Topic | Có | Tên đầy đủ của Kafka topic mà connector ghi mọi bản ghi từ file vào. Đây không phải prefix. |
Test connection kiểm tra connector có truy cập được bucket bằng thông tin bạn đã nhập không.
Màn hình Additional properties
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Type | Có | Định dạng file cần đọc, ví dụ ROW (CSV, TSV), XML hoặc Avro. |
| File filter regex pattern | Có | Biểu thức chính quy mà toàn bộ tên file phải khớp. Gõ một dấu gạch chéo ngược trước dấu chấm: .*\.csv$ chỉ nhận file có đuôi .csv. Pattern chỉ khớp một phần tên, như \.csv$, sẽ không khớp file nào. |
| Header definition | Có | Nguồn lấy tên cột. From file lấy tên cột từ dòng đầu tiên của file. Autogenerated tự đặt tên column1, column2, v.v. User provider dùng tên bạn nhập ở Column name (nhãn này nghĩa là người dùng tự cung cấp tên cột). |
| Delimiter | Có | Ký tự phân tách các cột. Mặc định ,. Bạn có thể đổi sang ký tự khác, ví dụ tab hoặc dấu chấm phẩy. |
| Trim value | Có | Yes xóa khoảng trắng ở đầu và cuối mỗi giá trị cột. No giữ nguyên các khoảng trắng này. |
| Column name | Khi chọn User provider | Các cột của file. Nhập từng cột theo dạng NAME:TYPE, ví dụ id:STRING, rồi chọn + để thêm cột đó thành một tag. Cột nào cũng phải có kiểu dữ liệu. Chỉ hiển thị khi Header definition là User provider. |
| Mode (Error Tolerance) | Có | Cách connector xử lý khi một bản ghi bị lỗi. None dừng connector với trạng thái Failed. All bỏ qua các bản ghi lỗi và tiếp tục chạy. Trường này không có giá trị mặc định. Xem Error tolerance. |