Chuyển tới nội dung chính

Tạo source connector S3

Nạp bản ghi trong các file của bucket vào Kafka topic, để sink connector và pipeline dùng như mọi luồng dữ liệu khác. Connector đọc, quét và nạp các file như CSV, TSV, Avro hoặc XML từ Amazon S3 hoặc storage tương thích S3 như FPT Object Storage hay MinIO.

Điều kiện cần​

  • CDC Service ở trạng thái Healthy. Xem Tạo CDC Service.
  • Endpoint URL, tên bucket và đường dẫn của các file nguồn, cùng access key và secret key có quyền đọc các file đó.

Tạo connector​

  1. Chọn Data platform → Workspace management, rồi chọn workspace.

  2. Ở tab Overview, trong phần Services, chọn thẻ CDC.

  3. Chọn tab Connectors, rồi chọn Create Connector.

    Tab Connectors của CDC Service ở trạng thái Healthy, với thông báo No connector yet và nút Create Connector

  4. Ở màn hình Connector Information, nhập Name, chọn source ở Type và chọn S3 ở Database.

    Màn hình Connector Information của form Create Connector với các trường Name, Type và Database

  5. Chọn Next Step. Ở màn hình Properties, nhập thông tin S3 và Topic, rồi chọn Test connection. Next Step chỉ khả dụng sau khi kiểm tra thành công.

    Nếu còn trường nào trống, Test connection đánh dấu trường đó bằng thông báo như "Access Key is required" và không kiểm tra kết nối.

    Phần S3 Information với các trường URL, Access Key, Secret key, Bucket Name và Path Prefix

    Phần Kafka topic với trường Topic

  6. Chọn Next Step. Ở màn hình Additional properties, thiết lập cách connector đọc file và Mode của error tolerance.

    Phần Reader config với Type là ROW, File filter regex pattern là một pattern csv, Header definition là User provider, Delimiter là dấu phẩy, cùng các trường Trim value và Column name

    Phần Error Tolerance với danh sách Mode

  7. Chọn Next Step và kiểm tra cấu hình ở màn hình Review.

    Màn hình Review của source connector S3 với các phần Basic Information, S3 Information, Reader config và Error Tolerance

  8. Chọn Create.

    Portal hiển thị "Create Successfully" và mở tab Essential Information của CDC Service. Ở tab Connectors, connector mới có trạng thái Running, và mọi bộ đếm Tasks đều bằng 0 cho tới khi task của connector khởi động. Việc này có thể mất tới khoảng 2,5 phút.

Cài đặt của connector​

Màn hình Connector Information​

TrườngBắt buộcMô tả
NameCóTên connector, gồm chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc khoảng trắng, form báo lỗi "Name has invalid characters".
TypeCóChọn source.
DatabaseCóChọn S3.

Màn hình Properties​

TrườngBắt buộcMô tả
URLCóEndpoint URL của storage S3, ví dụ https://YOUR_ENDPOINT. Gợi ý "Only letters, numbers and hyphens are allowed" hiển thị dưới trường không áp dụng cho trường này.
Access KeyCóAccess key.
Secret keyCóSecret key đi kèm access key.
Bucket NameCóBucket chứa các file nguồn.
Path PrefixCóThư mục chứa các file nguồn. Không bắt đầu bằng dấu gạch chéo và phải kết thúc bằng dấu gạch chéo, ví dụ data/orders/. Nếu không, trường báo lỗi "Path Prefix has invalid characters".
TopicCóTên đầy đủ của Kafka topic mà connector ghi mọi bản ghi từ file vào. Đây không phải prefix.

Test connection kiểm tra connector có truy cập được bucket bằng thông tin bạn đã nhập không.

Màn hình Additional properties​

TrườngBắt buộcMô tả
TypeCóĐịnh dạng file cần đọc, ví dụ ROW (CSV, TSV), XML hoặc Avro.
File filter regex patternCóBiểu thức chính quy mà toàn bộ tên file phải khớp. Gõ một dấu gạch chéo ngược trước dấu chấm: .*\.csv$ chỉ nhận file có đuôi .csv. Pattern chỉ khớp một phần tên, như \.csv$, sẽ không khớp file nào.
Header definitionCóNguồn lấy tên cột. From file lấy tên cột từ dòng đầu tiên của file. Autogenerated tự đặt tên column1, column2, v.v. User provider dùng tên bạn nhập ở Column name (nhãn này nghĩa là người dùng tự cung cấp tên cột).
DelimiterCóKý tự phân tách các cột. Mặc định ,. Bạn có thể đổi sang ký tự khác, ví dụ tab hoặc dấu chấm phẩy.
Trim valueCóYes xóa khoảng trắng ở đầu và cuối mỗi giá trị cột. No giữ nguyên các khoảng trắng này.
Column nameKhi chọn User providerCác cột của file. Nhập từng cột theo dạng NAME:TYPE, ví dụ id:STRING, rồi chọn + để thêm cột đó thành một tag. Cột nào cũng phải có kiểu dữ liệu. Chỉ hiển thị khi Header definition là User provider.
Mode (Error Tolerance)CóCách connector xử lý khi một bản ghi bị lỗi. None dừng connector với trạng thái Failed. All bỏ qua các bản ghi lỗi và tiếp tục chạy. Trường này không có giá trị mặc định. Xem Error tolerance.

Bước tiếp theo​