Tạo source connector SQL Server
Đẩy mọi thay đổi trên từng dòng của bảng SQL Server vào Kafka topic, để sink connector chuyển tiếp sang hệ thống khác. Connector hoạt động dựa trên tính năng change data capture (CDC) của SQL Server.
Điều kiện cần
- CDC Service ở trạng thái Healthy. Xem Tạo CDC Service.
- SQL Server 2016 trở lên, bản Standard hoặc Enterprise.
- Để chuẩn bị cơ sở dữ liệu, một login có role
sysadminvà roledb_ownertrên cơ sở dữ liệu cần ghi nhận. - Cơ sở dữ liệu đã chuẩn bị sẵn cho CDC, theo Chuẩn bị cơ sở dữ liệu SQL Server.
Chuẩn bị cơ sở dữ liệu SQL Server
-
Bật SQL Server Agent. Xem Cấu hình SQL Server Agent và Cài đặt SQL Server Agent trên Linux. Với cơ sở dữ liệu SQL Server trên FPT Cloud, liên hệ FPT Cloud Support.
-
Tạo login và user trong cơ sở dữ liệu cho connector, rồi cấp cho user quyền CONNECT và SELECT trên cơ sở dữ liệu.
CREATE LOGIN YOUR_USER WITH PASSWORD = 'YOUR_PASSWORD';GOUSE YOUR_DATABASE;GOCREATE USER YOUR_USER FOR LOGIN YOUR_USER;GRANT CONNECT, SELECT ON DATABASE::YOUR_DATABASE TO YOUR_USER;GOTest connection kiểm tra hai quyền này. Nếu user thiếu quyền, bước kiểm tra báo lỗi "User "YOUR_USER" does not have required permission(s): CONNECT, SELECT on database."
-
Tạo role cho CDC và thêm user vào role này. Bước này không bắt buộc. Connector cũng chạy được với
sysadminhoặcdb_owner, nhưng role riêng giúp thu hẹp quyền truy cập của connector.USE YOUR_DATABASE;GOCREATE ROLE YOUR_ROLE;ALTER ROLE YOUR_ROLE ADD MEMBER YOUR_USER;GO -
Bật CDC cho cơ sở dữ liệu.
USE YOUR_DATABASE;GOEXEC sys.sp_cdc_enable_db;GO -
Bật CDC cho từng bảng cần ghi nhận. Nếu bảng nằm trong schema khác, thay
dbobằng tên schema đó.USE YOUR_DATABASE;GOEXEC sys.sp_cdc_enable_table@source_schema = N'dbo',@source_name = N'YOUR_TABLE',@role_name = N'YOUR_ROLE',@supports_net_changes = 0;GONếu bạn bỏ qua bước 3 và connector dùng
sysadminhoặcdb_owner, đặt@role_name = NULL. -
Đăng nhập bằng user của connector và kiểm tra cấu hình CDC.
USE YOUR_DATABASE;GOEXEC sys.sp_cdc_help_change_data_capture;GO
Tạo connector
-
Chọn Data platform → Workspace management, rồi chọn workspace.
-
Ở tab Overview, trong phần Services, chọn thẻ CDC.
-
Chọn tab Connectors, rồi chọn Create Connector.

-
Ở màn hình Connector Information, nhập Name, chọn source ở Type và chọn SQL server ở Database.

-
Chọn Next Step. Ở màn hình Properties, nhập thông tin kết nối và Topic prefix, rồi chọn Test connection. Next Step chỉ khả dụng sau khi kiểm tra thành công.



-
Chọn Next Step. Ở màn hình Additional properties, chọn Mode của snapshot, chọn các schema, bảng và cột cần ghi nhận, rồi đặt Heartbeat interval (ms).



-
Chọn Next Step và kiểm tra cấu hình ở màn hình Review.

-
Chọn Create.
Portal hiển thị "Create Successfully" và mở tab Essential Information của CDC Service. Ở tab Connectors, connector mới có trạng thái Running, và mọi bộ đếm Tasks đều bằng
0cho tới khi task của connector khởi động. Việc này có thể mất tới khoảng 2,5 phút.
Cài đặt của connector
Màn hình Connector Information
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Name | Có | Tên connector, gồm chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc khoảng trắng, form báo lỗi "Name has invalid characters". |
| Type | Có | Chọn source. |
| Database | Có | Chọn SQL server. |
Màn hình Properties
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| From FPT Database Engine / Manual configuration | Có | Chọn một instance SQL Server từ FPT Database Engine, hoặc tự nhập thông tin kết nối. Mặc định chọn Manual configuration. Xem Chế độ kết nối. |
| Database Name | Khi chọn From FPT Database Engine | Instance SQL Server trong FPT Database Engine. Danh sách chỉ hiển thị tên instance. Khi bạn chọn một instance, form tự điền Host name và Port (1433). Bạn vẫn sửa được hai trường này. Database, Username và Password vẫn để trống. |
| Host name | Có | Host name hoặc địa chỉ IP của instance SQL Server. |
| Port | Có | Port của SQL Server, ví dụ 1433. Ở chế độ Manual configuration, trường này không có giá trị mặc định. |
| Database | Có | Cơ sở dữ liệu cần ghi nhận thay đổi. |
| Username | Có | User bạn đã tạo ở bước 2. |
| Password | Có | Mật khẩu của user. |
| Topic prefix | Có | Prefix của các Kafka topic mà connector ghi vào. Xem Topic prefix. |
Form SQL Server không có checkbox Enable incremental snapshot, cũng không có trường Database server ID.
Source connector SQL Server không hỗ trợ incremental snapshot, dù tab Connectors vẫn hiển thị Snapshot Status cho các connector này.
Màn hình Additional properties
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Mode | Có | Cách connector xử lý các dòng đã có. Trường này không có giá trị mặc định, nên bạn cần chọn một chế độ. initial tạo snapshot các dòng này, rồi ghi nhận thay đổi. initial_only chỉ tạo snapshot, không ghi nhận thay đổi. no_data chỉ ghi nhận thay đổi mới. Xem Chế độ snapshot. |
| Schema (Optional) | Không | Các schema chứa bảng cần ghi nhận. Bạn có thể chọn nhiều schema. |
| Table (Optional) | Không | Các bảng cần ghi nhận trong schema đã chọn. Nhãn của trường hiển thị tên schema, ví dụ Table (Optional) - (dbo). |
| Column (Optional) | Không | Các cột cần ghi nhận trong bảng đã chọn. Nhãn của trường hiển thị tên bảng, ví dụ Column (Optional) - (Users). |
| Heartbeat interval (ms) | Có | Khoảng thời gian giữa hai message heartbeat, từ 0 đến 30000. Mặc định 0, tức là không gửi heartbeat. Xem Heartbeat. |