Chuyển tới nội dung chính

Tạo source connector SQL Server

Đẩy mọi thay đổi trên từng dòng của bảng SQL Server vào Kafka topic, để sink connector chuyển tiếp sang hệ thống khác. Connector hoạt động dựa trên tính năng change data capture (CDC) của SQL Server.

Điều kiện cần​

  • CDC Service ở trạng thái Healthy. Xem Tạo CDC Service.
  • SQL Server 2016 trở lên, bản Standard hoặc Enterprise.
  • Để chuẩn bị cơ sở dữ liệu, một login có role sysadmin và role db_owner trên cơ sở dữ liệu cần ghi nhận.
  • Cơ sở dữ liệu đã chuẩn bị sẵn cho CDC, theo Chuẩn bị cơ sở dữ liệu SQL Server.

Chuẩn bị cơ sở dữ liệu SQL Server​

  1. Bật SQL Server Agent. Xem Cấu hình SQL Server Agent và Cài đặt SQL Server Agent trên Linux. Với cơ sở dữ liệu SQL Server trên FPT Cloud, liên hệ FPT Cloud Support.

  2. Tạo login và user trong cơ sở dữ liệu cho connector, rồi cấp cho user quyền CONNECT và SELECT trên cơ sở dữ liệu.

    CREATE LOGIN YOUR_USER WITH PASSWORD = 'YOUR_PASSWORD';
    GO
    USE YOUR_DATABASE;
    GO
    CREATE USER YOUR_USER FOR LOGIN YOUR_USER;
    GRANT CONNECT, SELECT ON DATABASE::YOUR_DATABASE TO YOUR_USER;
    GO

    Test connection kiểm tra hai quyền này. Nếu user thiếu quyền, bước kiểm tra báo lỗi "User "YOUR_USER" does not have required permission(s): CONNECT, SELECT on database."

  3. Tạo role cho CDC và thêm user vào role này. Bước này không bắt buộc. Connector cũng chạy được với sysadmin hoặc db_owner, nhưng role riêng giúp thu hẹp quyền truy cập của connector.

    USE YOUR_DATABASE;
    GO
    CREATE ROLE YOUR_ROLE;
    ALTER ROLE YOUR_ROLE ADD MEMBER YOUR_USER;
    GO
  4. Bật CDC cho cơ sở dữ liệu.

    USE YOUR_DATABASE;
    GO
    EXEC sys.sp_cdc_enable_db;
    GO
  5. Bật CDC cho từng bảng cần ghi nhận. Nếu bảng nằm trong schema khác, thay dbo bằng tên schema đó.

    USE YOUR_DATABASE;
    GO
    EXEC sys.sp_cdc_enable_table
    @source_schema = N'dbo',
    @source_name = N'YOUR_TABLE',
    @role_name = N'YOUR_ROLE',
    @supports_net_changes = 0;
    GO

    Nếu bạn bỏ qua bước 3 và connector dùng sysadmin hoặc db_owner, đặt @role_name = NULL.

  6. Đăng nhập bằng user của connector và kiểm tra cấu hình CDC.

    USE YOUR_DATABASE;
    GO
    EXEC sys.sp_cdc_help_change_data_capture;
    GO

Tạo connector​

  1. Chọn Data platform → Workspace management, rồi chọn workspace.

  2. Ở tab Overview, trong phần Services, chọn thẻ CDC.

  3. Chọn tab Connectors, rồi chọn Create Connector.

    Tab Connectors của CDC Service ở trạng thái Healthy, với thông báo No connector yet và nút Create Connector

  4. Ở màn hình Connector Information, nhập Name, chọn source ở Type và chọn SQL server ở Database.

    Màn hình Connector Information của form Create Connector với các trường Name, Type và Database

  5. Chọn Next Step. Ở màn hình Properties, nhập thông tin kết nối và Topic prefix, rồi chọn Test connection. Next Step chỉ khả dụng sau khi kiểm tra thành công.

    Phần Database Information khi chọn From FPT Database Engine, gồm danh sách Database Name và các trường Host name, Port, Database, Username, Password

    Phần Database Information khi chọn Manual configuration, gồm các trường Host name, Port, Database, Username và Password

    Phần Kafka topic với trường Topic prefix

  6. Chọn Next Step. Ở màn hình Additional properties, chọn Mode của snapshot, chọn các schema, bảng và cột cần ghi nhận, rồi đặt Heartbeat interval (ms).

    Phần Snapshot với danh sách Mode

    Phần Include, dbo đang được chọn ở Schema (Optional), Users đang được chọn ở Table (Optional) - (dbo), cùng danh sách Column (Optional) - (Users)

    Phần Heartbeat, Heartbeat interval (ms) đã nhập 3000

  7. Chọn Next Step và kiểm tra cấu hình ở màn hình Review.

    Màn hình Review của source connector SQL Server với các phần Basic Information, Kafka topic, Database Information, Snapshot, Include và Heartbeat

  8. Chọn Create.

    Portal hiển thị "Create Successfully" và mở tab Essential Information của CDC Service. Ở tab Connectors, connector mới có trạng thái Running, và mọi bộ đếm Tasks đều bằng 0 cho tới khi task của connector khởi động. Việc này có thể mất tới khoảng 2,5 phút.

Cài đặt của connector​

Màn hình Connector Information​

TrườngBắt buộcMô tả
NameCóTên connector, gồm chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc khoảng trắng, form báo lỗi "Name has invalid characters".
TypeCóChọn source.
DatabaseCóChọn SQL server.

Màn hình Properties​

TrườngBắt buộcMô tả
From FPT Database Engine / Manual configurationCóChọn một instance SQL Server từ FPT Database Engine, hoặc tự nhập thông tin kết nối. Mặc định chọn Manual configuration. Xem Chế độ kết nối.
Database NameKhi chọn From FPT Database EngineInstance SQL Server trong FPT Database Engine. Danh sách chỉ hiển thị tên instance. Khi bạn chọn một instance, form tự điền Host name và Port (1433). Bạn vẫn sửa được hai trường này. Database, Username và Password vẫn để trống.
Host nameCóHost name hoặc địa chỉ IP của instance SQL Server.
PortCóPort của SQL Server, ví dụ 1433. Ở chế độ Manual configuration, trường này không có giá trị mặc định.
DatabaseCóCơ sở dữ liệu cần ghi nhận thay đổi.
UsernameCóUser bạn đã tạo ở bước 2.
PasswordCóMật khẩu của user.
Topic prefixCóPrefix của các Kafka topic mà connector ghi vào. Xem Topic prefix.

Form SQL Server không có checkbox Enable incremental snapshot, cũng không có trường Database server ID.

ghi chú

Source connector SQL Server không hỗ trợ incremental snapshot, dù tab Connectors vẫn hiển thị Snapshot Status cho các connector này.

Màn hình Additional properties​

TrườngBắt buộcMô tả
ModeCóCách connector xử lý các dòng đã có. Trường này không có giá trị mặc định, nên bạn cần chọn một chế độ. initial tạo snapshot các dòng này, rồi ghi nhận thay đổi. initial_only chỉ tạo snapshot, không ghi nhận thay đổi. no_data chỉ ghi nhận thay đổi mới. Xem Chế độ snapshot.
Schema (Optional)KhôngCác schema chứa bảng cần ghi nhận. Bạn có thể chọn nhiều schema.
Table (Optional)KhôngCác bảng cần ghi nhận trong schema đã chọn. Nhãn của trường hiển thị tên schema, ví dụ Table (Optional) - (dbo).
Column (Optional)KhôngCác cột cần ghi nhận trong bảng đã chọn. Nhãn của trường hiển thị tên bảng, ví dụ Column (Optional) - (Users).
Heartbeat interval (ms)CóKhoảng thời gian giữa hai message heartbeat, từ 0 đến 30000. Mặc định 0, tức là không gửi heartbeat. Xem Heartbeat.

Bước tiếp theo​