Chuyển tới nội dung chính

Tạo source connector MySQL

Đẩy mọi thay đổi trên từng dòng trong cơ sở dữ liệu MySQL vào Kafka topic, để sink connector chuyển tiếp sang hệ thống khác. Connector đọc binary log (binlog) của MySQL. Vì MySQL xóa các file binlog cũ, connector có thể bắt đầu bằng một snapshot nhất quán của dữ liệu hiện có.

Điều kiện cần​

  • CDC Service ở trạng thái Healthy. Xem Tạo CDC Service.
  • MySQL triển khai theo một mô hình được hỗ trợ:
    • Standalone, đã bật binlog.
    • Primary và replica. Connector đọc binlog của một server và chỉ thấy thay đổi trên server đó.
    • High availability.
  • Cơ sở dữ liệu đã chuẩn bị sẵn cho CDC, theo Chuẩn bị cơ sở dữ liệu MySQL.

Chuẩn bị cơ sở dữ liệu MySQL​

Với cơ sở dữ liệu MySQL trên FPT Cloud, binlog, GTID và binlog_row_value_options đã thiết lập sẵn. Bạn chỉ cần làm bước 1 đến 3, bỏ qua bước 4 đến 8.

  1. Tạo user để connector dùng khi kết nối.

    CREATE USER 'YOUR_USER'@'%' IDENTIFIED BY 'YOUR_PASSWORD';
  2. Cấp cho user quyền SELECT trên các cơ sở dữ liệu cần ghi nhận, cùng các quyền global RELOAD, SHOW DATABASES, REPLICATION SLAVE và REPLICATION CLIENT.

    GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'YOUR_USER'@'%';
    FLUSH PRIVILEGES;

    Để chỉ cấp SELECT trên một cơ sở dữ liệu, chạy các lệnh sau thay cho lệnh trên:

    GRANT SHOW DATABASES, RELOAD, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'YOUR_USER'@'%';
    GRANT SELECT ON YOUR_DATABASE.* TO 'YOUR_USER'@'%';
    FLUSH PRIVILEGES;
  3. Cấp thêm quyền INSERT và CREATE trên cơ sở dữ liệu cần ghi nhận nếu bạn định chọn Enable incremental snapshot. Khi đó, việc tạo connector sẽ tạo bảng signal cdc_signal trong cơ sở dữ liệu này, và snapshot chạy thông qua bảng này.

    GRANT INSERT, CREATE ON YOUR_DATABASE.* TO 'YOUR_USER'@'%';
    FLUSH PRIVILEGES;
  4. Kiểm tra binlog đã bật chưa.

    SHOW GLOBAL VARIABLES LIKE 'log_bin';
    -- Or, on MySQL 8.x
    SELECT variable_value FROM performance_schema.global_variables WHERE variable_name = 'log_bin';
    -- Or, on MySQL 5.x
    SELECT variable_value FROM information_schema.global_variables WHERE variable_name = 'log_bin';
  5. Thêm các dòng sau vào file cấu hình MySQL nếu log_bin là OFF. Đặt server-id bằng kết quả của SHOW VARIABLES LIKE 'server_id';.

    server-id = YOUR_SERVER_ID
    log_bin = mysql-bin
    binlog_format = ROW
    binlog_row_image = FULL
    binlog_expire_logs_seconds = 864000

    Nếu binlog đã bật và bạn chỉ cần đổi định dạng binlog, có thể chạy các lệnh sau trên server đang chạy. SET không bật được log_bin, và giá trị mới chỉ giữ tới lần khởi động lại tiếp theo, trừ khi bạn thêm chúng vào file cấu hình.

    SET @@global.binlog_format = 'ROW';
    SET @@global.binlog_row_image = 'FULL';
    SET @@global.binlog_expire_logs_seconds = 864000;
  6. Bật GTID. Trước tiên, kiểm tra hai biến sau.

    SHOW GLOBAL VARIABLES LIKE 'gtid_mode';
    SHOW GLOBAL VARIABLES LIKE 'enforce_gtid_consistency';

    Nếu cả hai đều là OFF, đặt giá trị trong file cấu hình MySQL:

    gtid_mode = ON
    enforce_gtid_consistency = ON

    Hoặc đặt trên server đang chạy. MySQL chỉ cho đổi gtid_mode lần lượt từng bước.

    SET @@global.enforce_gtid_consistency = ON;
    SET @@global.gtid_mode = OFF_PERMISSIVE;
    SET @@global.gtid_mode = ON_PERMISSIVE;
    SET @@global.gtid_mode = ON;
  7. Khởi động lại MySQL để các thay đổi trong file cấu hình ở bước 5 và 6 có hiệu lực. Bỏ qua bước này nếu bạn không sửa file cấu hình.

    cảnh báo

    Khởi động lại MySQL sẽ làm gián đoạn các ứng dụng đang dùng MySQL. Lên lịch khởi động lại vào khung giờ bảo trì.

  8. Đặt binlog_row_value_options thành giá trị rỗng, để connector ghi nhận được sự kiện UPDATE.

    SHOW GLOBAL VARIABLES LIKE 'binlog_row_value_options';
    SET @@global.binlog_row_value_options = '';

Tạo connector​

  1. Chọn Data platform → Workspace management, rồi chọn workspace.

  2. Ở tab Overview, trong phần Services, chọn thẻ CDC.

  3. Chọn tab Connectors, rồi chọn Create Connector.

    Tab Connectors của CDC Service ở trạng thái Healthy, với thông báo No connector yet và nút Create Connector

  4. Ở màn hình Connector Information, nhập Name, chọn source ở Type và chọn MySQL ở Database.

    Màn hình Connector Information của form Create Connector với các trường Name, Type và Database

  5. Chọn Next Step. Ở màn hình Properties, nhập thông tin kết nối, Database server ID và Topic prefix, rồi chọn Test connection. Next Step chỉ khả dụng sau khi kiểm tra thành công và hiển thị thông báo "Connect Successfully".

    Phần Database Information khi chọn From FPT Database Engine, gồm danh sách Database Name, các trường kết nối và Database server ID

    Phần Database Information khi chọn Manual configuration, gồm các trường Host name, Port, Database, Username, Password, Database server ID và checkbox Enable incremental snapshot

    Phần Kafka topic với trường Topic prefix

  6. Chọn Next Step. Ở màn hình Additional properties, chọn Mode của snapshot, chọn các bảng và cột cần ghi nhận, rồi đặt Heartbeat interval (ms).

    Phần Snapshot với danh sách Mode

    Phần Include, bảng orders đang được chọn ở Table (Optional), cùng danh sách Column (Optional) - (orders)

    Phần Heartbeat, Heartbeat interval (ms) đã nhập 3000

  7. Chọn Next Step và kiểm tra cấu hình ở màn hình Review.

    Màn hình Review của source connector MySQL với các phần Basic Information, Kafka topic, Database Information, Snapshot, Include và Heartbeat

  8. Chọn Create.

    Portal hiển thị "Create Successfully" và mở tab Essential Information của CDC Service. Ở tab Connectors, connector mới có trạng thái Running, và mọi bộ đếm Tasks đều bằng 0 cho tới khi task của connector khởi động, sau khoảng 2 phút. Snapshot Status vẫn là Not Started, vì trạng thái này chỉ theo dõi incremental snapshot.

Cài đặt của connector​

Màn hình Connector Information​

TrườngBắt buộcMô tả
NameCóTên connector, gồm chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc khoảng trắng, form báo lỗi "Name has invalid characters".
TypeCóChọn source.
DatabaseCóChọn MySQL.

Màn hình Properties​

TrườngBắt buộcMô tả
From FPT Database Engine / Manual configurationCóChọn một instance MySQL từ FPT Database Engine, hoặc tự nhập thông tin kết nối. Mặc định chọn Manual configuration. Xem Chế độ kết nối.
Database NameKhi chọn From FPT Database EngineInstance MySQL trong FPT Database Engine. Danh sách chỉ hiển thị tên instance, và hai instance có thể trùng tên. Khi bạn chọn một instance, form tự điền Host name và Port (3306). Bạn vẫn sửa được hai trường này. Database, Username, Password và Database server ID vẫn để trống.
Host nameCóHost name hoặc địa chỉ IP của server MySQL.
PortCóPort của server MySQL, ví dụ 3306. Ở chế độ Manual configuration, trường này không có giá trị mặc định.
DatabaseCóCơ sở dữ liệu cần ghi nhận thay đổi.
UsernameCóUser bạn đã tạo ở bước 1.
PasswordCóMật khẩu của user.
Database server IDCóSố mà connector dùng làm ID riêng khi đọc binlog với vai trò replication client. ID này phải là duy nhất trong số các replica và replication client của server MySQL, và phải khác server_id của chính server. Trường này không có giá trị mặc định. Nhập một số từ 1000 đến 9999.
Enable incremental snapshotKhôngCho phép chạy incremental snapshot trên connector này. Khi chọn, việc tạo connector tạo thêm bảng signal cdc_signal trong Database bạn đã nhập, và Test connection kiểm tra quyền CREATE TABLE và INSERT. Nếu không chọn, sẽ không có bảng signal, nên Snapshot → Execute không chạy được dù menu vẫn hiển thị. Xem Incremental snapshot.
Topic prefixCóPrefix của các Kafka topic mà connector ghi vào. Xem Topic prefix.

Màn hình Additional properties​

TrườngBắt buộcMô tả
ModeCóCách connector xử lý các dòng đã có. Trường này không có giá trị mặc định, nên bạn cần chọn một chế độ. initial tạo snapshot các dòng này, rồi ghi nhận thay đổi. initial_only chỉ tạo snapshot, không ghi nhận thay đổi. no_data chỉ ghi nhận thay đổi mới. Xem Chế độ snapshot.
Table (Optional)KhôngCác bảng cần ghi nhận, thuộc cơ sở dữ liệu đã nhập ở màn hình Properties. Bạn có thể chọn nhiều bảng.
Column (Optional)KhôngCác cột cần ghi nhận trong bảng đã chọn. Trường này xuất hiện sau khi bạn chọn bảng, và nhãn của trường hiển thị tên bảng, ví dụ Column (Optional) - (orders). Bỏ trống thì connector ghi nhận mọi cột.
Heartbeat interval (ms)CóKhoảng thời gian giữa hai message heartbeat, từ 0 đến 30000. Mặc định 0, tức là không gửi heartbeat. Xem Heartbeat.

Bước tiếp theo​