Tạo source connector MySQL
Đẩy mọi thay đổi trên từng dòng trong cơ sở dữ liệu MySQL vào Kafka topic, để sink connector chuyển tiếp sang hệ thống khác. Connector đọc binary log (binlog) của MySQL. Vì MySQL xóa các file binlog cũ, connector có thể bắt đầu bằng một snapshot nhất quán của dữ liệu hiện có.
Điều kiện cần
- CDC Service ở trạng thái Healthy. Xem Tạo CDC Service.
- MySQL triển khai theo một mô hình được hỗ trợ:
- Standalone, đã bật binlog.
- Primary và replica. Connector đọc binlog của một server và chỉ thấy thay đổi trên server đó.
- High availability.
- Cơ sở dữ liệu đã chuẩn bị sẵn cho CDC, theo Chuẩn bị cơ sở dữ liệu MySQL.
Chuẩn bị cơ sở dữ liệu MySQL
Với cơ sở dữ liệu MySQL trên FPT Cloud, binlog, GTID và binlog_row_value_options đã thiết lập sẵn. Bạn chỉ cần làm bước 1 đến 3, bỏ qua bước 4 đến 8.
-
Tạo user để connector dùng khi kết nối.
CREATE USER 'YOUR_USER'@'%' IDENTIFIED BY 'YOUR_PASSWORD'; -
Cấp cho user quyền
SELECTtrên các cơ sở dữ liệu cần ghi nhận, cùng các quyền globalRELOAD,SHOW DATABASES,REPLICATION SLAVEvàREPLICATION CLIENT.GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'YOUR_USER'@'%';FLUSH PRIVILEGES;Để chỉ cấp
SELECTtrên một cơ sở dữ liệu, chạy các lệnh sau thay cho lệnh trên:GRANT SHOW DATABASES, RELOAD, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'YOUR_USER'@'%';GRANT SELECT ON YOUR_DATABASE.* TO 'YOUR_USER'@'%';FLUSH PRIVILEGES; -
Cấp thêm quyền
INSERTvàCREATEtrên cơ sở dữ liệu cần ghi nhận nếu bạn định chọn Enable incremental snapshot. Khi đó, việc tạo connector sẽ tạo bảng signalcdc_signaltrong cơ sở dữ liệu này, và snapshot chạy thông qua bảng này.GRANT INSERT, CREATE ON YOUR_DATABASE.* TO 'YOUR_USER'@'%';FLUSH PRIVILEGES; -
Kiểm tra binlog đã bật chưa.
SHOW GLOBAL VARIABLES LIKE 'log_bin';-- Or, on MySQL 8.xSELECT variable_value FROM performance_schema.global_variables WHERE variable_name = 'log_bin';-- Or, on MySQL 5.xSELECT variable_value FROM information_schema.global_variables WHERE variable_name = 'log_bin'; -
Thêm các dòng sau vào file cấu hình MySQL nếu
log_binlàOFF. Đặtserver-idbằng kết quả củaSHOW VARIABLES LIKE 'server_id';.server-id = YOUR_SERVER_IDlog_bin = mysql-binbinlog_format = ROWbinlog_row_image = FULLbinlog_expire_logs_seconds = 864000Nếu binlog đã bật và bạn chỉ cần đổi định dạng binlog, có thể chạy các lệnh sau trên server đang chạy.
SETkhông bật đượclog_bin, và giá trị mới chỉ giữ tới lần khởi động lại tiếp theo, trừ khi bạn thêm chúng vào file cấu hình.SET @@global.binlog_format = 'ROW';SET @@global.binlog_row_image = 'FULL';SET @@global.binlog_expire_logs_seconds = 864000; -
Bật GTID. Trước tiên, kiểm tra hai biến sau.
SHOW GLOBAL VARIABLES LIKE 'gtid_mode';SHOW GLOBAL VARIABLES LIKE 'enforce_gtid_consistency';Nếu cả hai đều là
OFF, đặt giá trị trong file cấu hình MySQL:gtid_mode = ONenforce_gtid_consistency = ONHoặc đặt trên server đang chạy. MySQL chỉ cho đổi
gtid_modelần lượt từng bước.SET @@global.enforce_gtid_consistency = ON;SET @@global.gtid_mode = OFF_PERMISSIVE;SET @@global.gtid_mode = ON_PERMISSIVE;SET @@global.gtid_mode = ON; -
Khởi động lại MySQL để các thay đổi trong file cấu hình ở bước 5 và 6 có hiệu lực. Bỏ qua bước này nếu bạn không sửa file cấu hình.
cảnh báoKhởi động lại MySQL sẽ làm gián đoạn các ứng dụng đang dùng MySQL. Lên lịch khởi động lại vào khung giờ bảo trì.
-
Đặt
binlog_row_value_optionsthành giá trị rỗng, để connector ghi nhận được sự kiệnUPDATE.SHOW GLOBAL VARIABLES LIKE 'binlog_row_value_options';SET @@global.binlog_row_value_options = '';
Tạo connector
-
Chọn Data platform → Workspace management, rồi chọn workspace.
-
Ở tab Overview, trong phần Services, chọn thẻ CDC.
-
Chọn tab Connectors, rồi chọn Create Connector.

-
Ở màn hình Connector Information, nhập Name, chọn source ở Type và chọn MySQL ở Database.

-
Chọn Next Step. Ở màn hình Properties, nhập thông tin kết nối, Database server ID và Topic prefix, rồi chọn Test connection. Next Step chỉ khả dụng sau khi kiểm tra thành công và hiển thị thông báo "Connect Successfully".



-
Chọn Next Step. Ở màn hình Additional properties, chọn Mode của snapshot, chọn các bảng và cột cần ghi nhận, rồi đặt Heartbeat interval (ms).



-
Chọn Next Step và kiểm tra cấu hình ở màn hình Review.

-
Chọn Create.
Portal hiển thị "Create Successfully" và mở tab Essential Information của CDC Service. Ở tab Connectors, connector mới có trạng thái Running, và mọi bộ đếm Tasks đều bằng
0cho tới khi task của connector khởi động, sau khoảng 2 phút. Snapshot Status vẫn là Not Started, vì trạng thái này chỉ theo dõi incremental snapshot.
Cài đặt của connector
Màn hình Connector Information
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Name | Có | Tên connector, gồm chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc khoảng trắng, form báo lỗi "Name has invalid characters". |
| Type | Có | Chọn source. |
| Database | Có | Chọn MySQL. |
Màn hình Properties
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| From FPT Database Engine / Manual configuration | Có | Chọn một instance MySQL từ FPT Database Engine, hoặc tự nhập thông tin kết nối. Mặc định chọn Manual configuration. Xem Chế độ kết nối. |
| Database Name | Khi chọn From FPT Database Engine | Instance MySQL trong FPT Database Engine. Danh sách chỉ hiển thị tên instance, và hai instance có thể trùng tên. Khi bạn chọn một instance, form tự điền Host name và Port (3306). Bạn vẫn sửa được hai trường này. Database, Username, Password và Database server ID vẫn để trống. |
| Host name | Có | Host name hoặc địa chỉ IP của server MySQL. |
| Port | Có | Port của server MySQL, ví dụ 3306. Ở chế độ Manual configuration, trường này không có giá trị mặc định. |
| Database | Có | Cơ sở dữ liệu cần ghi nhận thay đổi. |
| Username | Có | User bạn đã tạo ở bước 1. |
| Password | Có | Mật khẩu của user. |
| Database server ID | Có | Số mà connector dùng làm ID riêng khi đọc binlog với vai trò replication client. ID này phải là duy nhất trong số các replica và replication client của server MySQL, và phải khác server_id của chính server. Trường này không có giá trị mặc định. Nhập một số từ 1000 đến 9999. |
| Enable incremental snapshot | Không | Cho phép chạy incremental snapshot trên connector này. Khi chọn, việc tạo connector tạo thêm bảng signal cdc_signal trong Database bạn đã nhập, và Test connection kiểm tra quyền CREATE TABLE và INSERT. Nếu không chọn, sẽ không có bảng signal, nên Snapshot → Execute không chạy được dù menu vẫn hiển thị. Xem Incremental snapshot. |
| Topic prefix | Có | Prefix của các Kafka topic mà connector ghi vào. Xem Topic prefix. |
Màn hình Additional properties
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Mode | Có | Cách connector xử lý các dòng đã có. Trường này không có giá trị mặc định, nên bạn cần chọn một chế độ. initial tạo snapshot các dòng này, rồi ghi nhận thay đổi. initial_only chỉ tạo snapshot, không ghi nhận thay đổi. no_data chỉ ghi nhận thay đổi mới. Xem Chế độ snapshot. |
| Table (Optional) | Không | Các bảng cần ghi nhận, thuộc cơ sở dữ liệu đã nhập ở màn hình Properties. Bạn có thể chọn nhiều bảng. |
| Column (Optional) | Không | Các cột cần ghi nhận trong bảng đã chọn. Trường này xuất hiện sau khi bạn chọn bảng, và nhãn của trường hiển thị tên bảng, ví dụ Column (Optional) - (orders). Bỏ trống thì connector ghi nhận mọi cột. |
| Heartbeat interval (ms) | Có | Khoảng thời gian giữa hai message heartbeat, từ 0 đến 30000. Mặc định 0, tức là không gửi heartbeat. Xem Heartbeat. |