Tạo sink connector MySQL
Dùng sink connector MySQL để cập nhật liên tục các bảng trong cơ sở dữ liệu MySQL theo những thay đổi mà source connector ghi nhận. Connector đọc các Kafka topic bạn chọn và ghi mỗi topic vào bảng mà bạn ánh xạ với topic đó.
Điều kiện cần
- CDC Service ở trạng thái Healthy. Xem Tạo CDC Service.
- Topic có dữ liệu thay đổi do một source connector ghi vào, ví dụ source connector MySQL.
- Cơ sở dữ liệu MySQL mà workspace truy cập được, và một user có các quyền nêu ở Chuẩn bị cơ sở dữ liệu MySQL.
Chuẩn bị cơ sở dữ liệu MySQL
Connector ghi mới và cập nhật dòng theo primary key, xóa những dòng đã bị xóa ở nguồn, và tạo các bảng, cột còn thiếu. User của connector cần quyền INSERT, UPDATE và DELETE trên các bảng đích, cùng quyền CREATE và ALTER để tạo bảng và thêm cột.
-
Kết nối tới cơ sở dữ liệu đích bằng một user có thể cấp các quyền này.
-
Chạy các câu lệnh dưới đây. Thay
YOUR_DATABASEbằng cơ sở dữ liệu đích vàYOUR_USERbằng user của connector.GRANT INSERT, UPDATE, DELETE, CREATE, ALTER ON YOUR_DATABASE.* TO 'YOUR_USER'@'%';FLUSH PRIVILEGES;
Tạo connector
-
Chọn Data platform → Workspace management, rồi chọn workspace.
-
Ở tab Overview, trong phần Services, chọn thẻ CDC.
-
Chọn tab Connectors, rồi chọn Create Connector.

-
Ở màn hình Connector Information, nhập Name, chọn sink ở Type và chọn MySQL ở Database.

-
Chọn Next Step. Ở màn hình Properties, nhập thông tin kết nối, rồi chọn Test connection. Next Step chỉ khả dụng sau khi kiểm tra thành công.


-
Vẫn ở màn hình này, chọn Converter class và thiết lập bốn trường converter, rồi chọn các topic cần đọc ở Topics.


-
Chọn Next Step. Ở màn hình Additional properties, thiết lập các trường trong phần Database timezone, Database source, Task, Map table và Error Tolerance.

-
Chọn Next Step, rồi kiểm tra cấu hình ở màn hình Review.

-
Chọn Create.
Portal quay về tab Essential Information của CDC Service. Ở tab Connectors, connector mới có trạng thái Running, và mọi bộ đếm Tasks đều bằng 0 cho tới khi task của connector khởi động. Việc này có thể mất tới khoảng 2,5 phút.
Cài đặt của connector
Màn hình Connector Information
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Name | Có | Tên connector. Chỉ dùng chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc dấu cách, form báo lỗi "Name has invalid characters". |
| Type | Có | Chọn sink. |
| Database | Có | Chọn MySQL. |
Màn hình Properties
Trong phần Database Information, chọn From FPT Database Engine hoặc Manual configuration. Mặc định, portal chọn sẵn Manual configuration. Với From FPT Database Engine, chọn instance ở Database Name để portal tự điền Host name và Port. Xem Chế độ kết nối.
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Database Name | Có | Chỉ hiển thị khi chọn From FPT Database Engine. Instance MySQL trong FPT Database Engine. Nhập cơ sở dữ liệu mà connector ghi vào ở Database. |
| Host name | Có | Tên host hoặc địa chỉ IP của server MySQL. |
| Port | Có | Port của server MySQL, ví dụ 3306. Ở Manual configuration, trường này không có giá trị mặc định. |
| Database | Có | Cơ sở dữ liệu mà connector ghi vào. |
| Username | Có | User mà connector dùng để kết nối. User này cần các quyền nêu ở Chuẩn bị cơ sở dữ liệu MySQL. |
| Password | Có | Mật khẩu của user đó. |
| Converter class | Có | Converter class của connector. Portal cung cấp JDBC. Bốn trường converter bị làm mờ cho tới khi bạn chọn class. Xem Converter. |
| Converter key, Converter key schema enable, Converter value, Converter value schema enable | Có | Cách connector đọc key và value của message, và key, value có kèm schema hay không. Với JDBC, converter của key và value chỉ có org.apache.kafka.connect.json.JsonConverter, còn các trường schema enable chỉ có true. |
| Topics (trong phần Kafka topic) | Có | Các topic cần đọc. Chọn trong danh sách. Danh sách hiển thị các topic trong Kafka cluster của CDC Service. Xem Topic. |
Màn hình Additional properties
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Timezone | Không | Múi giờ của dữ liệu trong cơ sở dữ liệu nguồn: UTC hoặc Asia/Ho_Chi_Minh. Trường này không có giá trị mặc định. Xem Múi giờ. |
| Type (trong phần Database source) | Có | Loại cơ sở dữ liệu nguồn của các topic: None, PostgreSQL, MySQL, MariaDB hoặc SQLServer. Trường này không có giá trị mặc định. |
| Tasks max | Có | Số task xử lý song song các topic. Giá trị mặc định là 1. Xem Tasks max. |
| Topic 1, Create new table, Table 1 (trong phần Map table) | Có | Bảng nhận bản ghi của từng topic. Mặc định, Create new table đang tắt và Table 1 liệt kê các bảng có sẵn trong cơ sở dữ liệu đích. Bật Create new table để nhập tên bảng mới thay vì chọn bảng có sẵn. Tên bảng chỉ gồm chữ cái, chữ số và dấu gạch dưới (_). Khi bật tùy chọn này, Table 1 sẽ trống. Xem Map table. |
| Mode (trong phần Error Tolerance) | Có | Cách connector xử lý message không đọc hoặc không chuyển đổi được. None làm connector dừng và chuyển sang trạng thái Failed. All bỏ qua message đó và chuyển nó tới topic bạn nhập để nhận bản ghi lỗi. Trường này không có giá trị mặc định. Xem Error tolerance. |