Chuyển tới nội dung chính

Tạo sink connector PostgreSQL

Dùng sink connector PostgreSQL để cập nhật liên tục các bảng trong cơ sở dữ liệu PostgreSQL theo những thay đổi mà source connector ghi nhận. Connector đọc các Kafka topic bạn chọn và ghi mỗi topic vào bảng mà bạn ánh xạ với topic đó.

Điều kiện cần​

Chuẩn bị cơ sở dữ liệu PostgreSQL​

Connector ghi mới và cập nhật dòng theo primary key, xóa những dòng đã bị xóa ở nguồn, và tạo các bảng, cột còn thiếu. User của connector cần quyền INSERT, UPDATE và DELETE trên các bảng đích đã có, cùng quyền USAGE và CREATE trên schema đích.

  1. Kết nối tới cơ sở dữ liệu đích bằng một user có thể cấp các quyền này.

  2. Chạy các câu lệnh dưới đây. Thay YOUR_USER bằng user của connector. Nếu ghi vào schema khác, thay public bằng schema đó.

    GRANT USAGE ON SCHEMA public TO YOUR_USER;
    GRANT CREATE ON SCHEMA public TO YOUR_USER;
    GRANT INSERT, UPDATE, DELETE ON ALL TABLES IN SCHEMA public TO YOUR_USER;
  3. Đặt user của connector làm chủ sở hữu của từng bảng đích đã có mà connector cần thêm cột. PostgreSQL chỉ cho chủ sở hữu bảng thêm cột, và user của connector đã sở hữu sẵn các bảng do connector tạo.

    ALTER TABLE public.YOUR_TABLE OWNER TO YOUR_USER;

Tạo connector​

  1. Chọn Data platform → Workspace management, rồi chọn workspace.

  2. Ở tab Overview, trong phần Services, chọn thẻ CDC.

  3. Chọn tab Connectors, rồi chọn Create Connector.

    Tab Connectors của CDC Service ở trạng thái Healthy, chưa có connector nào, cùng nút Create Connector

  4. Ở màn hình Connector Information, nhập Name, chọn sink ở Type và chọn PostgreSQL ở Database.

    Màn hình Connector Information của form Create Connector với các trường Name, Type và Database

  5. Chọn Next Step. Ở màn hình Properties, nhập thông tin kết nối, rồi chọn Test connection. Next Step chỉ khả dụng sau khi kiểm tra thành công.

    Phần Database Information khi chọn Manual configuration, gồm các trường Host name, Port, Database, Username và Password

    Phần Database Information khi chọn From FPT Database Engine, với danh sách Database Name phía trên các trường kết nối

  6. Vẫn ở màn hình này, chọn Converter class và thiết lập bốn trường converter. Trong phần Kafka topic, chọn +, rồi chọn các topic cần đọc trong panel Select topics.

    Phần Converter với các danh sách Converter class, Converter key, Converter value và schema enable

    Phần Kafka topic với một topic trong danh sách, các nút thêm và xóa, ô Filter, cùng các cột Topic và Action

  7. Chọn Next Step. Ở màn hình Additional properties, thiết lập các trường trong phần Database timezone, Database source, Task, Schema, Map table và Error Tolerance.

    Phần Map table với một topic ánh xạ tới bảng users, Create new đang bật và checkbox Enable filter errors

  8. Chọn Next Step, rồi kiểm tra cấu hình ở màn hình Review.

    Màn hình Review với các phần Basic Information, Database Information, Task, Converter, Database source, Schema, Kafka topic và nút Create

  9. Chọn Create.

    Portal quay về tab Essential Information của CDC Service. Ở tab Connectors, connector mới có trạng thái Running, và mọi bộ đếm Tasks đều bằng 0 cho tới khi task của connector khởi động. Việc này có thể mất tới khoảng 2,5 phút.

Cài đặt của connector​

Màn hình Connector Information​

TrườngBắt buộcMô tả
NameCóTên connector. Chỉ dùng chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc dấu cách, form báo lỗi "Name has invalid characters".
TypeCóChọn sink.
DatabaseCóChọn PostgreSQL.

Màn hình Properties​

Trong phần Database Information, chọn From FPT Database Engine hoặc Manual configuration. Mặc định, portal chọn sẵn Manual configuration. Với From FPT Database Engine, chọn instance ở Database Name để portal tự điền Host name và Port. Xem Chế độ kết nối.

TrườngBắt buộcMô tả
Database NameCóChỉ hiển thị khi chọn From FPT Database Engine. Instance PostgreSQL trong FPT Database Engine. Nhập cơ sở dữ liệu mà connector ghi vào ở Database.
Host nameCóTên host hoặc địa chỉ IP của server PostgreSQL.
PortCóPort của server PostgreSQL, ví dụ 5432. Ở Manual configuration, trường này không có giá trị mặc định.
DatabaseCóCơ sở dữ liệu mà connector ghi vào.
UsernameCóUser mà connector dùng để kết nối. User này cần các quyền nêu ở Chuẩn bị cơ sở dữ liệu PostgreSQL.
PasswordCóMật khẩu của user đó.
Converter classCóConverter class của connector. Portal cung cấp JDBC. Bốn trường converter bị làm mờ cho tới khi bạn chọn class. Xem Converter.
Converter key, Converter key schema enable, Converter value, Converter value schema enableCóCách connector đọc key và value của message, và key, value có kèm schema hay không. Với JDBC, converter của key và value chỉ có org.apache.kafka.connect.json.JsonConverter, còn các trường schema enable chỉ có true.
Kafka topicCóCác topic cần đọc, tối đa 100 topic. Chọn + để mở panel Select topics, chọn các topic, rồi chọn Select. Xem Topic.

Màn hình Additional properties​

TrườngBắt buộcMô tả
TimezoneKhôngMúi giờ của dữ liệu trong cơ sở dữ liệu nguồn: UTC hoặc Asia/Ho_Chi_Minh. Trường này không có giá trị mặc định. Xem Múi giờ.
Type (trong phần Database source)CóLoại cơ sở dữ liệu nguồn của các topic: None, PostgreSQL, MySQL, MariaDB hoặc SQLServer.
Number of tasksCóSố task xử lý song song các topic. Giá trị mặc định là 1. Xem Tasks max.
SchemaCóSchema trong cơ sở dữ liệu đích mà connector ghi bảng vào. Danh sách hiển thị các schema của cơ sở dữ liệu đó. Giá trị mặc định là public. Cấp quyền trên schema này cho user của connector trước.
Topic, Create new, Table (trong phần Map table)CóBảng nhận bản ghi của từng topic. Mặc định, Create new đang bật và Table hiển thị tên bảng lấy từ topic. Giữ Create new bật để tạo bảng, hoặc tắt để dùng bảng có sẵn. Tên bảng phân biệt chữ hoa, chữ thường. Chọn Enable filter errors để chỉ liệt kê các dòng có lỗi. Xem Map table.
Mode (trong phần Error Tolerance)CóCách connector xử lý message không đọc hoặc không chuyển đổi được. None làm connector dừng và chuyển sang trạng thái Failed. All bỏ qua message đó và chuyển nó tới topic bạn nhập để nhận bản ghi lỗi. Trường này không có giá trị mặc định. Xem Error tolerance.

Bước tiếp theo​