Chuyển tới nội dung chính

Tạo source connector Oracle

Đẩy mọi thay đổi trên từng dòng của bảng Oracle vào Kafka topic, để sink connector chuyển tiếp sang hệ thống khác. Connector đọc redo log bằng Oracle LogMiner.

Điều kiện cần​

Chuẩn bị cơ sở dữ liệu Oracle​

Chạy các câu lệnh sau bằng user có quyền SYSDBA. Chạy bước 1 đến 5 trong root container (CDB$ROOT), và bước 6 đến 9 trong pluggable database (PDB) mà connector kết nối tới.

  1. Kiểm tra log mode. Kết quả phải là ARCHIVELOG.

    SELECT LOG_MODE FROM V$DATABASE;
  2. Bật archive log mode nếu kết quả là NOARCHIVELOG.

    cảnh báo

    Các lệnh này tắt cơ sở dữ liệu, và ứng dụng không dùng được cơ sở dữ liệu cho tới khi ALTER DATABASE OPEN chạy xong. Chạy các lệnh này trong khung giờ bảo trì.

    SHUTDOWN IMMEDIATE;
    STARTUP MOUNT;
    ALTER DATABASE ARCHIVELOG;
    ALTER DATABASE OPEN;
    SELECT LOG_MODE FROM V$DATABASE;
  3. Bật supplemental logging cho cơ sở dữ liệu, để redo log chứa đầy đủ thông tin thay đổi.

    ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
  4. Kiểm tra supplemental logging. SUPPLEMENTAL_LOG_DATA_MIN phải là YES.

    SELECT SUPPLEMENTAL_LOG_DATA_MIN, SUPPLEMENTAL_LOG_DATA_PK,
    SUPPLEMENTAL_LOG_DATA_UI, SUPPLEMENTAL_LOG_DATA_FK,
    SUPPLEMENTAL_LOG_DATA_ALL
    FROM V$DATABASE;
  5. Tìm archive log destination, nơi connector đọc các redo log đã archive. Ghi lại DEST_NAME của một destination có TYPE là LOCAL. Bạn sẽ chọn destination này ở Name trong phần Archive log khi tạo connector.

    SELECT DEST_NAME, STATUS, TYPE FROM V$ARCHIVE_DEST_STATUS WHERE STATUS = 'VALID';
  6. Chuyển sang pluggable database chứa các bảng cần ghi nhận.

    ALTER SESSION SET CONTAINER = YOUR_PDB;
  7. Tạo local user cho connector. Local user chỉ tồn tại trong pluggable database này.

    CREATE USER YOUR_USER IDENTIFIED BY YOUR_PASSWORD;
  8. Cấp cho user các quyền mà connector cần.

    GRANT CREATE SESSION TO YOUR_USER;
    GRANT SELECT ANY TABLE TO YOUR_USER;
    GRANT FLASHBACK ANY TABLE TO YOUR_USER;
    GRANT SELECT_CATALOG_ROLE TO YOUR_USER;
    GRANT EXECUTE_CATALOG_ROLE TO YOUR_USER;
    GRANT LOGMINING TO YOUR_USER;
    GRANT SELECT ON V_$LOGMNR_CONTENTS TO YOUR_USER;

    Test connection kiểm tra các quyền hệ thống và role trong khối lệnh này, và chấp nhận SELECT ANY DICTIONARY thay cho SELECT_CATALOG_ROLE. Quyền cấp trên từng bảng không thay được SELECT ANY TABLE hay FLASHBACK ANY TABLE.

  9. Bật supplemental logging cho từng bảng cần ghi nhận, vẫn trong pluggable database.

    ALTER TABLE YOUR_SCHEMA.YOUR_TABLE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;

Tạo connector​

  1. Chọn Data platform → Workspace management, rồi chọn workspace.

  2. Ở tab Overview, trong phần Services, chọn thẻ CDC.

  3. Chọn tab Connectors, rồi chọn Create Connector.

    Tab Connectors của CDC Service ở trạng thái Healthy, với thông báo No connector yet và nút Create Connector

  4. Ở màn hình Connector Information, nhập Name, chọn source ở Type và chọn Oracle ở Database.

    Màn hình Connector Information của form Create Connector với các trường Name, Type và Database

  5. Chọn Next Step. Ở màn hình Properties, nhập thông tin kết nối và Topic prefix, chọn Test connection, rồi chọn archive log destination ở Name. Next Step chỉ khả dụng sau khi kiểm tra thành công.

    Nếu còn trường nào trống, Test connection đánh dấu trường đó bằng thông báo như "Username is required" và không kiểm tra kết nối.

    Phần Database Information khi chọn Manual configuration, From FPT Database Engine bị làm mờ, gồm các trường Host name, Port, Container database name, Pluggable database name, Username và Password

    Phần Archive log với danh sách Name

    Phần Kafka topic với trường Topic prefix

  6. Chọn Next Step. Ở màn hình Additional properties, chọn Mode của snapshot và thêm các bảng cần ghi nhận.

    Màn hình Additional properties, Mode đang chọn initial, danh sách Include có ba bảng của schema DBSFWUSER

  7. Chọn Next Step và kiểm tra cấu hình ở màn hình Review.

    Màn hình Review của source connector Oracle với các phần Basic Information, Kafka topic, Database Information, Archive log, Snapshot và Include

    Để sửa cấu hình, chọn Back để quay lại màn hình trước.

  8. Chọn Create.

    Portal hiển thị "Create Successfully" và mở tab Essential Information của CDC Service. Ở tab Connectors, connector mới có trạng thái Running, và mọi bộ đếm Tasks đều bằng 0 cho tới khi task của connector khởi động. Việc này có thể mất tới khoảng 2,5 phút.

Cài đặt của connector​

Màn hình Connector Information​

TrườngBắt buộcMô tả
NameCóTên connector, gồm chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc khoảng trắng, form báo lỗi "Name has invalid characters".
TypeCóChọn source.
DatabaseCóChọn Oracle.

Màn hình Properties​

TrườngBắt buộcMô tả
Manual configurationCóTự nhập thông tin kết nối. Với Oracle, From FPT Database Engine bị làm mờ. Xem Chế độ kết nối.
Host nameCóHost name hoặc địa chỉ IP của cơ sở dữ liệu Oracle.
PortCóPort của server Oracle, ví dụ 1521. Trường này không có giá trị mặc định.
Container database nameCóTên container database (CDB) mà connector kết nối tới. Áp dụng cho Oracle 12c trở lên dùng kiến trúc multitenant.
Pluggable database nameCóPluggable database (PDB) chứa dữ liệu cần ghi nhận.
UsernameCóLocal user bạn đã tạo ở bước 7.
PasswordCóMật khẩu của user.
Name (Archive log)CóArchive log destination, nơi connector đọc các redo log đã archive, ví dụ LOG_ARCHIVE_DEST_1. Chọn destination bạn đã tìm ở bước 5. Danh sách không có lựa chọn nào cho tới khi Test connection thành công.
Topic prefixCóPrefix của các Kafka topic mà connector ghi vào. Mỗi bảng có một topic TOPIC_PREFIX.SCHEMA.TABLE. Xem Topic prefix.

Form Oracle không có checkbox Enable incremental snapshot.

Màn hình Additional properties​

TrườngBắt buộcMô tả
ModeCóCách connector xử lý các dòng đã có. Trường này không có giá trị mặc định, nên bạn cần chọn một chế độ. initial tạo snapshot các dòng này, rồi ghi nhận thay đổi qua LogMiner. initial_only tạo snapshot rồi dừng, không ghi nhận thay đổi. no_data chỉ ghi nhận thay đổi phát sinh sau khi connector khởi động. Xem Chế độ snapshot.
IncludeKhôngCác bảng cần ghi nhận. Chọn +, rồi chọn Schema, Table và Column. Bạn có thể chọn nhiều schema và bảng. Mặc định Column là .*, tức là mọi cột. Dùng Filter để tìm trong danh sách và biểu tượng xóa để bỏ một bảng. Nếu không thêm bảng nào, connector ghi nhận mọi bảng.

Bước tiếp theo​