Tạo source connector Oracle
Đẩy mọi thay đổi trên từng dòng của bảng Oracle vào Kafka topic, để sink connector chuyển tiếp sang hệ thống khác. Connector đọc redo log bằng Oracle LogMiner.
Điều kiện cần
- CDC Service ở trạng thái Healthy. Xem Tạo CDC Service.
- Host, port và tên các cơ sở dữ liệu Oracle. Connector Oracle chỉ kết nối qua Manual configuration.
- Cơ sở dữ liệu đã chuẩn bị sẵn cho CDC, theo Chuẩn bị cơ sở dữ liệu Oracle.
Chuẩn bị cơ sở dữ liệu Oracle
Chạy các câu lệnh sau bằng user có quyền SYSDBA. Chạy bước 1 đến 5 trong root container (CDB$ROOT), và bước 6 đến 9 trong pluggable database (PDB) mà connector kết nối tới.
-
Kiểm tra log mode. Kết quả phải là
ARCHIVELOG.SELECT LOG_MODE FROM V$DATABASE; -
Bật archive log mode nếu kết quả là
NOARCHIVELOG.cảnh báoCác lệnh này tắt cơ sở dữ liệu, và ứng dụng không dùng được cơ sở dữ liệu cho tới khi
ALTER DATABASE OPENchạy xong. Chạy các lệnh này trong khung giờ bảo trì.SHUTDOWN IMMEDIATE;STARTUP MOUNT;ALTER DATABASE ARCHIVELOG;ALTER DATABASE OPEN;SELECT LOG_MODE FROM V$DATABASE; -
Bật supplemental logging cho cơ sở dữ liệu, để redo log chứa đầy đủ thông tin thay đổi.
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA; -
Kiểm tra supplemental logging.
SUPPLEMENTAL_LOG_DATA_MINphải làYES.SELECT SUPPLEMENTAL_LOG_DATA_MIN, SUPPLEMENTAL_LOG_DATA_PK,SUPPLEMENTAL_LOG_DATA_UI, SUPPLEMENTAL_LOG_DATA_FK,SUPPLEMENTAL_LOG_DATA_ALLFROM V$DATABASE; -
Tìm archive log destination, nơi connector đọc các redo log đã archive. Ghi lại
DEST_NAMEcủa một destination cóTYPElàLOCAL. Bạn sẽ chọn destination này ở Name trong phần Archive log khi tạo connector.SELECT DEST_NAME, STATUS, TYPE FROM V$ARCHIVE_DEST_STATUS WHERE STATUS = 'VALID'; -
Chuyển sang pluggable database chứa các bảng cần ghi nhận.
ALTER SESSION SET CONTAINER = YOUR_PDB; -
Tạo local user cho connector. Local user chỉ tồn tại trong pluggable database này.
CREATE USER YOUR_USER IDENTIFIED BY YOUR_PASSWORD; -
Cấp cho user các quyền mà connector cần.
GRANT CREATE SESSION TO YOUR_USER;GRANT SELECT ANY TABLE TO YOUR_USER;GRANT FLASHBACK ANY TABLE TO YOUR_USER;GRANT SELECT_CATALOG_ROLE TO YOUR_USER;GRANT EXECUTE_CATALOG_ROLE TO YOUR_USER;GRANT LOGMINING TO YOUR_USER;GRANT SELECT ON V_$LOGMNR_CONTENTS TO YOUR_USER;Test connection kiểm tra các quyền hệ thống và role trong khối lệnh này, và chấp nhận
SELECT ANY DICTIONARYthay choSELECT_CATALOG_ROLE. Quyền cấp trên từng bảng không thay đượcSELECT ANY TABLEhayFLASHBACK ANY TABLE. -
Bật supplemental logging cho từng bảng cần ghi nhận, vẫn trong pluggable database.
ALTER TABLE YOUR_SCHEMA.YOUR_TABLE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;
Tạo connector
-
Chọn Data platform → Workspace management, rồi chọn workspace.
-
Ở tab Overview, trong phần Services, chọn thẻ CDC.
-
Chọn tab Connectors, rồi chọn Create Connector.

-
Ở màn hình Connector Information, nhập Name, chọn source ở Type và chọn Oracle ở Database.

-
Chọn Next Step. Ở màn hình Properties, nhập thông tin kết nối và Topic prefix, chọn Test connection, rồi chọn archive log destination ở Name. Next Step chỉ khả dụng sau khi kiểm tra thành công.
Nếu còn trường nào trống, Test connection đánh dấu trường đó bằng thông báo như "Username is required" và không kiểm tra kết nối.



-
Chọn Next Step. Ở màn hình Additional properties, chọn Mode của snapshot và thêm các bảng cần ghi nhận.

-
Chọn Next Step và kiểm tra cấu hình ở màn hình Review.

Để sửa cấu hình, chọn Back để quay lại màn hình trước.
-
Chọn Create.
Portal hiển thị "Create Successfully" và mở tab Essential Information của CDC Service. Ở tab Connectors, connector mới có trạng thái Running, và mọi bộ đếm Tasks đều bằng
0cho tới khi task của connector khởi động. Việc này có thể mất tới khoảng 2,5 phút.
Cài đặt của connector
Màn hình Connector Information
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Name | Có | Tên connector, gồm chữ thường, chữ số và dấu gạch ngang (-). Nếu có chữ hoa, _, . hoặc khoảng trắng, form báo lỗi "Name has invalid characters". |
| Type | Có | Chọn source. |
| Database | Có | Chọn Oracle. |
Màn hình Properties
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Manual configuration | Có | Tự nhập thông tin kết nối. Với Oracle, From FPT Database Engine bị làm mờ. Xem Chế độ kết nối. |
| Host name | Có | Host name hoặc địa chỉ IP của cơ sở dữ liệu Oracle. |
| Port | Có | Port của server Oracle, ví dụ 1521. Trường này không có giá trị mặc định. |
| Container database name | Có | Tên container database (CDB) mà connector kết nối tới. Áp dụng cho Oracle 12c trở lên dùng kiến trúc multitenant. |
| Pluggable database name | Có | Pluggable database (PDB) chứa dữ liệu cần ghi nhận. |
| Username | Có | Local user bạn đã tạo ở bước 7. |
| Password | Có | Mật khẩu của user. |
| Name (Archive log) | Có | Archive log destination, nơi connector đọc các redo log đã archive, ví dụ LOG_ARCHIVE_DEST_1. Chọn destination bạn đã tìm ở bước 5. Danh sách không có lựa chọn nào cho tới khi Test connection thành công. |
| Topic prefix | Có | Prefix của các Kafka topic mà connector ghi vào. Mỗi bảng có một topic TOPIC_PREFIX.SCHEMA.TABLE. Xem Topic prefix. |
Form Oracle không có checkbox Enable incremental snapshot.
Màn hình Additional properties
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Mode | Có | Cách connector xử lý các dòng đã có. Trường này không có giá trị mặc định, nên bạn cần chọn một chế độ. initial tạo snapshot các dòng này, rồi ghi nhận thay đổi qua LogMiner. initial_only tạo snapshot rồi dừng, không ghi nhận thay đổi. no_data chỉ ghi nhận thay đổi phát sinh sau khi connector khởi động. Xem Chế độ snapshot. |
| Include | Không | Các bảng cần ghi nhận. Chọn +, rồi chọn Schema, Table và Column. Bạn có thể chọn nhiều schema và bảng. Mặc định Column là .*, tức là mọi cột. Dùng Filter để tìm trong danh sách và biểu tượng xóa để bỏ một bảng. Nếu không thêm bảng nào, connector ghi nhận mọi bảng. |