Oracle source connector を作成する
Oracle のテーブルで発生するすべての行の変更を Kafka topic にストリーミングし、sink connector で他のシステムに配信できるようにします。connector は Oracle LogMiner で redo log を読み取ります。
前提条件
- ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
- Oracle データベースのホスト、ポート、データベース名がわかっていること。Oracle connector は Manual configuration でのみ接続します。
- Oracle データベースを準備するの説明に従って、データベースが CDC 用に準備されていること。
Oracle データベースを準備する
以下のステートメントは、SYSDBA 権限を持つユーザーで実行します。手順 1〜5 は root container (CDB$ROOT) で、手順 6〜9 は connector の接続先となる pluggable database (PDB) で実行します。
-
ログモードを確認します。結果は
ARCHIVELOGである必要があります。SELECT LOG_MODE FROM V$DATABASE; -
結果が
NOARCHIVELOGの場合は、archive log モードを有効にします。警告これらのコマンドはデータベースを停止するため、
ALTER DATABASE OPENが完了するまでアプリケーションはデータベースを使用できません。メンテナンスウィンドウ中に実行してください。SHUTDOWN IMMEDIATE;STARTUP MOUNT;ALTER DATABASE ARCHIVELOG;ALTER DATABASE OPEN;SELECT LOG_MODE FROM V$DATABASE; -
redo log に完全な変更情報が記録されるように、データベースの supplemental logging を有効にします。
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA; -
supplemental logging を確認します。
SUPPLEMENTAL_LOG_DATA_MINはYESである必要があります。SELECT SUPPLEMENTAL_LOG_DATA_MIN, SUPPLEMENTAL_LOG_DATA_PK,SUPPLEMENTAL_LOG_DATA_UI, SUPPLEMENTAL_LOG_DATA_FK,SUPPLEMENTAL_LOG_DATA_ALLFROM V$DATABASE; -
connector がアーカイブ済みの redo log を読み取る、archive log の出力先を確認します。
TYPEがLOCALである出力先のDEST_NAMEを控えておきます。この値は、connector の作成時に Archive log の Name で選択します。SELECT DEST_NAME, STATUS, TYPE FROM V$ARCHIVE_DEST_STATUS WHERE STATUS = 'VALID'; -
キャプチャするテーブルがある pluggable database に切り替えます。
ALTER SESSION SET CONTAINER = YOUR_PDB; -
connector 用のローカルユーザーを作成します。ローカルユーザーは、この pluggable database にのみ存在します。
CREATE USER YOUR_USER IDENTIFIED BY YOUR_PASSWORD; -
connector に必要な権限をユーザーに付与します。
GRANT CREATE SESSION TO YOUR_USER;GRANT SELECT ANY TABLE TO YOUR_USER;GRANT FLASHBACK ANY TABLE TO YOUR_USER;GRANT SELECT_CATALOG_ROLE TO YOUR_USER;GRANT EXECUTE_CATALOG_ROLE TO YOUR_USER;GRANT LOGMINING TO YOUR_USER;GRANT SELECT ON V_$LOGMNR_CONTENTS TO YOUR_USER;Test connection は、このブロックのシステム権限と role を確認します。
SELECT_CATALOG_ROLEの代わりにSELECT ANY DICTIONARYが付与されている場合も、確認に合格します。個別のテーブルに対する権限付与は、SELECT ANY TABLEやFLASHBACK ANY TABLEの代わりにはなりません。 -
pluggable database に接続したまま、キャプチャする各テーブルの supplemental logging を有効にします。
ALTER TABLE YOUR_SCHEMA.YOUR_TABLE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;
connector を作成する
-
Data platform → Workspace management を選択し、workspace を選択します。
-
Overview タブの Services で、CDC カードを選択します。
-
Connectors タブを選択し、Create Connector を選択します。

-
Connector Information 画面で Name を入力し、Type で source、Database で Oracle を選択します。

-
Next Step を選択します。Properties 画面で接続情報と Topic prefix を入力して Test connection を選択し、Name で archive log の出力先を選択します。テストに成功すると、Next Step を選択できるようになります。
空のフィールドがある場合、Test connection はそのフィールドに「Username is required」などのメッセージを表示し、接続のテストは行いません。



-
Next Step を選択します。Additional properties 画面で snapshot の Mode を選択し、キャプチャするテーブルを追加します。

-
Next Step を選択し、Review 画面で設定を確認します。

設定を変更するには、Back を選択して前の画面に戻ります。
-
Create を選択します。
ポータルに「Create Successfully」と表示され、CDC Service の Essential Information タブが開きます。Connectors タブでは、新しい connector が Running と表示され、task が開始されるまで Tasks のカウンターはすべて
0のままです。task の開始には最大で約 2.5 分かかります。
connector の設定
Connector Information 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Name | はい | connector の名前です。英小文字、数字、ハイフン (-) を使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」というエラーが表示されます。 |
| Type | はい | source を選択します。 |
| Database | はい | Oracle を選択します。 |
Properties 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Manual configuration | はい | 接続情報を自分で入力します。Oracle では From FPT Database Engine はグレーアウトしています。接続モードを参照してください。 |
| Host name | はい | Oracle データベースのホスト名または IP アドレスです。 |
| Port | はい | Oracle サーバーのポートです (例: 1521)。このフィールドにデフォルト値はありません。 |
| Container database name | はい | connector の接続先となる container database (CDB) の名前です。マルチテナントアーキテクチャの Oracle 12c 以降に適用されます。 |
| Pluggable database name | はい | キャプチャするデータがある pluggable database (PDB) です。 |
| Username | はい | 手順 7 で作成したローカルユーザーです。 |
| Password | はい | ユーザーのパスワードです。 |
| Name (Archive log) | はい | connector がアーカイブ済みの redo log を読み取る、archive log の出力先です (例: LOG_ARCHIVE_DEST_1)。手順 5 で確認した出力先を選択します。Test connection に成功するまで、一覧に選択肢は表示されません。 |
| Topic prefix | はい | connector の書き込み先となる Kafka topic のプレフィックスです。テーブルごとの topic 名は TOPIC_PREFIX.SCHEMA.TABLE です。Topic prefixを参照してください。 |
Oracle のフォームには、Enable incremental snapshot チェックボックスはありません。
Additional properties 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Mode | はい | 既存の行に対する connector の処理です。このフィールドにはデフォルト値がないため、いずれかを選択します。initial は既存の行の snapshot を取得してから、LogMiner で変更をキャプチャします。initial_only は snapshot を取得した後、変更をキャプチャせずに停止します。no_data は connector の起動後に発生した変更だけをキャプチャします。snapshot モードを参照してください。 |
| Include | いいえ | キャプチャするテーブルです。+ を選択し、Schema、Table、Column を選択します。複数の schema とテーブルを選択できます。Column のデフォルトは .* (すべてのカラム) です。一覧の検索には Filter を、テーブルの削除には削除アイコンを使用します。テーブルを追加しない場合、connector はすべてのテーブルをキャプチャします。 |