メインコンテンツまでスキップ

Oracle source connector を作成する

Oracle のテーブルで発生するすべての行の変更を Kafka topic にストリーミングし、sink connector で他のシステムに配信できるようにします。connector は Oracle LogMiner で redo log を読み取ります。

前提条件​

  • ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
  • Oracle データベースのホスト、ポート、データベース名がわかっていること。Oracle connector は Manual configuration でのみ接続します。
  • Oracle データベースを準備するの説明に従って、データベースが CDC 用に準備されていること。

Oracle データベースを準備する​

以下のステートメントは、SYSDBA 権限を持つユーザーで実行します。手順 1〜5 は root container (CDB$ROOT) で、手順 6〜9 は connector の接続先となる pluggable database (PDB) で実行します。

  1. ログモードを確認します。結果は ARCHIVELOG である必要があります。

    SELECT LOG_MODE FROM V$DATABASE;
  2. 結果が NOARCHIVELOG の場合は、archive log モードを有効にします。

    警告

    これらのコマンドはデータベースを停止するため、ALTER DATABASE OPEN が完了するまでアプリケーションはデータベースを使用できません。メンテナンスウィンドウ中に実行してください。

    SHUTDOWN IMMEDIATE;
    STARTUP MOUNT;
    ALTER DATABASE ARCHIVELOG;
    ALTER DATABASE OPEN;
    SELECT LOG_MODE FROM V$DATABASE;
  3. redo log に完全な変更情報が記録されるように、データベースの supplemental logging を有効にします。

    ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
  4. supplemental logging を確認します。SUPPLEMENTAL_LOG_DATA_MIN は YES である必要があります。

    SELECT SUPPLEMENTAL_LOG_DATA_MIN, SUPPLEMENTAL_LOG_DATA_PK,
    SUPPLEMENTAL_LOG_DATA_UI, SUPPLEMENTAL_LOG_DATA_FK,
    SUPPLEMENTAL_LOG_DATA_ALL
    FROM V$DATABASE;
  5. connector がアーカイブ済みの redo log を読み取る、archive log の出力先を確認します。TYPE が LOCAL である出力先の DEST_NAME を控えておきます。この値は、connector の作成時に Archive log の Name で選択します。

    SELECT DEST_NAME, STATUS, TYPE FROM V$ARCHIVE_DEST_STATUS WHERE STATUS = 'VALID';
  6. キャプチャするテーブルがある pluggable database に切り替えます。

    ALTER SESSION SET CONTAINER = YOUR_PDB;
  7. connector 用のローカルユーザーを作成します。ローカルユーザーは、この pluggable database にのみ存在します。

    CREATE USER YOUR_USER IDENTIFIED BY YOUR_PASSWORD;
  8. connector に必要な権限をユーザーに付与します。

    GRANT CREATE SESSION TO YOUR_USER;
    GRANT SELECT ANY TABLE TO YOUR_USER;
    GRANT FLASHBACK ANY TABLE TO YOUR_USER;
    GRANT SELECT_CATALOG_ROLE TO YOUR_USER;
    GRANT EXECUTE_CATALOG_ROLE TO YOUR_USER;
    GRANT LOGMINING TO YOUR_USER;
    GRANT SELECT ON V_$LOGMNR_CONTENTS TO YOUR_USER;

    Test connection は、このブロックのシステム権限と role を確認します。SELECT_CATALOG_ROLE の代わりに SELECT ANY DICTIONARY が付与されている場合も、確認に合格します。個別のテーブルに対する権限付与は、SELECT ANY TABLE や FLASHBACK ANY TABLE の代わりにはなりません。

  9. pluggable database に接続したまま、キャプチャする各テーブルの supplemental logging を有効にします。

    ALTER TABLE YOUR_SCHEMA.YOUR_TABLE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;

connector を作成する​

  1. Data platform → Workspace management を選択し、workspace を選択します。

  2. Overview タブの Services で、CDC カードを選択します。

  3. Connectors タブを選択し、Create Connector を選択します。

    No connector yet メッセージと Create Connector ボタンが表示された、Healthy 状態の CDC Service の Connectors タブ

  4. Connector Information 画面で Name を入力し、Type で source、Database で Oracle を選択します。

    Name、Type、Database フィールドがある Create Connector フォームの Connector Information 画面

  5. Next Step を選択します。Properties 画面で接続情報と Topic prefix を入力して Test connection を選択し、Name で archive log の出力先を選択します。テストに成功すると、Next Step を選択できるようになります。

    空のフィールドがある場合、Test connection はそのフィールドに「Username is required」などのメッセージを表示し、接続のテストは行いません。

    Manual configuration が選択され、From FPT Database Engine がグレーアウトし、Host name、Port、Container database name、Pluggable database name、Username、Password フィールドが表示された Database Information セクション

    Name の一覧がある Archive log セクション

    Topic prefix フィールドがある Kafka topic セクション

  6. Next Step を選択します。Additional properties 画面で snapshot の Mode を選択し、キャプチャするテーブルを追加します。

    Mode で initial が選択され、Include の一覧に DBSFWUSER schema の 3 つのテーブルがある Additional properties 画面

  7. Next Step を選択し、Review 画面で設定を確認します。

    Basic Information、Kafka topic、Database Information、Archive log、Snapshot、Include セクションがある Oracle source connector の Review 画面

    設定を変更するには、Back を選択して前の画面に戻ります。

  8. Create を選択します。

    ポータルに「Create Successfully」と表示され、CDC Service の Essential Information タブが開きます。Connectors タブでは、新しい connector が Running と表示され、task が開始されるまで Tasks のカウンターはすべて 0 のままです。task の開始には最大で約 2.5 分かかります。

connector の設定​

Connector Information 画面​

フィールド必須説明
Nameはいconnector の名前です。英小文字、数字、ハイフン (-) を使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」というエラーが表示されます。
Typeはいsource を選択します。
DatabaseはいOracle を選択します。

Properties 画面​

フィールド必須説明
Manual configurationはい接続情報を自分で入力します。Oracle では From FPT Database Engine はグレーアウトしています。接続モードを参照してください。
Host nameはいOracle データベースのホスト名または IP アドレスです。
PortはいOracle サーバーのポートです (例: 1521)。このフィールドにデフォルト値はありません。
Container database nameはいconnector の接続先となる container database (CDB) の名前です。マルチテナントアーキテクチャの Oracle 12c 以降に適用されます。
Pluggable database nameはいキャプチャするデータがある pluggable database (PDB) です。
Usernameはい手順 7 で作成したローカルユーザーです。
Passwordはいユーザーのパスワードです。
Name (Archive log)はいconnector がアーカイブ済みの redo log を読み取る、archive log の出力先です (例: LOG_ARCHIVE_DEST_1)。手順 5 で確認した出力先を選択します。Test connection に成功するまで、一覧に選択肢は表示されません。
Topic prefixはいconnector の書き込み先となる Kafka topic のプレフィックスです。テーブルごとの topic 名は TOPIC_PREFIX.SCHEMA.TABLE です。Topic prefixを参照してください。

Oracle のフォームには、Enable incremental snapshot チェックボックスはありません。

Additional properties 画面​

フィールド必須説明
Modeはい既存の行に対する connector の処理です。このフィールドにはデフォルト値がないため、いずれかを選択します。initial は既存の行の snapshot を取得してから、LogMiner で変更をキャプチャします。initial_only は snapshot を取得した後、変更をキャプチャせずに停止します。no_data は connector の起動後に発生した変更だけをキャプチャします。snapshot モードを参照してください。
Includeいいえキャプチャするテーブルです。+ を選択し、Schema、Table、Column を選択します。複数の schema とテーブルを選択できます。Column のデフォルトは .* (すべてのカラム) です。一覧の検索には Filter を、テーブルの削除には削除アイコンを使用します。テーブルを追加しない場合、connector はすべてのテーブルをキャプチャします。

次のステップ​