メインコンテンツまでスキップ

SQL Server source connector を作成する

SQL Server のテーブルで発生するすべての行の変更を Kafka topic にストリーミングし、sink connector で他のシステムに配信できるようにします。connector は SQL Server の change data capture (CDC) 機能を利用します。

前提条件​

  • ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
  • SQL Server 2016 以降の Standard エディションまたは Enterprise エディションであること。
  • データベースの準備用に、sysadmin role と、キャプチャするデータベースの db_owner role を持つログインがあること。
  • SQL Server データベースを準備するの説明に従って、データベースが CDC 用に準備されていること。

SQL Server データベースを準備する​

  1. SQL Server Agent を有効にします。SQL Server Agent を構成するとLinux に SQL Server Agent をインストールするを参照してください。FPT Cloud 上の SQL Server データベースの場合は、FPT Cloud Support にお問い合わせください。

  2. connector 用のログインとデータベースユーザーを作成し、そのユーザーにデータベースに対する CONNECT 権限と SELECT 権限を付与します。

    CREATE LOGIN YOUR_USER WITH PASSWORD = 'YOUR_PASSWORD';
    GO
    USE YOUR_DATABASE;
    GO
    CREATE USER YOUR_USER FOR LOGIN YOUR_USER;
    GRANT CONNECT, SELECT ON DATABASE::YOUR_DATABASE TO YOUR_USER;
    GO

    Test connection はこの 2 つの権限を確認します。権限がない場合は、「User "YOUR_USER" does not have required permission(s): CONNECT, SELECT on database.」と表示されて失敗します。

  3. CDC 用の role を作成し、ユーザーを追加します。この手順は任意です。connector は sysadmin や db_owner でも実行できますが、専用の role を使うとアクセス範囲を狭く保てます。

    USE YOUR_DATABASE;
    GO
    CREATE ROLE YOUR_ROLE;
    ALTER ROLE YOUR_ROLE ADD MEMBER YOUR_USER;
    GO
  4. データベースで CDC を有効にします。

    USE YOUR_DATABASE;
    GO
    EXEC sys.sp_cdc_enable_db;
    GO
  5. キャプチャする各テーブルで CDC を有効にします。テーブルが別の schema にある場合は、dbo を置き換えます。

    USE YOUR_DATABASE;
    GO
    EXEC sys.sp_cdc_enable_table
    @source_schema = N'dbo',
    @source_name = N'YOUR_TABLE',
    @role_name = N'YOUR_ROLE',
    @supports_net_changes = 0;
    GO

    手順 3 を省略し、connector で sysadmin または db_owner を使用する場合は、@role_name = NULL を設定します。

  6. connector のユーザーでサインインし、CDC の設定を確認します。

    USE YOUR_DATABASE;
    GO
    EXEC sys.sp_cdc_help_change_data_capture;
    GO

connector を作成する​

  1. Data platform → Workspace management を選択し、workspace を選択します。

  2. Overview タブの Services で、CDC カードを選択します。

  3. Connectors タブを選択し、Create Connector を選択します。

    No connector yet メッセージと Create Connector ボタンが表示された、Healthy 状態の CDC Service の Connectors タブ

  4. Connector Information 画面で Name を入力し、Type で source、Database で SQL server を選択します。

    Name、Type、Database フィールドがある Create Connector フォームの Connector Information 画面

  5. Next Step を選択します。Properties 画面で接続情報と Topic prefix を入力し、Test connection を選択します。テストに成功すると、Next Step を選択できるようになります。

    From FPT Database Engine を選択し、Database Name の一覧と Host name、Port、Database、Username、Password フィールドが表示された Database Information セクション

    Manual configuration を選択し、Host name、Port、Database、Username、Password フィールドが表示された Database Information セクション

    Topic prefix フィールドがある Kafka topic セクション

  6. Next Step を選択します。Additional properties 画面で、snapshot の Mode とキャプチャする schema、テーブル、カラムを選択し、Heartbeat interval (ms) を設定します。

    Mode の一覧がある Snapshot セクション

    Schema (Optional) で dbo、Table (Optional) - (dbo) で Users が選択され、Column (Optional) - (Users) の一覧が表示された Include セクション

    Heartbeat interval (ms) に 3000 が入力された Heartbeat セクション

  7. Next Step を選択し、Review 画面で設定を確認します。

    Basic Information、Kafka topic、Database Information、Snapshot、Include、Heartbeat セクションがある SQL Server source connector の Review 画面

  8. Create を選択します。

    ポータルに「Create Successfully」と表示され、CDC Service の Essential Information タブが開きます。Connectors タブでは、新しい connector が Running と表示され、task が開始されるまで Tasks のカウンターはすべて 0 のままです。task の開始には最大で約 2.5 分かかります。

connector の設定​

Connector Information 画面​

フィールド必須説明
Nameはいconnector の名前です。英小文字、数字、ハイフン (-) を使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」というエラーが表示されます。
Typeはいsource を選択します。
DatabaseはいSQL server を選択します。

Properties 画面​

フィールド必須説明
From FPT Database Engine / Manual configurationはいFPT Database Engine の SQL Server instance を選択するか、接続情報を自分で入力します。デフォルトでは Manual configuration が選択されています。接続モードを参照してください。
Database NameFrom FPT Database Engine の場合FPT Database Engine の SQL Server instance です。一覧には instance 名だけが表示されます。instance を選択すると Host name と Port (1433) が自動入力されます。自動入力された値は編集できます。Database、Username、Password は空のままです。
Host nameはいSQL Server instance のホスト名または IP アドレスです。
PortはいSQL Server のポートです (例: 1433)。Manual configuration では、このフィールドにデフォルト値はありません。
Databaseはい変更をキャプチャするデータベースです。
Usernameはい手順 2 で作成したユーザーです。
Passwordはいユーザーのパスワードです。
Topic prefixはいconnector の書き込み先となる Kafka topic のプレフィックスです。Topic prefixを参照してください。

SQL Server のフォームには、Enable incremental snapshot チェックボックスと Database server ID フィールドはありません。

注記

SQL Server source connector は incremental snapshot に対応していません。ただし、Connectors タブにはこれらの connector の Snapshot Status が表示されます。

Additional properties 画面​

フィールド必須説明
Modeはい既存の行に対する connector の処理です。このフィールドにはデフォルト値がないため、いずれかを選択します。initial は既存の行の snapshot を取得してから、変更をキャプチャします。initial_only は snapshot を取得するだけで、変更はキャプチャしません。no_data は新しい変更だけをキャプチャします。snapshot モードを参照してください。
Schema (Optional)いいえキャプチャするテーブルを含む schema です。複数選択できます。
Table (Optional)いいえ選択した schema 内でキャプチャするテーブルです。ラベルには schema が表示されます (例: Table (Optional) - (dbo))。
Column (Optional)いいえ選択したテーブルからキャプチャするカラムです。ラベルにはテーブルが表示されます (例: Column (Optional) - (Users))。
Heartbeat interval (ms)はいheartbeat メッセージの送信間隔です。0〜30000 の範囲で指定します。デフォルトは 0 で、この場合 heartbeat は送信されません。Heartbeatを参照してください。

次のステップ​