SQL Server source connector を作成する
SQL Server のテーブルで発生するすべての行の変更を Kafka topic にストリーミングし、sink connector で他のシステムに配信できるようにします。connector は SQL Server の change data capture (CDC) 機能を利用します。
前提条件
- ステータスが Healthy の CDC Service があること。CDC Service を作成するを参照してください。
- SQL Server 2016 以降の Standard エディションまたは Enterprise エディションであること。
- データベースの準備用に、
sysadminrole と、キャプチャするデータベースのdb_ownerrole を持つログインがあること。 - SQL Server データベースを準備するの説明に従って、データベースが CDC 用に準備されていること。
SQL Server データベースを準備する
-
SQL Server Agent を有効にします。SQL Server Agent を構成するとLinux に SQL Server Agent をインストールするを参照してください。FPT Cloud 上の SQL Server データベースの場合は、FPT Cloud Support にお問い合わせください。
-
connector 用のログインとデータベースユーザーを作成し、そのユーザーにデータベースに対する CONNECT 権限と SELECT 権限を付与します。
CREATE LOGIN YOUR_USER WITH PASSWORD = 'YOUR_PASSWORD';GOUSE YOUR_DATABASE;GOCREATE USER YOUR_USER FOR LOGIN YOUR_USER;GRANT CONNECT, SELECT ON DATABASE::YOUR_DATABASE TO YOUR_USER;GOTest connection はこの 2 つの権限を確認します。権限がない場合は、「User "YOUR_USER" does not have required permission(s): CONNECT, SELECT on database.」と表示されて失敗します。
-
CDC 用の role を作成し、ユーザーを追加します。この手順は任意です。connector は
sysadminやdb_ownerでも実行できますが、専用の role を使うとアクセス範囲を狭く保てます。USE YOUR_DATABASE;GOCREATE ROLE YOUR_ROLE;ALTER ROLE YOUR_ROLE ADD MEMBER YOUR_USER;GO -
データベースで CDC を有効にします。
USE YOUR_DATABASE;GOEXEC sys.sp_cdc_enable_db;GO -
キャプチャする各テーブルで CDC を有効にします。テーブルが別の schema にある場合は、
dboを置き換えます。USE YOUR_DATABASE;GOEXEC sys.sp_cdc_enable_table@source_schema = N'dbo',@source_name = N'YOUR_TABLE',@role_name = N'YOUR_ROLE',@supports_net_changes = 0;GO手順 3 を省略し、connector で
sysadminまたはdb_ownerを使用する場合は、@role_name = NULLを設定します。 -
connector のユーザーでサインインし、CDC の設定を確認します。
USE YOUR_DATABASE;GOEXEC sys.sp_cdc_help_change_data_capture;GO
connector を作成する
-
Data platform → Workspace management を選択し、workspace を選択します。
-
Overview タブの Services で、CDC カードを選択します。
-
Connectors タブを選択し、Create Connector を選択します。

-
Connector Information 画面で Name を入力し、Type で source、Database で SQL server を選択します。

-
Next Step を選択します。Properties 画面で接続情報と Topic prefix を入力し、Test connection を選択します。テストに成功すると、Next Step を選択できるようになります。



-
Next Step を選択します。Additional properties 画面で、snapshot の Mode とキャプチャする schema、テーブル、カラムを選択し、Heartbeat interval (ms) を設定します。



-
Next Step を選択し、Review 画面で設定を確認します。

-
Create を選択します。
ポータルに「Create Successfully」と表示され、CDC Service の Essential Information タブが開きます。Connectors タブでは、新しい connector が Running と表示され、task が開始されるまで Tasks のカウンターはすべて
0のままです。task の開始には最大で約 2.5 分かかります。
connector の設定
Connector Information 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Name | はい | connector の名前です。英小文字、数字、ハイフン (-) を使用できます。英大文字、_、.、スペースを含めると、「Name has invalid characters」というエラーが表示されます。 |
| Type | はい | source を選択します。 |
| Database | はい | SQL server を選択します。 |
Properties 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| From FPT Database Engine / Manual configuration | はい | FPT Database Engine の SQL Server instance を選択するか、接続情報を自分で入力します。デフォルトでは Manual configuration が選択されています。接続モードを参照してください。 |
| Database Name | From FPT Database Engine の場合 | FPT Database Engine の SQL Server instance です。一覧には instance 名だけが表示されます。instance を選択すると Host name と Port (1433) が自動入力されます。自動入力された値は編集できます。Database、Username、Password は空のままです。 |
| Host name | はい | SQL Server instance のホスト名または IP アドレスです。 |
| Port | はい | SQL Server のポートです (例: 1433)。Manual configuration では、このフィールドにデフォルト値はありません。 |
| Database | はい | 変更をキャプチャするデータベースです。 |
| Username | はい | 手順 2 で作成したユーザーです。 |
| Password | はい | ユーザーのパスワードです。 |
| Topic prefix | はい | connector の書き込み先となる Kafka topic のプレフィックスです。Topic prefixを参照してください。 |
SQL Server のフォームには、Enable incremental snapshot チェックボックスと Database server ID フィールドはありません。
SQL Server source connector は incremental snapshot に対応していません。ただし、Connectors タブにはこれらの connector の Snapshot Status が表示されます。
Additional properties 画面
| フィールド | 必須 | 説明 |
|---|---|---|
| Mode | はい | 既存の行に対する connector の処理です。このフィールドにはデフォルト値がないため、いずれかを選択します。initial は既存の行の snapshot を取得してから、変更をキャプチャします。initial_only は snapshot を取得するだけで、変更はキャプチャしません。no_data は新しい変更だけをキャプチャします。snapshot モードを参照してください。 |
| Schema (Optional) | いいえ | キャプチャするテーブルを含む schema です。複数選択できます。 |
| Table (Optional) | いいえ | 選択した schema 内でキャプチャするテーブルです。ラベルには schema が表示されます (例: Table (Optional) - (dbo))。 |
| Column (Optional) | いいえ | 選択したテーブルからキャプチャするカラムです。ラベルにはテーブルが表示されます (例: Column (Optional) - (Users))。 |
| Heartbeat interval (ms) | はい | heartbeat メッセージの送信間隔です。0〜30000 の範囲で指定します。デフォルトは 0 で、この場合 heartbeat は送信されません。Heartbeatを参照してください。 |