メインコンテンツまでスキップ

Source connector8

source connector は、データベース、Kafka cluster、S3 上のファイルから変更をキャプチャし、Kafka topic に書き込みます。各ページでソースの準備と connector の作成を説明します。

PostgreSQLPostgreSQL で論理レプリケーションの準備を行い、テーブルの行の変更を Kafka topic にストリーミングします。MySQLMySQL で connector 用のユーザー、binlog、GTID を設定し、データベースの行の変更を Kafka topic にストリーミングします。MariaDBMariaDB で connector 用のユーザーと binlog を設定し、データベースの行の変更を Kafka topic にストリーミングします。SQL Serverデータベースとテーブルで SQL Server の change data capture を有効にし、その変更を Kafka topic にストリーミングします。OracleLogMiner 用に archive log モードと supplemental logging を有効にし、Oracle テーブルの変更を Kafka topic にストリーミングします。MongoDBMongoDB を replica set として実行し、ユーザーに読み取りアクセス権を付与して、collection の変更を Kafka topic にストリーミングします。Kafka別の Kafka cluster の topic を CDC Service にコピーします。topic 名はそのまま維持するか、cluster alias をプレフィックスとして付けます。S3Amazon S3 または S3 互換ストレージの bucket をスキャンし、CSV、TSV、Avro、XML ファイルのレコードを Kafka メッセージに変換します。