上部署Debeziu开云体育官方注册网址m OpenShift
表的内容
下面描述了如何设置Debezium变化数据捕获在Red Hat的连接器开云体育官方注册网址OpenShift集装箱平台。
这些指令已经测试使用Minishift工具——允许您在本地运行单个节点OpenShift实例在您的机器上。
你可以找到一个完整的例子使用Minishift在我们的设置实例库。
如果你想开始更快,尝试的开云体育官方注册网址Debezium在线学习的场景。它开始一个OpenShift集群只为你,让你带着你的第一步Debezium在浏览器仅仅在几分钟内。开云体育官方注册网址
开云体育官方注册网址Debezium部署
设置卡夫卡和卡夫卡OpenShift连接,提供的一组图像Strimzi可以使用项目,提供“卡夫卡作为服务”。它由企业等级配置文件和图片带给OpenShift卡夫卡。
首先,安装卡夫卡代理和卡夫卡的运营商和模板连接到我们OpenShift项目:
出口STRIMZI_VERSION = 0.13.0 git克隆- b美元STRIMZI_VERSION https://github.com/strimzi/strimzi-kafka-operator cd strimzi-kafka-operator #我们需要创建安全对象作为安装的一部分,所以需要切换到管理员用户登录oc - u系统:管理员oc创建- f安装/ cluster-operator & & oc创建- f /模板/ cluster-operator例子接下来,部署一个卡夫卡代理集群和卡夫卡连接集群,然后创建一个卡夫卡连接图像Debezium连接器安装:开云体育官方注册网址
#部署一个短暂的单一实例卡夫卡代理oc过程strimzi-ephemeral - p CLUSTER_NAME =代理- p ZOOKEEPER_NODE_COUNT = 1 - p KAFKA_NODE_COUNT = 1 - p KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR = 1 - p KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR = 1 | oc - f - #应用部署单个实例的卡夫卡与没有插件安装oc过程strimzi-connect-s2i - p CLUSTER_NAME = debezium - p KAFKA_CONNECT_BOOTSTRAP_SERVERS = broker-kafka-bootstrap: 9092 - p KAFKA_CONNE开云体育官方注册网址CT_CONFIG_STORAGE_REPLICATION_FACTOR = 1 - p KAFKA_CONNECT_OFFSET_STORAGE_REPLICATION_FACTOR = 1 - p KAFKA_CONNECT_STATUS_STORAGE_REPLICATION_FACTOR = 1 - p KAFKA_CONNECT_VALUE_CONVERTER_SCHEMAS_ENABLE = false - p KAFKA_CONNECT_KEY_CONVERTER_SCHEMAS_ENABLE = false | oc - f - #应用构建一个出口DEBEZIUM_VERSION = 1.1.2 debezium形象。最后mkdir - p插件的插件& & & & cd插件\ {mongodb, mysql、postgres};做\ curl http://central.maven.org/maven2/io/de开云体育官方注册网址bezium/debezium-connector-插件/ DEBEZIUM_VERSION美元/ debezium-connector - PLUGIN - DEBEZIUM_VERSION-plugin.tar.gz美元| tar xz;\做& & \ oc start-build debe开云体育官方注册网址zium-connect——与dir =。——遵循& & \ cd . .& & rm射频插件一段时间后,所有部件应启动并运行:
oc豆荚名字就绪状态重新启动年龄broker-entity-operator-5fb7bc8b9b-r86nz 3/3运行1 4 m broker-kafka-0 2/2运行0 4 m broker-zookeeper-0 2/2运行0 5 m debezium-connect-3-4sdjr 1/1运行0 1 m strimzi-c开云体育官方注册网址luster-operator-d77476b8f-rblqf 1/1运行0 5米或者,你可以去你OpenShift Web控制台的“豆荚”视图(https://myhost: 8443 /控制台/项目/ myproject /浏览/豆荚)确认所有豆荚启动并运行:
验证部署
验证模拟部署是否正确的开云体育官方注册网址Debezium教程在OpenShift环境。
首先从一个包含一些示例MySQL服务器实例表:
#部署预填充的MySQL实例oc新应用——name = MySQL debezium /示例MySQL: 1.1 #为数据库开云体育官方注册网址配置凭证oc组env dc / MySQL MYSQL_ROOT_PASSWORD = debez开云体育电动老虎机ium MYSQL_USER = mysqluser MYSQL_PASSWORD = mysqlpw一个新的pod与MySQL服务器应该启动并运行:
oc豆荚名字就绪状态重新启动年龄……mysql - 1 - 4503 l 1/1运行0 2 s mysql-1-deploy 1/1运行0 4 s…注册Debezium My开云体育官方注册网址SQL连接器对部署运行MySQL实例:
oc exec - i - c卡夫卡broker-kafka-0——curl - x发布\ - h”接受:application / json \ - h“application / json内容类型:\ http://debezium-connect-a开云体育官方注册网址pi: 8083 /连接器- d @ - < < EOF的{“名称”:“inventory-connector”、“配置”:{“连接器。类”:“io.debez开云体育官方注册网址ium.connector.mysql.MySqlConnector”、“任务。马克斯”:“1”、“数据开云体育电动老虎机库。主机名”:“mysql数据库”、“。开云体育电动老虎机港”:“3306”、“数据库。开云体育电动老虎机用户”:“deb开云体育官方注册网址ez开云体育电动老虎机ium”、“数据库。密码”:“dbz”、“database开云体育电动老虎机.server。id”:“184054”、“da开云体育电动老虎机tabase.server.name”:“dbserver1”、“数据库。白名单”:“库存”、“database.histor开云体育电动老虎机y.kafka.bootstrap。服务器”:“broker-kafka-bootstrap: 9092”、“datab开云体育电动老虎机ase.history.kafka。主题:“模式变化。}}EOF库存”卡夫卡连接的日志文件应该包含消息关于执行初始快照:
oc日志(oc豆荚美元- o - l strimzi.io名称/ name = debezium-开云体育官方注册网址connect)现在你可以读事件的变化客户表从相应的卡夫卡的话题:
oc exec - broker-kafka-0——/ opt /卡夫卡/ bin / kafka-console-consumer。sh \——bootstrap-server localhost: 9092 \——从头\房地产打印。关键= true \ dbserver1.inventory.customers——主题您应该看到一个输出如下(格式化为了可读性):
消息1 # {" id ": 1001} #消息1值{“前”:空,“后”:{" id ": 1001年,“first_name”:“莎莉”,“last_name”:“托马斯”、“电子邮件”:“sally.thomas@acme.com”},“源”:{“名称”:“dbserver1”,“server_id”: 0,“ts_sec”: 0,“gtid”:空,“文件”:“mysql-bin。000003”、“pos”: 154年,“行”:0,“快照”:真的,“线程”:空,“分贝”:“库存”、“表”:“客户”},“人事处”:“c”、“ts_ms”: 1509530901446} #消息2关键{" id ": 1002}{#消息2值“前”:空,“后”:{" id ": 1002年,“first_name”:“乔治”、“last_name”:“贝利”、“电子邮件”:“gbailey@foobar.com”},“源”:{“名称”:“dbserver1”,“server_id”: 0,“ts_sec”: 0,“gtid”:空,“文件”:“mysql-bin。000003”、“pos”: 154年,“行”:0,“快照”:真的,“线程”:空,“分贝”:“库存”、“表”:“客户”},“人事处”:“c”、“ts_ms”: 1509530901446}…最后,下一个示例修改的一些记录客户表的数据库:开云体育电动老虎机
oc exec - $ (oc得到吊舱- o custom-columns =名字:.metadata.name——no-headers - l应用= mysql) \——bash - c的mysql - u MYSQL_USER - p MYSQL_PASSWORD美元库存#例如,运行更新客户设置电子邮件= " sally.thomas@example.com " ID = 1001;您现在应该看到额外的变化信息在消费者开始之前。