上部署Debeziu开云体育官方注册网址m OpenShift
这个过程是为了建立Debezium连接器在Red Hat开云体育官方注册网址OpenShift集装箱平台。这些指令测试OpenShift的最近的两个版本。这些指令也应该工作在任何其他Kubernetes分配使用kubectl命令。
更快地开始,试试开云体育官方注册网址Debezium在线学习的场景。它开始一个集群OpenShift只为你,让你在浏览器中开始使用Debezium几分钟。开云体育官方注册网址
开云体育官方注册网址Debezium部署
设置Apache卡夫卡和卡夫卡OpenShift连接,使用所提供的图片的集合Strimzi项目。这些图片提供“卡夫卡作为服务”通过提供企业等级配置文件和图片,使卡夫卡Kubernetes OpenShift,以及Kubernetes运营商运行卡夫卡。
OpenShift命令行接口(
oc)安装。码头工人安装。
在OpenShift项目,输入以下命令安装卡夫卡代理和卡夫卡的运营商和模板连接:
出口STRIMZI_VERSION = 0.18.0 git克隆- b美元STRIMZI_VERSION https://github.com/strimzi/strimzi-kafka-operator cd strimzi-kafka-operator #切换到管理员用户创建安全对象作为安装的一部分:oc - u系统:登录管理oc创建- f安装/ cluster-operator & & oc创建- f /模板/ cluster-operator例子了解更多关于设置Apache卡夫卡与Strimzi Kubernetes OpenShift,明白了Strimzi部署卡夫卡。
部署一个卡夫卡代理集群:
#部署一个短暂的单一实例卡夫卡代理:oc过程strimzi-ephemeral - p CLUSTER_NAME =代理- p ZOOKEEPER_NODE_COUNT = 1 - p KAFKA_NODE_COUNT = 1 - p KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR = 1 - p KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR = 1 | oc - f -申请创建一个卡夫卡连接图像Debezium连接器安装:开云体育官方注册网址
下载并提取档案为每个Debezium连接器你想跑。开云体育官方注册网址例如:
curl https://repo1.maven.org/maven2/io/开云体育官方注册网址debezium/debezium-connector-mysql/1.4.2.Final/debezium-connector-mysql-1.4.2.Final-plugin.tar.gz焦油xvz”创建一个
Dockerfile使用Strimzi卡夫卡形象为基础的形象。下面的示例创建一个插件/ debe开云体育官方注册网址zium目录,包含每个Debezium目录连接器,您想要运行。开云体育官方注册网址运行多个Debezium连接器,插入一个开云体育官方注册网址复制每个连接器线。从strimzi /卡夫卡:0.18.0-kafka-2.5.0用户根:根运行mkdir - p / opt /卡夫卡/插件/ debezium副本。/ debezium开云体育官方注册网址-connector-mysql / / opt /卡夫卡/插件/ debezium /用户1001卡夫卡连接器连接开始运行之前,卡夫卡连接负载的任何第三方插件
/ opt /卡夫卡/插件目录中。建立一个Debe开云体育官方注册网址zium图像从你Dockerfile并把它发送到你喜欢的容器注册表,例如,
quay.io通过执行以下命令或码头工人中心。取代开云体育官方注册网址debezium-community与你的码头工人中心组织的名称。出口DOCKER_ORG = deb开云体育官方注册网址ezium-community码头工人。- t $ {DOCKER_ORG} / conn开云体育官方注册网址ect-debezium码头工人推$ {DOCKER_ORG} / connect-debezium一段时间后,所有部件应启动并运行:
oc豆荚名字就绪状态重新启动年龄broker-entity-operator-5fb7bc8b9b-r86nz 3/3运行1 4 m broker-kafka-0 2/2运行0 4 m broker-zookeeper-0 2/2运行0 5 m debezium-connect-3-4sdjr 1/1运行0 1 m strimzi-c开云体育官方注册网址luster-operator-d77476b8f-rblqf 1/1运行0 5米或者,去OpenShift Web控制台的“豆荚”视图(https://myhost: 8443 /控制台/项目/ myproject /浏览/豆荚)确认所有豆荚启动并运行:
验证部署
验证模拟部署是否正确的开云体育官方注册网址Debezium教程在OpenShift环境。
启动一个MySQL服务器实例,其中包含一些示例表:
#部署预填充的MySQL实例oc新应用——name = MySQL debezium /示例MySQL: 1.4 #为数据库开云体育官方注册网址配置凭证oc组env dc / MySQL MYSQL_ROOT_PASSWORD = debez开云体育电动老虎机ium MYSQL_USER = mysqluser MYSQL_PASSWORD = mysqlpw一个新的pod与MySQL服务器应该启动并运行:
oc豆荚名字就绪状态重新启动年龄……mysql - 1 - 4503 l 1/1运行0 2 s mysql-1-deploy 1/1运行0 4 s…注册Debezium My开云体育官方注册网址SQL连接器对部署运行MySQL实例:
oc exec - i - c卡夫卡broker-kafka-0——curl - x发布\ - h”接受:application / json \ - h“application / json内容类型:\ http://debezium-connect-a开云体育官方注册网址pi: 8083 /连接器- d @ - < < EOF的{“名称”:“inventory-connector”、“配置”:{“连接器。类”:“io.debez开云体育官方注册网址ium.connector.mysql.MySqlConnector”、“任务。马克斯”:“1”、“数据开云体育电动老虎机库。主机名”:“mysql数据库”、“。开云体育电动老虎机港”:“3306”、“数据库。开云体育电动老虎机用户”:“deb开云体育官方注册网址ez开云体育电动老虎机ium”、“数据库。密码”:“dbz”、“database开云体育电动老虎机.server。id”:“184054”、“da开云体育电动老虎机tabase.server.name”:“dbserver1”、“database.include。”:“库存”、“database.hist开云体育电动老虎机ory.kafka.bootstrap列表。服务器”:“broker-kafka-bootstrap: 9092”、“datab开云体育电动老虎机ase.history.kafka。主题:“模式变化。}}EOF库存”卡夫卡连接的日志文件应该包含消息关于执行初始快照:
oc日志(oc豆荚美元- o - l strimzi.io名称/ name = debezium-开云体育官方注册网址connect)阅读改变事件的
客户表从相应的卡夫卡的话题:oc exec - broker-kafka-0——/ opt /卡夫卡/ bin / kafka-console-consumer。sh \——bootstrap-server localhost: 9092 \——从头\房地产打印。关键= true \ dbserver1.inventory.customers——主题您应该看到一个输出如下(格式化为了可读性):
消息1 # {" id ": 1001} #消息1值{“前”:空,“后”:{" id ": 1001年,“first_name”:“莎莉”,“last_name”:“托马斯”、“电子邮件”:“sally.thomas@acme.com”},“源”:{“版本”:“1.4.2。最后”、“连接器”:“mysql”、“名称”:“dbserver1”、“server_id”: 0,”ts_sec”: 0,”gtid”:空,“文件”:“mysql-bin。000003”、“pos”: 154年,“行”:0,“快照”:真的,“线程”:空,“分贝”:“库存”、“表”:“客户”},“人事处”:“c”、“ts_ms”: 1509530901446} #消息2关键{" id ": 1002}{#消息2值“前”:空,“后”:{" id ": 1002年,“first_name”:“乔治”、“last_name”:“贝利”、“电子邮件”:“gbailey@foobar.com”},“源”:{“版本”:“1.4.2。最后”、“连接器”:“mysql”、“名称”:“dbserver1”、“server_id”: 0,”ts_sec”: 0,”gtid”:空,“文件”:“mysql-bin。000003”、“pos”: 154年,“行”:0,“快照”:真的,“线程”:空,“分贝”:“库存”、“表”:“客户”},“人事处”:“c”、“ts_ms”: 1509530901446}…修改的一些记录
客户表的数据库:开云体育电动老虎机oc exec - $ (oc得到吊舱- o custom-columns =名字:.metadata.name——no-headers - l应用= mysql) \——bash - c的mysql - u MYSQL_USER - p MYSQL_PASSWORD美元库存#例如,运行更新客户设置电子邮件= " sally.thomas@example.com " ID = 1001;您现在应该看到额外的变化信息在消费者开始之前。