OGG同步Oracle到Kafka不停库,全量加增量_oracle kafka增量同步

📢📢📢📣📣📣
作者：IT邦德
中国DBA联盟(ACDU)成员，15年DBA工作经验
Oracle、PostgreSQL ACE
CSDN博客专家及B站知名UP主，全网粉丝15万+
擅长主流Oracle、MySQL、PG、高斯及Greenplum备份恢复，
安装迁移，性能优化、故障应急处理

文章目录

• 1.开始抽取
• 2.获取SCN
• 3.Initial load
• • 3.1 全量抽取
  • 3.2 全量应用
• 4. 增量追平
• 总结

凌晨三点，报警器第5次响起——生产线实时数据同步又断了！老板的夺命Call在静夜里炸响：“停机？停一小时损失200万！”

别慌，用OGG的这把“手术刀”，全量+增量同步无缝切换，业务零感知。今天揭秘：如何让Oracle到Kafka的血液，在心脏不停跳时完成移植。

接下来小编就叫你如何实现OGG技术同步Oracle 10PB的数据到Kafka，不停机的情况下如何全量+增量！

1.开始抽取

GGSCI>ADD EXTRACT EXT, TRANLOG BEGIN NOWGGSCI> ADD EXTTRAIL ./dirdat/aa, extract EXT, megabytes 2000EXTRACT EXTUSERID ggs, PASSWORD ggpwdEXTTRAIL ./dirdat/aaTABLE SRC.*;GGSCI> Start Extract EXT

2.获取SCN

Get the current SCN on the source database:SQL> select dbms_flashback.get_system_change_number from dual;GET_SYSTEM_CHANGE_NUMBER------------------------3410138433

3.Initial load

3.1 全量抽取

GGSCI>ADD EXTRACT , SOURCEISTABLESOURCEISTABLEUSERID gg, PASSWORD ggEXTFILE /gg/dirdat/rf , maxfiles 10, megabytes 2000orRMTFILE /gg/dirdat/rf, maxfiles 10, megabytes 2000TABLE SRC.*, SQLPREDICATE \'AS OF SCN 3410138433\';

3.2 全量应用

ggsci> ADD REPLICAT rkafka, EXTTRAIL /gg/dirdat/rf, NODBCHECKPOINTREPLICAT rkafkasetenv(OGG_HOME=\'/u01/app/oracle/goldengate/ogg_home/12.3.1.1/GGBD/\')TARGETDB LIBFILE libggjava.so SET property=dirprm/kafka.propsREPORTCOUNT EVERY 1 MINUTES, RATEGROUPTRANSOPS 10000MAP SRC.*, TARGET KAFKAADMIN.*；

4. 增量追平

GGSCI> ADD REPLICAT REP, EXTTRAIL ./dirdat/aa, nodbcheckpointREPLICAT RPKAFKAUSERID ggs, PASSWORD ggpwdsetenv(OGG_HOME=\'/u01/app/oracle/goldengate/ogg_home/12.3.1.1/GGBD/\')TARGETDB LIBFILE libggjava.so SET property=dirprm/kafka.propsREPORTCOUNT EVERY 1 MINUTES, RATEGROUPTRANSOPS 10000MAP SRC.*, TARGET KAFKAADMIN.*;GGSCI> Start replicat REP, aftercsn 3410138433

总结

这场与数据的赛跑，没有停机倒计时，只有分秒必争的精准刀法。全量迁移是筑基，增量同步是续命，OGG的接力棒从未掉落。当最后一条数据滑入Kafka，晨光刺破监控室的黑暗，你按下“同步完成”的绿灯——产线依旧轰鸣，报表准时生成，老板的手机安静如初。

所谓DBA的巅峰时刻，不过是把惊心动魄的战役，藏进风平浪静的黎明。技术人的浪漫，是让每一次数据迁徙，都像从未发生过那样完美无声。