网站首页 > 技术文章 正文
凌晨三点,报警器第5次响起——生产线实时数据同步又断了!老板的夺命Call在静夜里炸响:“停机?停一小时损失200万!”
别慌,用OGG的这把“手术刀”,全量+增量同步无缝切换,业务零感知。今天揭秘:如何让Oracle到Kafka的血液,在心脏不停跳时完成移植。
接下来就介绍如何实现OGG技术同步Oracle 10PB的数据到Kafka,不停机的情况下如何全量+增量!
1.开始抽取
GGSCI>ADD EXTRACT EXT, TRANLOG BEGIN NOW
GGSCI> ADD EXTTRAIL ./dirdat/aa, extract EXT, megabytes 2000
EXTRACT EXT
USERID ggs, PASSWORD ggpwd
EXTTRAIL ./dirdat/aa
TABLE SRC.*;
GGSCI> Start Extract EXT
2.获取SCN
Get the current SCN on the source database:
SQL> select dbms_flashback.get_system_change_number from dual;
GET_SYSTEM_CHANGE_NUMBER
------------------------
3410138433
3.Initial load
3.1 全量抽取
GGSCI>ADD EXTRACT , SOURCEISTABLE
SOURCEISTABLE
USERID gg, PASSWORD gg
EXTFILE /gg/dirdat/rf , maxfiles 10, megabytes 2000
or
RMTFILE /gg/dirdat/rf, maxfiles 10, megabytes 2000
TABLE SRC.*, SQLPREDICATE 'AS OF SCN 3410138433';
3.2 全量应用
ggsci> ADD REPLICAT rkafka, EXTTRAIL /gg/dirdat/rf, NODBCHECKPOINT
REPLICAT rkafka
setenv(OGG_HOME='/u01/app/oracle/goldengate/ogg_home/12.3.1.1/GGBD/')
TARGETDB LIBFILE libggjava.so SET property=dirprm/kafka.props
REPORTCOUNT EVERY 1 MINUTES, RATE
GROUPTRANSOPS 10000
MAP SRC.*, TARGET KAFKAADMIN.*;
4. 增量追平
GGSCI> ADD REPLICAT REP, EXTTRAIL ./dirdat/aa, nodbcheckpoint
REPLICAT RPKAFKA
USERID ggs, PASSWORD ggpwd
setenv(OGG_HOME='/u01/app/oracle/goldengate/ogg_home/12.3.1.1/GGBD/')
TARGETDB LIBFILE libggjava.so SET property=dirprm/kafka.props
REPORTCOUNT EVERY 1 MINUTES, RATE
GROUPTRANSOPS 10000
MAP SRC.*, TARGET KAFKAADMIN.*;
GGSCI> Start replicat REP, aftercsn 3410138433
总结
这场与数据的赛跑,没有停机倒计时,只有分秒必争的精准刀法。全量迁移是筑基,增量同步是续命,OGG的接力棒从未掉落。当最后一条数据滑入Kafka,晨光刺破监控室的黑暗,你按下“同步完成”的绿灯——产线依旧轰鸣,报表准时生成,老板的手机安静如初。
所谓DBA的巅峰时刻,不过是把惊心动魄的战役,藏进风平浪静的黎明。 技术人的浪漫,是让每一次数据迁徙,都像从未发生过那样完美无声。
- 上一篇: 【推荐】一款开源免费、功能强大的数据同步工具,支持多种数据源
- 下一篇: 计算机存储之数据一致性
猜你喜欢
- 2025-08-03 OpenAI 和 Oracle 承诺为 Stargate Network 扩展 4.5 GW 数据中心
- 2025-08-03 异构跨库数据同步还在用Datax?来看看这几个开源的同步方案
- 2025-08-03 黄远邦:应对7月1日闰秒对Oracle数据库影响
- 2025-08-03 开源:一款开源的数据同步中间件DBSyncer
- 2025-08-03 计算机存储之数据一致性
- 2025-08-03 【推荐】一款开源免费、功能强大的数据同步工具,支持多种数据源
- 2024-11-01 Canal数据同步实战 数据同步工具有哪些
- 2024-11-01 支持断点续传的数据库同步服务 断点续传需要服务器支持吗
- 2024-11-01 Oracle OGG 单向DDL同步 oracle ogg双向同步
- 2024-11-01 数据同步组件(Canal)在珍爱网的应用与实践
你 发表评论:
欢迎- 最近发表
-
- Three.js vs Unity:工业可视化为何选择Web方案?
- 一款全新Redis UI可视化管理工具,支持WebUI和桌面——P3X Redis UI
- 时间线可视化实战:三款AI工具实测,手把手教你制作人生轨迹图
- 【推荐】一款可视化在线 Web 定时任务管理平台,支持秒级任务设置
- 重磅更新!FastDatasets 推出可视化 Web 界面
- 模具设计之UG钣金实例教程(3)_ug钣金基础教程
- 前端基于 RBAC 模型的权限管理实现
- 别再把JWT存在localStorage里了!2025年前端鉴权新思路
- 模具设计之曲面造型中不圆润的曲面如何处理技巧
- 9个专业级别的CSS技巧区分了解和精通的鸿沟
- 标签列表
-
- 前端设计模式 (75)
- 前端性能优化 (51)
- 前端模板 (66)
- 前端跨域 (52)
- 前端缓存 (63)
- 前端aes加密 (58)
- 前端脚手架 (56)
- 前端md5加密 (54)
- 前端路由 (61)
- 前端数组 (73)
- 前端js面试题 (50)
- 前端定时器 (59)
- Oracle RAC (76)
- oracle恢复 (77)
- oracle 删除表 (52)
- oracle 用户名 (80)
- oracle 工具 (55)
- oracle 内存 (55)
- oracle 导出表 (62)
- oracle约束 (54)
- oracle 中文 (51)
- oracle链接 (54)
- oracle的函数 (58)
- oracle面试 (55)
- 前端调试 (52)
本文暂时没有评论,来添加一个吧(●'◡'●)