Tapdata Cloud 场景通关系列: Oracle → MySQL 异构实时同步

【前言】作为中国的 “fivetran/airbyte”, tapdata cloud 自去年发布云版公测以来,吸引了近万名用户的注册使用。应社区用户上生产系统的要求,tapdata cloud 3.0 将正式推出商业版服务,提供对生产系统的 sla 支撑。tapdata 目前专注在实时数据同步和集成领域,核心场景包括以下几大类: √ 实时数据...

2023-01-17 数据库SQL数据迁移解决方案数据迁移Oracle


CK03# ClickHouse日志存储设计点梳理

引言最近周末比较忙,卷的有点累,上周的文章掉了链子,这周赶一篇。本文主要梳理了使用clickhouse作为日志存储的设计点,主要内容有:应用日志存储时长定制clickhouse数据的冷热存储clickhouse数据迁移与删除clickhouse查询性能调优点一、应用日志存储时长定制公司所有的应用存储日志时长统一设置...

2023-01-12 存储迁移数据迁移解决方案数据迁移


MySQL批量导入数据时,为何表空间膨胀了N倍

本文目录问题缘起排查思路问题发现问题缘起同事在客户现场利用dts工具,从a实例将数据迁移到b实例过程中,发现几乎稍大点的表在迁移完成后,目标端表空间大小差不多都是源端的3倍,也就是说表空间膨胀了2倍。排查思路对这篇文章 《叶问》第16期 有印象的话,应该还能记得,数据迁移(导入导出)过程...

2023-01-12 数据库SQL迁移数据迁移解决方案数据迁移


Oracle Sharding

什么是分片(sharding)分片是一种划分数据以分配计算和存储工作量的方法,有助于实现超规模计算。超规模计算是一种计算体系结构,可以快速扩展或缩小,以满足对系统日益增长的需求。这种架构创新最初是由运行分布式站点的互联网巨头推动的,并已被大型云提供商采用。公司通常使用一种称为数据库分...

2023-01-04 数据分析编程算法大数据数据迁移解决方案数据库管理


【kafka源码】ReassignPartitionsCommand分区副本重分配源码原理分析(附配套教学视频)

日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源logikm一站式kafka监控与管控平台 (后续的视频会在 公众号[全套视频首发]、csdn、b站等各平台同名号[石臻臻的杂货铺]上上传 )【kafka源码】分区副本重分配源码分析(上)【kafka源码】分区副本重分配源码分析(下)阿b: 石臻臻的杂货铺文章目录1.脚...

2023-01-03 JSON迁移Kafka数据迁移解决方案数据迁移


元数据:跨引擎超完备字段级血缘关系解题方法

目录背景 血缘关系使用场景 跨引擎完备字段级血缘关系实现方法 展望 血缘和热度实现智能数仓重构建模让指标本身会说话总结 背景 元数据是关于数据的数据,是对数据的描述,元数据又分为三类:管理元数据、业务元数据和技术元数据。而字段或表级血缘关系就是技术元数据,关于业务元数据和管理元数据...

2023-01-03 云数据库 SQL Server数据结构迁移数据迁移解决方案数据迁移


【HBase】HBase各功能组件、集成MapReduce的方式及数据迁移

1、hbase体系架构 各个功能组件阐述如下: (1)client整个hbase集群的访问入口;使用hbase rpc机制与hmaster和hregionserver进行通信;与hmaster进行通信进行管理类操作;与hregionserver进行数据读写类操作;包含访问hbase的接口,并维护cache来加快对hbase的访问。(2)zookeeper保证任何时候,...

2023-01-03 TDSQL MySQL 版HBaseMapReduce数据迁移解决方案数据迁移


硅谷技术新焦点:摆脱缝合怪的多云设计,才是云计算的归宿

作者 | 滕昱、丁辰瑜、商小乐、孙骜 编辑 | tina 硅谷科技界又有了新的、轰动性的关注焦点。云成本已经成了一个不可忽视的问题。硅谷顶尖风投 a16z 说:“不使用云计算,你就是疯了;坚持使用云计算,你也是疯了。”现在,在寒冬面前,云成本和云安全问题就更显得严重。如果不想“下云”,那么必须...

2022-12-29 数据分析编程算法大数据数据迁移解决方案数据迁移


django 1.8 官方文档翻译: 2-4-4 编写迁移

django 文档协作翻译小组人手紧缺,有兴趣的朋友可以加入我们,完全公益性质。 网站:http://python.usyiyi.cn/django/index.html 编写数据库迁移这一节介绍你可能遇到的在不同情况下如何分析和编写数据库迁移. 有关迁移的入门资料,请查看 the topic guide.数据迁移和多数据库在使用多个数据库时,...

2022-12-28 数据库SQL迁移分布式数据迁移解决方案


初学乍练redis:Redis 5.0.3单实例数据迁移到Cluster

在使用redis 3时,可以使用redis-migrate-tool工具做redis在线数据迁移(参考https://wxy0327.blog.csdn.net/article/details/84138537)。但是我们现在使用的redis server已经升级到5.0.3版本,再用redis-migrate-tool做迁移会报错:[2019-04-19 13:26:35.847] rmt_redis.c:6446 error: can't...

2022-12-10 云数据库 Redis数据迁移解决方案数据迁移