Tapdata Cloud 场景通关系列: Oracle → MySQL 异构实时同步

【前言】作为中国的 “fivetran/airbyte”, tapdata cloud 自去年发布云版公测以来,吸引了近万名用户的注册使用。应社区用户上生产系统的要求,tapdata cloud 3.0 将正式推出商业版服务,提供对生产系统的 sla 支撑。tapdata 目前专注在实时数据同步和集成领域,核心场景包括以下几大类: √ 实时数据...

2023-01-17 数据库SQL数据迁移解决方案数据迁移Oracle


CK03# ClickHouse日志存储设计点梳理

引言最近周末比较忙,卷的有点累,上周的文章掉了链子,这周赶一篇。本文主要梳理了使用clickhouse作为日志存储的设计点,主要内容有:应用日志存储时长定制clickhouse数据的冷热存储clickhouse数据迁移与删除clickhouse查询性能调优点一、应用日志存储时长定制公司所有的应用存储日志时长统一设置...

2023-01-12 存储迁移数据迁移解决方案数据迁移


MySQL批量导入数据时,为何表空间膨胀了N倍

本文目录问题缘起排查思路问题发现问题缘起同事在客户现场利用dts工具,从a实例将数据迁移到b实例过程中,发现几乎稍大点的表在迁移完成后,目标端表空间大小差不多都是源端的3倍,也就是说表空间膨胀了2倍。排查思路对这篇文章 《叶问》第16期 有印象的话,应该还能记得,数据迁移(导入导出)过程...

2023-01-12 数据库SQL迁移数据迁移解决方案数据迁移


看完这篇Redis-Cluster,稳拿30W年薪大厂offer

1 集群的意义redis集群不断发展,可实现在多台机器,部署多实例,每个实例存部分数据。 同时每个实例可以带上redis从实例,保证若redis主实例挂了,自动切换到redis从实例。 上古时代,很多用codis之类客户端支持集群。现在版本大家都用redis cluster,即官方提供的集群模式,必须深入研究了。 从单...

2023-01-03 数据库云数据库 RedisNode.js迁移数据迁移


【kafka源码】ReassignPartitionsCommand分区副本重分配源码原理分析(附配套教学视频)

日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源logikm一站式kafka监控与管控平台 (后续的视频会在 公众号[全套视频首发]、csdn、b站等各平台同名号[石臻臻的杂货铺]上上传 )【kafka源码】分区副本重分配源码分析(上)【kafka源码】分区副本重分配源码分析(下)阿b: 石臻臻的杂货铺文章目录1.脚...

2023-01-03 JSON迁移Kafka数据迁移解决方案数据迁移


元数据:跨引擎超完备字段级血缘关系解题方法

目录背景 血缘关系使用场景 跨引擎完备字段级血缘关系实现方法 展望 血缘和热度实现智能数仓重构建模让指标本身会说话总结 背景 元数据是关于数据的数据,是对数据的描述,元数据又分为三类:管理元数据、业务元数据和技术元数据。而字段或表级血缘关系就是技术元数据,关于业务元数据和管理元数据...

2023-01-03 云数据库 SQL Server数据结构迁移数据迁移解决方案数据迁移


【HBase】HBase各功能组件、集成MapReduce的方式及数据迁移

1、hbase体系架构 各个功能组件阐述如下: (1)client整个hbase集群的访问入口;使用hbase rpc机制与hmaster和hregionserver进行通信;与hmaster进行通信进行管理类操作;与hregionserver进行数据读写类操作;包含访问hbase的接口,并维护cache来加快对hbase的访问。(2)zookeeper保证任何时候,...

2023-01-03 TDSQL MySQL 版HBaseMapReduce数据迁移解决方案数据迁移


硅谷技术新焦点:摆脱缝合怪的多云设计,才是云计算的归宿

作者 | 滕昱、丁辰瑜、商小乐、孙骜 编辑 | tina 硅谷科技界又有了新的、轰动性的关注焦点。云成本已经成了一个不可忽视的问题。硅谷顶尖风投 a16z 说:“不使用云计算,你就是疯了;坚持使用云计算,你也是疯了。”现在,在寒冬面前,云成本和云安全问题就更显得严重。如果不想“下云”,那么必须...

2022-12-29 数据分析编程算法大数据数据迁移解决方案数据迁移


ERP系统MDG系列9:MDG模块数据迁移介绍

声明:本文仅代表原作者观点,仅用于sap软件的应用与学习,不代表sap公司。注:文中所示截图来源sap软件,相应著作权归sap所有。前序 众所周知,mdg产品最重要的作用是get data clean和keep data clean。无论是master data consolidation或central governance,数据导入方式和工具都是必不可少的环...

2022-12-28 数据库SQL数据分析数据迁移


数据仓库ETL管理平台TASKCTL调度计划控制原理

执行计划控制执行计划控制策略在调度应用中非常普遍,是调度控制策略中最重要的策略之一。执行计划指作业的运行周期,简单说,指一个作业什么时候需要运行,比如:每周一、每月初、每月底以及季末等。在 taskctl中,执行计划非常灵活,几乎可以定义任意周期,同时,taskctl可以分别支持自然日期执行...

2022-12-10 分布式数据挖掘数据迁移织云 自动化运维实时ETL