11问答网
所有问题
当前搜索:
实时数仓技术
淘菜菜 (一):基于Flink和Hologres的
实时数仓
架构升级之路
答:
淘菜菜,作为社区团购业务的主力,其
技术
架构经历了原始数据库、Flink SQL、Flink+Hologres
实时数仓
及高可用实时数仓2.0的升级。每个阶段都伴随着业务的扩张和挑战,如数据一致性问题、开发效率低下和运维成本增加等。2020年引入Hologres后,通过统一数据源、存储和计算,以及公共层和应用层的升级,解决了架构...
DataFunTalk:阿里建设一站式
实时数仓
的经验分享
答:
阿里一站式
实时数仓
建设经验分享大数据时代的实时性需求推动了实时数仓的发展,阿里巴巴资深
技术
专家姜伟华在DataFunTalk上的演讲,揭示了阿里基于Hologres构建实时数仓的实践经验。以下是关键点的提炼:实时数仓的挑战:传统的规模化向实时化转变中,业务对实时数据的需求催生了敏捷化开发和在线化使用。以前的两个...
DataFunTalk:阿里建设一站式
实时数仓
的经验分享
答:
DataFunTalk:阿里一站式
实时数仓
的经验分享大数据计算的实时化趋势日益显著,实时数仓的建设中遇到诸多挑战。阿里资深
技术
专家姜伟华在DataFunTalk中分享了阿里巴巴在构建一站式实时数仓Hologres过程中的经验与解决方案,旨在解决结构复杂、数据同步困难等问题。实时数仓的演进与一站式解决方案从传统的大规模计算走...
Flink CDC & MongoDB 联合
实时数仓
的探索实践
答:
本文基于XTransfer
技术
专家孙家宝在Flink Forward Asia 2022的数据集成专场分享,探讨了如何利用Flink CDC与MongoDB构建
实时数仓
,包括MongoDB在实时数仓的应用、MongoDB CDC Connector的实现原理和使用实践,以及FLIP-262 MongoDB Connector的预览功能。一、MongoDB在实时数仓的探索MongoDB作为非关系型数据库,...
实时数据仓库
和传统数据仓库的区别
答:
1.1 解决传统数仓的问题 从目前数仓建设的现状来看,
实时数仓
是一个容易让人产生混淆的概念,根据传统经验分析,数仓有一个重要的功能,即能够记录历史。通常,数仓都是希望从业务上线的第一天开始有数据,然后一直记录到现在。但实时流处理
技术
,又是强调当前处理状态的一个技术,结合当前一线大厂的建设...
DLink 流批一体
技术
架构及优势 | 滴普科技FastData系列解读
答:
在DLink中,底层Data Stack分为五个核心部分。其
技术
特点在后续章节中将详细讨论。
实时数仓
建设的关键在于ETL任务,DLink在这一领域提供了优化方案,解决了传统Lambda架构在ETL场景中遇到的问题。具体案例包括通过集成FastData DCT组件抓取Oracle binlog并转换为dct-json格式,实现增量数据入Iceberg实时数仓,...
基于腾讯云
数仓
Doris 开启
实时
统一数据分析之路
答:
Apache Doris作为分析性数据库,适用于多种场景,包括OLAP多维分析和报表、
实时数仓
和数据分析、高并发场景以及大数据和数据库统一分析。OLAP多维分析利用数据立方体进行钻取、上卷、切片、切块和旋转操作,实现高维表上的高速随意探查。实时数仓和数据分析通过分区和分桶
技术
,支持PB级数据量上的实时增删改查。
心识宇宙 x TapData:如何加速落地
实时数仓
,助力 AI 企业智慧决策_百度...
答:
心识宇宙携手TapData,加速AI企业智慧决策,落地
实时数仓
。通过集成CDC(变更数据捕获)、流处理与数据集成的组合策略,TapData简化数据管道搭建与维护过程,替代传统同步工具如OGG、DSG,加速数据流转,确保真正业务价值的数据应用。TapData持续迭代产品,优化用户体验,探索AI行业数据需求底层逻辑,提供简洁且针对性...
Flink+StarRocks
实时
数据分析新范式
答:
StarRocks 作为一种极致性能的分析型数据库,能够收敛 OLAP 分析层,开启实时数据分析新范式。二、实时数据更新:深入探讨了 StarRocks 在实时数据更新场景下的高效分析查询服务。通过结合 Flink 强大的计算能力,实现数据从 Flink 到 StarRocks 的实时同步和分析。不同场景下的
实时数仓
建设思路,以及面对...
如何在云
数仓
中实现
实时
数据分析?
答:
1、第二就是可以使用流处理
技术
将数据
实时
收集、处理、存储,并提供实时查询和可视化分析功能,
数据仓库
和ETL工具将数据从各个系统中抽取、转换、加载到数据仓库中,然后使用数据分析工具对数据进行实时查询和分析。2、首先无论你的数据是什么样的,经过我们的处理会把它做成数据标准化,当你的数据实时生成...
1
2
3
4
5
6
7
8
9
10
涓嬩竴椤
其他人还搜
实时数仓技术方案
实时数仓的流批一体
实时数仓数据应用
flink实时数仓
实时数仓与离线数仓对比
数据仓库建设
flink实时数仓架构
数仓平台组件架构
数据仓库gmall