HVR助力天天拍车,构建实时大数据平台

天天拍车是国内领先的二手车竞拍平台,现有核心业务是二手车线上竞拍。在天天拍车平台上,全国专业买家在线竞拍,帮助个人车主高价快速卖车。同时,天天拍车还提供上门检测、线上竞拍、包办手续等一站式二手车交易服务。

天天拍车运用互联网技术,从根本上解决了二手车跨各区域成交和流通效率低下等问题,持续推进行业升级变革。全国二手车经销商传统的线下收车方式正在被快速颠覆——二手车经销商通过天天拍车的在线竞拍系统,在手机端就能轻松竞拍到全国海量优质车源,收车效率和运营效率得以提升,这有助于二手车经销商专注于车辆整备和二手车零售,加速行业专业化分工、实现规模化发展。

项目背景

天天拍车于2018年8月开始自建数据仓库用来替换第三方的服务商BDP的产品。使用开源的数据仓库Greenplum后,立马面临的是所有业务数据如何进入数据仓库的问题,由于天天拍车目前所使用的数据库主要有MySQL、Oracle、SQLServer,其中MySQL主要为天天拍车对外业务系统所使用,Oracle用在新的财务系统以及OA系统中,SQL Server用于老的财务系统。为了能够提供更加高效和准确的数据报表,就需要所有数据都能够进入数据仓库,对数据进行统一的管理。

项目需求

为了让所有的数据进入数据仓库,我们对用于将数据同步至数仓的软件有如下需求

  1. 支持MySQL的全量以及增量备份
  2. 支持Oracle的全量以及增量备份
  3. 支持SQL Server的全量同步
  4. 对于增量备份可以支持准实时的同步也可以支持延时同步
  5. 同步软件不会对源库造成负载上升的问题
  6. 同步中断后能够记录中断点,在下次同步时可以自动从中断点开始继续同步数据
  7. 能够提供对同步组件的监控
  8. 操作简单,运维效率高

数据库架构

HVR数据同步架构

项目初期,为了满足业务部门的需求,暂时只需要将MySQL的数据能够同步到数仓。为了实现这个功能,天天拍车运维部调研了四种方案。 前三种方案前后总共花了半年时间,均不能达到业务部门的需求, 最终选择了使用商业产品HVR实现数据从MySQL同步到数仓。

HVR数据同步架构

在实施过程中,从软件的部署到开启从MySQL到greenplum的同步任务,花了大概4个小时。经过两周的测试,HVR不光满足了MySQL的数据同步,连Oracle、SQL Server也都支持了,对于没考虑到的需求,HVR也都支持,极大的提高了数据同步的效率。

© 2019 Copyright By Greenplum.cn. All Rights Reserved.