最新消息: PyCharm vs VSCode,哪个更好?
您现在的位置是:群英 > 开发技术 > web开发 >
中国数据库技术的又一突破!
IT168发表于 2020-11-21 14:51 次浏览
    在今年的全国两会上,“新基建”被首次写入政府工作报告。国家信息中心信息化和产业发展部主任单志广表示,“新基建”将充分发挥数字对经济发展放大、叠加、倍增作用,对产业链实行改造,有助于突破产业发展瓶颈,培育新的服务与消费,实现经济增长动力机制由传统要素驱动、投资规模驱动向创新驱动转型。并且从根本上全面提升我国在关键技术领域的自主可控实力。

 国内数据库迎来了属于自己的风口,肩负着新时代所赋予的使命。数据海量爆发以及其重要性不断促进数据库架构的革新与性能提升,自主可控的信创大潮也激励着国产数据库厂商奋发图强。在此背景下可以看到,正在百花齐放的中国数据库市场更加争奇斗艳,也赢得了重量级客户的青睐,素有“宇宙行”之称的中国工商银行重要业务系统——对公(法人)理财系统完成从大型主机到分布式架构改造,运行在分布式数据库OceanBase之上,腾讯云分布式数据库TBase将为中国人保集团在数字化提供支持,达梦数据库中标中国石油天然气股份有限公司管道分公司的国产化改造一期项目等,资本也纷纷看好,2020年7月,人大金仓宣布完成近亿元融资,10月,巨杉宣布完成数亿元人民币D轮融资,日前偶数科技完成B轮融资,PingCAP 宣布完成 2.7 亿美元的D轮融资等,一系列的融资加速了国产数据库市场的推进。

  在纷繁的数据库技术潮流中,分布式、云原生、开源、图、AI等成为新的发展趋势,在各行业的落地应用中,金融业尤其是银行成为兵家必争之地。2020年第十一届中国数据库技术大会(DTCC2020)将以“架构革新 高效可控”为主题,带你去看最前沿的数据库技术趋势与实践。

数据库技术及应用教程

  2020年12月21日~12月23日,由 IT168 旗下 ITPUB 企业社区平台主办的第十一届中国数据库技术大会(DTCC2020),将在北京隆重召开。大会以“架构革新 高效可控”为主题,设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

  为了帮助更多企业落地数据项目实施方案,今年将继续开设多门深度培训课程,内容涵盖数据中台、去IOE实践、区块链技术、内核开发实践等。3天传统技术演讲+1天深度主题,将汇聚各行业精英、技术领袖、行业专家和数据英雄,带来超过100场主题演讲和超5场培训课程的头脑风暴。大会官网:http://dtcc.it168.com

数据库技术及应用教程

扫描识别上方二维码 直达大会官网

  历经十年的积累与沉淀,如今的DTCC已然成为国内数据库领域的技术风向标,见证了整个行业的发展与演变。作为顶级的数据领域技术盛会,今年又有哪些亮点?

  亮点一:架构革新之分布式数据库

  在海量数据的爆发之下,传统的集中式架构出现了瓶颈,有业内人士指出未来如果量子计算机突破了硬件的极限,会回归到集中式架构,当下来看分布式架构依然是大势所趋。

  在云计算时代,云原生分布式数据库开始崛起,提供弹性扩展、高可用、分布式等特性。为了满足弹性扩展、弹性计算、以及按需按量使用等企业级应用需求,云原生数据库需要利用软硬件一体化设计,同时探索新的体系架构例如通过分布式shared-storage来实现shared-everything和存储计算分离,一写多读的扩展能力。在高并发、对水平拓展有强需求的应用场景下,云原生数据库同时也需要探索基于shared-nothing的分布式架构来提供分布式数据库能力来处理分布式查询和分布式事务处理。同时,金融级高可用、异地多活等技术挑战也是云原生数据库所必须提供的关键能力。同时也深度结合了大数据技术、机器学习以及安全可信等最新技术,提供面对未来下一代企业级云原生分布式数据库系统。

  在DTCC2020主会场1,阿里巴巴集团副总裁,阿里云智能数据库事业部总负责人李飞飞将带来《企业级云原生分布式数据库系统:机遇与挑战》的主题演讲,分享云原生分布式数据库的机遇与挑战。

数据库技术及应用教程

  亮点二:数据库内核如何优化?

  根据中国信息通信研究院发布的《开源生态白皮书(2020年)》,2019年我国企业已经使用开源技术的企业占比为87.4%,同比增长10.7%,我国企业使用开源技术已成主流。根据信通院的数据,我国超半数企业使用开源软件应用于数据库方向。企业在数据库方面对开源软件的使用比例最高,占比为58.7%,其次企业对大数据和存储的开源软件使用占比也均超过五成,分别为52.4%和51.2%。

  使用开源数据库,数据库内核优化非常重要。开源数据库(MySQL/PostgreSQL)内核有什么可以修改的地方吗?如何修改?要回答这些问题,有一个最佳参考对象:Oracle。虽然2019年Oracle在国内历经风雨,但Oracle数据库的内核仍十分优秀,而且积累了大量高并发、海量数据场景下的最佳方式。研究、参考Oracle的内核,将它的成熟经验用于基于开源或自研的数据库,是师夷长技以制夷的一种很好方式。

  在DTCC2020专场1,美创科技技术专家首席研究员吕海波将带来《借鉴Oracle,深入修改MySQL/PostgreSQL内核代码》的主题演讲,以调试数据库技术为方式,深入数据库中最核心的SQL解析、逻辑与物理I/O、事务处理、数据存储为例,比较Oracle、MySQL、PostgreSQL三种主流关系数据库内核的异同,以及如何参考Oracle的成熟经验修改MySQL、PostgreSQL内核。

数据库技术及应用教程

  亮点三:金融行业数据库落地实践

  在再造一个农业银行的数据化转型战略部署下,农业银行在基础设施领域经过充分调研和决策,在数据库领域制定了“自主可控为主+商业产品为辅”的应用策略,不断加大数据库团队建设,积极增加人力投入,利用银行金融业务场景丰富、监管要求严格等需求特点,不断加深对多种数据库的研究探索和功能试用。一方面充分利用现有商业数据库的各种功能,满足在资源管理、两地三中心运行、实时数据总线、数据迁移等多个方面的实际需求,具备了成熟的生产应用经验;一方面不断深入研究开源数据库MySQL、图数据库等多种类型数据库,积极探索高可用架构、扩展业务应用场景,选取多种业务场景进行生产试点应用,具备了一定的生产使用经验。

  在DTCC2020专场3,中国农业银行研发中心数据库团队负责人张刚将带来《农行在商业/开源数据库方面的探索和实践》的主题演讲,为你奉上干货满满的金融业数据库落地实践。

数据库技术及应用教程

  亮点四:数据架构设计与实践

  去IOE的浪潮已经持续多年,近两年在信创和自主可控的大背景下,去IOE之声更为响亮。传统企业如何降本增效,从传统商业封闭的IOE系统迁移到开源分布式系统,一直都是系统建设的难点。

  在DTCC2020专场5,浙江移动云智能中心平台架构部主管郭岳将带来《浙江移动业务系统去IOE经验》的主题演讲,将从去IOE的技术路线选择、组织架构适配,到目前进展,全面揭示传统企业去IOE可行路径,对于传统企业如何进行去IOE工作提供了可借鉴的路径,同时对未来系统规划和演进进行了思考。

数据库技术及应用教程

  亮点五:图数据库技术的落地与应用

  随着大数据、人工智能、5G、IoT等技术发展,带来了数据量的激增、数据关联的复杂化以及数据处理需求的提升,发掘复杂关联数据的内在价值成为巨大挑战。与此同时,Gartner 指出:图分析是未来公司可持续竞争力唯一且最有效的数据处理手段。图数据库以事物和事物间关系的数据结构存储数据,专门针对复杂关联深链查询优化,成为了近年崛起速度最快的数据库技术。包括沃尔玛、亚马逊、CISCO、HP、eBay在内的75%的全球百强企业已开始使用图数据库解决生产问题,提升运营效率、节约运营成本、创造客户价值。

  然而,伴随图数据库赋能带来的业务增长,客户在数据价值转化过程中又遇到了新的挑战。面对体量激增的超大规模海量图数据以及业务驱动的对关联数据实时查询、计算分析的需求,现有图数据库技术暴露出了性能低、扩展差、资源占用效率低等问题,催生了新一代图数据库技术的发展。

  在DTCC2020专场6,创邻科技 CEO张晨 将带来《Galaxybase分布式图数据库》的主题演讲,介绍以Galaxybase为代表的具备大图数据实时查询计算性能的新一代图数据库技术,以及图数据库整体生态等。

数据库技术及应用教程

  亮点六:云原生数据库时代已来

  根据Gartner 2019年的数据来看,2018年全球Cloud DBMS收入占据全球DBMS市场份额的22.75%,预计到2022年75%的数据库将会在云上,云数据库的使用将会变得越来越普遍。传统数据库到云数据库有哪些不同,如何解决完整的生命周期管理,服务高可用以及数据高可靠如何保证,在数据安全越来越受重视的今天,云数据库产品在这方面与传统模式又有哪些不同。在云数据库建设的过程中需要解决哪些问题,如何从1条产品线逐步去完善打造一个云数据库生态体系,如何让数据库上云以及数据在云间如何更好地流转。

  在DTCC2020专场9,京东云专家架构师&云数据库技术负责人张成远将带来《云数据库建设实践》的主题分享,通过这些实践帮助大家更好地去理解云数据库背后的技术原理以及思考未来云数据技术的发展趋势。

数据库技术及应用教程

  亮点七:AI与大数据技术应用

  近年来,众多零售行业打破传统的销售模式,以互联网为依托,通过运用大数据及人工智能的技术能力对商品的生产、流通与销售过程进行升级改造,深度融合线上服务、线下体验以及现代物流,逐步形成了新零售模式。在新零售背景下,将商品相关的数据进行立体化、智能化、常识化的理解对于相关业务来说至关重要,因此催生了商品知识图谱相关的研究方向。在商品图谱构建方面,零散的数据来源、异构数据的整合、多模态数据的信息融合等都对图谱的构建提出了巨大的挑战。在应用方面,由于新零售领域中业务覆盖广泛,包括线上购物、线下配送、仓储、供应链等,在不同业务中商品知识图谱都有不同的应用方式,需要更加紧密地和业务进行对接。

  在DTCC2020专场11,美团搜索与NLP部技术专家曹雪智将带来《美团大脑系列:新零售场景下商品知识图谱的构建及应用》的主题分享,基于美团点评的应用场景,介绍美团大脑中的商品知识图谱是如何进行构建并赋能新零售行业。

数据库技术及应用教程

  亮点八:拨开数据中台的迷雾

  数据中台自2018年在国内逐渐兴起以来,掌声和质疑从未间断。夸赞者认为数据中台是企业挖掘数据价值的关键,质疑者称其毁了不少企业的CIO。数据中台是“李鬼”还是“李逵”?

  数据在机器学习中的作用举足轻重,微博机器学习平台数据中台以自身强大的数据工程能力,提高了数据生成与获取效率,增强数据价值,在数据存储与数据计算上支撑了微博业务的机器学习实施。

  在DTCC2020专场12,微博机器学习数据中台数据架构童学敏将带来《微博机器学习平台数据中台实践》的主题演讲,从微博机器学习平台、数据中台架构、实时数据计算、高性能数据服务等方面分享微博的数据中台。数据库技术及应用教程

  亮点九:数据库智能运维

  数据库的高可用,是为了保证在发生一些异常情况时,数据库能够继续对外提供数据库服务,保证数据库服务的连续性,所以数据库的高可用也是非常重要、非常基础的数据库架构。目前互联网公司中关系型数据库使用MySQL和PostgreSQL数据库比较多,这两类数据库都支持主从复制功能,可以将数据库实例从单实例变成主从复制多实例,使数据和服务从一份变为多份,这为高可用奠定了基础。但仅仅有主从复制是不够的,在生产环境中,要保证业务和数据服务的高可用,在主从复制的基础上,还需要先从整体上对高可用的本质、架构要点、实现细节、功能性能等方面进行综合权衡和考虑,才可以实现一个相对完备的高可用架构。

  在DTCC2020专场14,Airwallex(空中云汇) 资深DBA赵飞祥将带来《MySQL数据库与PostgreSQL数据库高可用分析与实践》的主题演讲,分享他在MySQL和PostgreSQL高可用方面的思考和实践。数据库技术及应用教程

  亮点十:NoSQL数据库技术实践

  Redis作为一款高性能、易扩展、数据结构丰富的内存型NoSQL数据库,凭借其开源、高效、易用的特性,拥有着广泛的用户基础。

  UPRedis是银联基于Redis+TwemProxy的分布式缓存产品,目前在公司内广泛应用,线上部署超过1000实例,支撑了公司内无卡、二维码、全渠道及云闪付等关键应用。随着公司内技术架构逐步从单中心升级为多中心,为保持应用层无状态,需要对异地中心的缓存、关系型数据库等实时同步。因此需要UPRedis支持异地多活。

  在DTCC2020专场17,中国银联·云计算中心分布式缓存产品UPRedis研发负责人赵仕荣将带来《银联分布式缓存的异地多活实践》的主题演讲,介绍异地多活带来的技术挑战以及UPRedis的解决方案,比如,Redis并不支持主主同步,UPRedis如何防止数据循环同步等。

数据库技术及应用教程

  除此之外,本次大会还设有数据治理、存储与计算专场,讲述企业的最佳实践。更多精彩欢迎关注DTCC2020大会官网,作为顶级的数据领域技术盛会,DTCC2020将继续秉承一贯的干货分享和实践指导原则,期待大家的热情参与!


免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。
相关信息推荐