大数据时代,录信数软助力数据价值挖掘

2020-07-15
有没有这么一种可能性,为海量数据建立一层索引,从而以减少扫描的数据量,降低硬件成本?

大数据技术近年来日渐成熟,在社会民生中发挥的作用也愈加显著。尤其在今年的新冠疫情中,相关机构应用大数据技术,通过收集处理航空、铁路、公路等交通部门的出行数据,并在用户授权的前提下,从移动、联通、电信三大运营商获取用户手机位置信息并进行统计分析,从而得以追踪个体移动轨迹、建立个体关系图谱,精准定位疫情传播路径,在防控疫情扩散方面起到了重要作用。

随着移动互联网和通信技术的迅速发展,数据信息的分布和应用也越来越广,对政府和企业而言,数据库已成为决定发展方向的重要因素和信息化转型的重要基础。根据IDC预测,全球数据总量预计2020年底达到44 ZB,中国数据总量将达到8060 EB,占全球数据总量的18%。海量数据带来了诸多挑战和机遇,数据不但需要在成本可控的前提下有效存储,并且需要凭借强有力的工具进行灵活的检索、统计和分析,充分挖掘数据价值。

本文图片来源于录信数软,经授权使用。

录信数软(南京录信软件技术有限公司)成立于2018年,核心团队在大数据检索分析领域有10余年的积累,致力于大数据行业数据库软件的自主研发。在目前国内推进发展新基建战略、国产化替代、基础软件领域的背景下,录信数软基于Lucene和Hadoop技术栈,就海量数据的即时检索和多维聚合分析领域,为多个行业提供低成本、高价值的大数据应用支撑服务。

录信数软团队目前约有20人,多数来自阿里、腾讯、IBM、富士通、烽火等国内知名企业,技术研发人员占比60%。创始人之一的CTO母延年于2006年入职新浪,首次接触到搜索领域,并产生了浓厚兴趣。带着对Lucene(全文搜索框架)的热忱,2011年他入职阿里并萌生了将大数据和全文检索相结合的想法,曾参与或主导了支付宝黄金策的Higo、开源项目MDrill(多维分析);后入职腾讯,参与了腾讯的Hermes(实时检索分析平台)等项目,有数十个万亿级、几百个千亿级别的项目设计与实施经验。提及创业初衷时,母延年提到:“除腾讯的业务场景之外,我们认为还存在很多更好的应用场景等待我们去探索和实践。帮助更多企业灵活运用数据信息,促进企业数字化转型也是我们最大的初心。因此我们最终选择了创业的道路。”

随着数据量的爆炸式增长,传统关系型数据库已无力应对海量数据的OLAP(在线分析处理)场景,而基于Hadoop分布式存储及计算体系的多种技术则随之蓬勃发展。但目前业界对于大数据检索分析的各种场景,如全文检索、查询统计、预计算、流计算等,需多套系统组合使用,数据膨胀率高,运营维护难度较大。对于缺乏技术能力的机构而言,想要发掘手中握有的数据价值,需要组建技术团队,时间和经济成本极高。

录信数软针对行业痛点,开发了准通用型全栈数据库产品LSQL和数据库一体机迅禄,在数据量、灵活性、性能三者之间达到平衡,在降低数据膨胀率、提升系统易用度、节省综合成本的基础上,做到万亿数据秒查。

本文图片来源于录信数软,经授权使用。

对标同行业的头部产品ES(Elasticsearch),录信数软的LSQL在使用成本、存储规模、个性化方案定制上都有进一步的优化。母延年表示:“ES为了保证较高的性能,需要使用读写速度较快的SAS盘或者SSD盘来存储数据,但SAS盘或SSD盘相比普通的SATA磁盘,价格昂贵,单盘存储容量小。例如, 900GB容量的SAS盘的价格,与8TB的SATA盘差不多,从而导致ES的硬件成本也大幅提高。LSQL则使用列簇冷热分离技术,能做到热数据通过SSD加速,后期自动迁移至SATA磁盘,业务无感知,成本可成倍数降低。”此外,LSQL针对细分行业推出的个性化定制版本,目前已广泛应用于公安、交通交警、军队、汽车等行业。

目前录信在开发新一代HSQL产品。对比第一代产品LSQL,HSQL应用范围更广,涵盖OLAP和搜索领域,更可替代传统数仓(Hive、Spark SQL)以及KV数据库。“HSQL不仅仅是ES的替代,更多包含的是其他大数据组件功能的整合。区别于行业内简单的框架整合,HSQL深入底层,对各组件源码进行重构兼容以实现HSQL独有的特性,而上层对各框架接口进行调度封装以实现功能整合,最终通过一个接口做到一份数据的多次利用,无需在各个系统内独立储存数据。”谈及新产品时,母延年说到。

录信数软的商业模式主要是软件的授权费、服务费、定制费,以及一体机售卖。平均每90天更新版本的速度确保了用户和合作伙伴能享受最新产品功能。凭借产品和服务优势,录信数软在2019年合同收入达千万级别,且实现盈利。2020年受疫情影响,预计整体营收在2000万左右。

2020年4月初,录信数软披露了首次种子轮融资,由凯风创投投资,此次融资主要用于新产品的研发。目前新产品HSQL研发已近尾声,且拥有部分种子用户,但尚未推向市场。“预计在今年第三季度我们将进行新一轮的融资,用于新产品及周边产品的完善、团队扩充和市场推广。”母延年介绍到。

本文图片来源于录信数软,经授权使用。本文为创业邦原创,未经授权不得转载,否则创业邦将保留向其追究法律责任的权利。如需转载或有任何疑问,请联系editor@cyzone.cn。


来源:原创