您的位置:首页 > 互联网 > 正文

Varada和Firebolt推出云分析查询平台

发布时间:2021-03-08 11:24:34  编辑:  来源:

在数据湖和数据仓库平台的热闹世界中,出现了两家以色列的新创公司。Varada使用Presto的索引加速实施来提供数据虚拟化,而Firebolt使用专有技术来构建高性能数据仓库。

两家都位于以色列的新兴分析引擎初创公司宣布发布,相隔一天。昨天,瓦拉达(Varada)推出了其数据平台,该平台经历了一段时间的测试期。今天早上,Firebolt宣布了其云数据仓库即服务,以及3700万美元的A轮融资,Zeev Ventures,TLV Partners,Bessemer Venture Partners和Angular Ventures参与了此次融资。

两家初创公司的平台针对类似的工作负载,目前仅在Amazon Web Services上运行。但是他们的技术方法在重要方面有所不同。

瓦拉达的变化

由XtremIO的校友创建的Varada采用数据虚拟化方法,使用开源Presto查询引擎提供数据源连接和基本查询服务。但是Varada结合使用缓存和基于机器学习的优化来提高性能。它还使用多种类型的索引(甚至包括基于文本的数据的Lucene索引)来减轻进行大型文件扫描的需要。Varada表示,其平台会根据数据内容和结构自动为每个“ nano块”(列式数据存储的子单元的Varada名称)选择最有效的索引。

在ZDNet的演示中,Varada显示了它与还使用Presto的Amazon Athena之间的并排查询。这两个平台在Amazon S3中相同的数据文件上运行相同的查询, 其中几个查询在Varada上执行速度快两个数量级,甚至有一个例外,其执行速度快30倍以上。尽管人们期望卖方控制的演示能够以积极的态度展示该卖方的平台,但这仍然令人印象深刻。

但是除了速度之外,Varada对索引的使用意味着它需要扫描的数据比雅典娜少得多。由于Athena会根据扫描的数据量进行计费,因此这不仅是优雅的问题,而且是真正节省成本的功能。Varada还表示,它提供了“玻璃盒”式的工作负载性能和群集利用率可视性,该平台针对其客户配置的优先级和预算优化了工作负载。此外,Varada说,该平台使用机器学习来弹性调整计算和存储集群。

FIREBOLT:超越缓存

Firebolt由Eldad Farkash领导,他在2004年至2018年期间担任Sisense(也成立于以色列)的联合创始人兼CTO。Farkash的背景受到荷兰Centrum Wiskunde&Informatica研究人员的工作及其MonetDB项目的影响。该数据库率先使用了列式存储,向量处理以及除RAM外还利用CPU缓存来加速查询;Sisense的引擎采用了类似的方法。Firebolt也利用CPU缓存,但这不是它的标题体系结构功能。

Firebolt的理念是,大多数数据湖技术现在都依赖于Parquet列式文件格式,尽管具有创新性,但不足以支持快速的查询。列存储和分区存储的结合可以很好地用于某些BI风格的查询,这些查询恰好是由文件所在的列(例如日期)聚合而成的。但是,如果查询超出了范围(例如,按地理位置或产品进行汇总),并且无法利用分区方案,则需要进行大文件扫描,并且性能可能会大大下降。

Firebolt解决此问题的方法是使用其自己的FFF文件格式。FFF的结构取决于所使用的存储层次结构的层(Amazon S3,固态磁盘或CPU缓存)。它使用了新的压缩和编码选项,并针对Firebolt查询引擎进行了优化。每个数据文件均按主键排序,并使用加载到内存中的稀疏索引建立索引。当物理排序顺序无法执行时,索引会加速查询。除了这些优化之外,Firebolt还可以利用GPU进一步加速某些工作负载。

对速度的需求

Varada和Firebolt都致力于将数据湖变成启动板,以便对大量数据进行快速分析,而不仅仅是存储数据的解决方案。Firebolt在湖上建立了专有的数据仓库,并使用其自己的嵌套数据优化的SQL语法。Varada使用标准的数据湖存储格式和流行的开源查询引擎,但通过其自己的索引技术和工作负载管理对其进行了扩充。

在更广阔的数据和分析市场中,无论名称是“湖”,“仓库”还是“湖”,目标都是相同的:对大数据量提供快速查询并控制成本。数字化转型正在推动这些需求,而也加速了数字化转型。现在,大多数供应商意识到,平衡价格,性能和易用性应优先于开发原始功能。而在Varada和霹雳的情况下,市场现在有两个新创公司成立这个概念本身。

版权声明:转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益,请作者持权属证明与本网联系,我们将及时更正、删除,谢谢您的支持与理解。
版权声明: 本站若有来源标注错误或侵犯了您的合法权益,请作者持权属证明与本网联系,我们将及时更正、删除,谢谢您的支持与理解。转载文章是出于传递更多信息之目的。
版权所有: 阜新生活网 ·(2019-2021) .闽ICP备20009870号-2. 联系QQ:173 0547 905 .