在数据湖和数据仓库平台的热闹世界中，出现了两家以色列的新创公司。Varada使用Presto的索引加速实施来提供数据虚拟化，而Firebolt使用专有技术来构建高性能数据仓库。
两家都位于以色列的新兴分析引擎初创公司宣布发布，相隔一天。昨天，瓦拉达(Varada)推出了其数据平台，该平台经历了一段时间的测试期。今天早上，Firebolt宣布了其云数据仓库即服务，以及3700万美元的A轮融资，Zeev Ventures，TLV Partners，Bessemer Venture Partners和Angular Ventures参与了此次融资。
两家初创公司的平台针对类似的工作负载，目前仅在Amazon Web Services上运行。但是他们的技术方法在重要方面有所不同。
瓦拉达的变化
由XtremIO的校友创建的Varada采用数据虚拟化方法，使用开源Presto查询引擎提供数据源连接和基本查询服务。但是Varada结合使用缓存和基于机器学习的优化来提高性能。它还使用多种类型的索引(甚至包括基于文本的数据的Lucene索引)来减轻进行大型文件扫描的需要。Varada表示，其平台会根据数据内容和结构自动为每个“ nano块”(列式数据存储的子单元的Varada名称)选择最有效的索引。
在ZDNet的演示中，Varada显示了它与还使用Presto的Amazon Athena之间的并排查询。这两个平台在Amazon S3中相同的数据文件上运行相同的查询， 其中几个查询在Varada上执行速度快两个数量级，甚至有一个例外，其执行速度快30倍以上。尽管人们期望卖方控制的演示能够以积极的态度展示该卖方的平台，但这仍然令人印象深刻。
但是除了速度之外，Varada对索引的使用意味着它需要扫描的数据比雅典娜少得多。由于Athena会根据扫描的数据量进行计费，因此这不仅是优雅的问题，而且是真正节省成本的功能。Varada还表示，它提供了“玻璃盒”式的工作负载性能和群集利用率可视性，该平台针对其客户配置的优先级和预算优化了工作负载。此外，Varada说，该平台使用机器学习来弹性调整计算和存储集群。
FIREBOLT：超越缓存
Firebolt由Eldad Farkash领导，他在2004年至2018年期间担任Sisense(也成立于以色列)的联合创始人兼CTO。Farkash的背景受到荷兰Centrum Wiskunde&Informatica研究人员的工作及其MonetDB项目的影响。该数据库率先使用了列式存储，向量处理以及除RAM外还利用CPU缓存来加速查询;Sisense的引擎采用了类似的方法。Firebolt也利用CPU缓存，但这不是它的标题体系结构功能。
Firebolt的理念是，大多数数据湖技术现在都依赖于Parquet列式文件格式，尽管具有创新性，但不足以支持快速的查询。列存储和分区存储的结合可以很好地用于某些BI风格的查询，这些查询恰好是由文件所在的列(例如日期)聚合而成的。但是，如果查询超出了范围(例如，按地理位置或产品进行汇总)，并且无法利用分区方案，则需要进行大文件扫描，并且性能可能会大大下降。
Firebolt解决此问题的方法是使用其自己的FFF文件格式。FFF的结构取决于所使用的存储层次结构的层(Amazon S3，固态磁盘或CPU缓存)。它使用了新的压缩和编码选项，并针对Firebolt查询引擎进行了优化。每个数据文件均按主键排序，并使用加载到内存中的稀疏索引建立索引。当物理排序顺序无法执行时，索引会加速查询。除了这些优化之外，Firebolt还可以利用GPU进一步加速某些工作负载。
对速度的需求
Varada和Firebolt都致力于将数据湖变成启动板，以便对大量数据进行快速分析，而不仅仅是存储数据的解决方案。Firebolt在湖上建立了专有的数据仓库，并使用其自己的嵌套数据优化的SQL语法。Varada使用标准的数据湖存储格式和流行的开源查询引擎，但通过其自己的索引技术和工作负载管理对其进行了扩充。
在更广阔的数据和分析市场中，无论名称是“湖”，“仓库”还是“湖”，目标都是相同的：对大数据量提供快速查询并控制成本。数字化转型正在推动这些需求，而也加速了数字化转型。现在，大多数供应商意识到，平衡价格，性能和易用性应优先于开发原始功能。而在Varada和霹雳的情况下，市场现在有两个新创公司成立这个概念本身。