大数据交互式引擎的分类

在开源大数据领域，最早的大数据引擎主要以MapReduce计算引擎为主。MapReduce通过分布式计算，对数据进行批处理，数据吞吐量比较大，但是数据处理性能比较低，主要原因首先是数据处理过程中是通过数据流进行读取，因此效率较低，其次是MapReduce引擎是离线的，只能处理离线的数据。

为了解决MapReduce引擎数据处理性能较低的问题，Interactive Data Processing（交互式数据处理）系统应运而生。交互式数据处理引擎解决了MapReduce引擎性能较低的问题，主要通过内存计算的方式提升了数据处理的性能。

交互式数据处理系统主要分为三类：批处理引擎、内存计算引擎和实时计算引擎。

批处理引擎

批处理引擎是指对大规模数据进行离线分析的引擎。批处理引擎的特点是，数据处理过程是不可交互的，也就是说，一旦数据处理任务启动，就不能对任务进行任何修改或干预。批处理引擎通常用于对历史数据进行分析，例如，对日志数据进行分析以发现异常情况，或者对销售数据进行分析以了解销售趋势。批处理引擎的代表有MapReduce、Hive、Pig和Presto等。

内存计算引擎

内存计算引擎是指对大规模数据进行实时分析的引擎。内存计算引擎的特点是，数据处理过程是可交互的，也就是说，可以在任务运行过程中对任务进行修改或干预。内存计算引擎通常用于对实时数据进行分析，例如，对流数据进行分析以检测欺诈行为，或者对社交媒体数据进行分析以了解用户行为。内存计算引擎的代表有Spark和Flink等。

实时计算引擎

实时计算引擎是指对大规模数据进行实时分析的引擎。实时计算引擎的特点是，数据处理过程是实时的，也就是说，数据一经产生，就可以立即进行分析。实时计算引擎通常用于对事件数据进行分析，例如，对网络流量数据进行分析以检测安全威胁，或者对传感器数据进行分析以预测机器故障。实时计算引擎的代表有Storm、Drill、Impala和Phoenix等。

不同类型的大数据交互式引擎的优缺点

类型	优点	缺点
批处理引擎	数据处理性能高、稳定性好	数据处理过程不可交互、数据处理延迟高
内存计算引擎	数据处理性能高、数据处理过程可交互、数据处理延迟低	内存消耗大、稳定性差
实时计算引擎	数据处理延迟低、数据处理过程可交互	数据处理性能低、稳定性差

不同类型的大数据交互式引擎的适用场景

类型	适用场景
批处理引擎	对历史数据进行分析、数据挖掘
内存计算引擎	对实时数据进行分析、流数据分析
实时计算引擎	对事件数据进行分析、安全威胁检测、机器故障预测

结论

交互式数据处理系统是近年来发展起来的一种新型大数据处理技术，它可以满足不同场景下对数据处理的要求。批处理引擎、内存计算引擎和实时计算引擎是三种主要类型的交互式数据处理系统，它们各有优缺点，适用于不同的场景。选择合适的交互式数据处理系统可以帮助企业快速、高效地处理大规模数据，从而为企业决策提供支持。