大数据技术栈中主要框架介绍

大数据技术栈涵盖数据采集、存储、计算与应用四层，其中计算层核心框架各有侧重：Hadoop 适用于离线批处理，适合处理海量历史数据；Spark 基于内存计算，兼顾批处理与微批流处理，适合快速迭代和中等实时性场景；Storm 和 Flink 专注实时流处理，Storm 提供毫秒级响应，而 Flink 凭借真正的流处理模型、低延迟与强状态管理，成为当前实时计算的主流选择。整体趋势正向湖仓一体、实时化和云原生演进，框架选型应结合数据规模、时效要求与业务场景综合判断。

大数据技术栈经过多年发展，已形成成熟的技术体系，按照数据流转链路可分为四层：数据采集层、数据存储层、数据计算层和数据应用层。以下重点介绍计算层的核心框架：

一、数据计算层框架分类

1. 批处理框架（处理历史数据）

• Hadoop MapReduce
  • 特点：基于"分而治之"思想，使用磁盘作为中间交换介质
  • 优势：能处理PB/EB级海量数据，容错性好，生态成熟（Hive、HBase等）
  • 适用场景：日志分析、数据仓库ETL、大规模历史数据分析
  • 局限：处理速度慢（需多次磁盘I/O），中间结果写入硬盘

2. 流处理框架（实时处理数据流）

• Storm

  • 特点：真正的实时流处理，数据在内存中流转
  • 优势：毫秒级响应，适合实时计算场景
  • 适用场景：实时风控、实时推荐、用户行为分析
  • 局限：不能处理固定大小的数据集

• Samza

  • 特点：与Storm类似，基于Kafka构建的流处理框架
  • 适用场景：Kafka生态系统内的实时处理

3. 混合处理框架（批处理+流处理）

• Spark

  • 特点：基于内存计算，采用"微批处理"方式处理流数据
  • 优势：比MapReduce快100倍，能自动优化DAG执行
  • 适用场景：需要快速迭代的计算（如机器学习）、中等实时性要求的场景
  • 局限：流处理延迟高于Storm和Flink

• Flink

  • 特点：真正的流处理（每条数据实时处理），状态管理完善
  • 优势：低延迟、高吞吐，能处理乱序数据，状态准确性高
  • 适用场景：高频交易、实时风控、需要精确统计的场景
  • 对比Spark：Flink的实时性更好，适合对延迟要求极高的场景

二、主流框架对比

三、大数据技术栈分层详解

1. 数据采集层

• 实时采集：Kafka（高吞吐）、Pulsar、Flume
• 批量采集：DataX、SeaTunnel、Sqoop
• 数据变更捕获：Flink CDC、Debezium

2. 数据存储层

• 分布式文件系统：HDFS、云存储（OSS、S3）
• 列式存储：Parquet、ORC、Iceberg
• NoSQL数据库：HBase、Cassandra、MongoDB
• MPP数据仓库：StarRocks、Doris、ClickHouse

3. 数据计算层（重点介绍）

• 批处理：Hadoop MapReduce、Spark SQL
• 流处理：Storm、Flink、Spark Streaming
• 混合处理：Spark、Flink

4. 数据应用层

• 可视化：Tableau、Superset、Zeppelin
• 分析工具：Hive、Presto、Impala

四、框架选型建议

1. 处理历史数据，不追求实时性 → 选择Hadoop

   • 适合：日志分析、数据仓库ETL、月度报表

2. 需要快速处理分析，对实时性要求中等 → 选择Spark

   • 适合：机器学习、交互式分析、数据探索

3. 需要毫秒级实时响应 → 选择Flink或Storm

   • 适合：实时风控、实时推荐、高频交易
   • 优先选择Flink（实时性更好，状态管理更完善）

4. 需要同时处理批处理和流处理 → 选择Flink或Spark

   • 优先选择Flink，尤其在对延迟要求高的场景

五、技术趋势

2025年大数据技术栈正朝着"湖仓一体"、"实时化"和"云原生"方向发展：

• 湖仓一体：数据湖与数据仓库的融合，如Delta Lake、Iceberg
• 实时化：从T+1向T+0发展，Flink成为实时处理的主流框架
• 云原生：阿里云MaxCompute、AWS EMR等云服务成为主流

关键提示：技术没有绝对的过时，关键在于"用在什么地方"。Hadoop在处理超大规模历史数据上依然具有成本优势，Spark和Flink则在实时处理领域各有优势，选择合适的框架需结合业务需求、数据规模和实时性要求。