一、大数据基础概念与架构

1. 大数据的核心特征（4V）

面试中常被问及“大数据的4V特征是什么？”，正确答案为：

• Volume（体量）：数据规模从TB级跃升至PB/EB级，需分布式存储（如HDFS）支撑；
• Velocity（速度）：实时流数据处理（如Kafka+Flink）要求低延迟；
• Variety（多样性）：结构化（数据库）、半结构化（JSON/XML）、非结构化（图片/视频）数据并存；
• Value（价值密度）：海量数据中有效信息占比低，需通过机器学习挖掘。

应用场景：电商用户行为分析需同时处理日志（非结构化）、订单（结构化）和点击流（半结构化）数据。

2. 大数据技术栈分层

需清晰描述各层工具：

• 存储层：HDFS（分布式文件系统）、HBase（列式数据库）、S3（对象存储）；
• 计算层：MapReduce（批处理）、Spark（内存计算）、Flink（流批一体）；
• 资源管理：YARN（统一资源调度）、Kubernetes（容器化调度）；
• 数据分析：Hive（SQL查询）、Pig（脚本化处理）、Impala（实时查询）。

避坑提示：避免混淆Spark与Flink的适用场景——Spark适合复杂ETL和机器学习，Flink更适合低延迟流处理。

二、核心技术原理与实现

1. Hadoop生态核心组件

• HDFS读写流程：

  // 客户端写入流程伪代码
  FileSystem fs = FileSystem.get(URI.create("hdfs://namenode:8020"), conf);
  FSDataOutputStream out = fs.create(new Path("/data/file.txt"));
  out.write("Hello HDFS".getBytes());
  out.close();

  需说明NameNode（元数据管理）与DataNode（数据存储）的协作，以及副本放置策略（机架感知）。

• YARN资源调度：
  描述从Client提交Application到ResourceManager分配Container，再到NodeManager启动Container的全过程，重点解释资源请求模型（CPU、内存、GPU）。

2. Spark优化实践

• RDD缓存策略：

  val rdd = sc.textFile("hdfs://...").filter(_.contains("error"))
  rdd.persist(StorageLevel.MEMORY_ONLY) // 缓存过滤后的数据

  需对比MEMORY_ONLY与MEMORY_AND_DISK的适用场景，以及unpersist()的调用时机。

• Shuffle调优：

  • 增加spark.shuffle.file.buffer（默认32KB）减少小文件；
  • 调整spark.reducer.maxSizeInFlight（默认48MB）控制数据传输速度；
  • 使用Tungsten优化引擎（二进制处理、代码生成）。

三、工具与框架实战

1. Hive性能优化

• 分区与分桶：

  -- 按日期分区，按用户ID分桶
  CREATE TABLE user_logs (
    user_id STRING,
    action STRING,
    ts TIMESTAMP
  ) PARTITIONED BY (dt STRING) 
  CLUSTERED BY (user_id) INTO 32 BUCKETS;

  分区减少全表扫描，分桶提升JOIN效率（需hive.optimize.bucketmapjoin=true）。

• 执行计划分析：
  使用EXPLAIN查看逻辑计划与物理计划，识别Map Join是否生效，或是否存在Data Skew（如GROUP BY某字段值分布极不均匀）。

2. Kafka消息队列

• 生产者配置：

  Properties props = new Properties();
  props.put("bootstrap.servers", "broker1:9092,broker2:9092");
  props.put("acks", "all"); // 确保消息被所有副本接收
  props.put("retries", 3); // 发送失败重试次数
  Producer<String, String> producer = new KafkaProducer<>(props);

  重点解释acks=0（不等待）、acks=1（Leader确认）、acks=all（ISR副本确认）的可靠性差异。

• 消费者组管理：
  描述__consumer_offsets主题如何存储偏移量，以及auto.offset.reset=latest/earliest对重新消费的影响。

四、算法与场景题

1. Top N问题

问题：从10亿条日志中找出访问量最高的10个URL。
解决方案：

1. 单节点处理：使用堆（优先队列）维护Top N，时间复杂度O(N log K)；
2. 分布式处理：
   • Map阶段：按URL分组统计本地计数；
   • Reduce阶段：合并所有Map的统计结果，再次取Top N。

代码示例（Spark）：

val logs = sc.textFile("hdfs://...")
val urlCounts = logs.map(line => (line.split("\t")(1), 1))
                   .reduceByKey(_ + _)
val topUrls = urlCounts.top(10)(Ordering.by(-_._2))

2. 数据倾斜处理

场景：JOIN操作时某key的数据量占比超过80%。
优化方法：

• 加盐处理：对倾斜key添加随机后缀（如user_id%10），分散到多个Reducer；
• 单独处理：将倾斜key拆分为独立任务，合并结果；
• 广播变量：小表广播到所有节点，避免Shuffle（spark.sql.autoBroadcastJoinThreshold）。

五、系统设计与案例分析

1. 实时数仓架构

典型方案：

• Lambda架构：批处理层（Hive）保证准确性，速度层（Flink）保证实时性，服务层合并结果；
• Kappa架构：仅用流处理（如Flink）重放历史数据，简化架构但需高可用存储。

选型依据：

• 数据时效性要求（分钟级 vs 秒级）；
• 历史数据修正频率；
• 团队技术栈熟悉度。

2. 离线任务调度

Airflow与Azkaban对比：
| 特性 | Airflow | Azkaban |
|———————|——————————————-|——————————————-|
| 扩展性 | 基于DAG，支持动态生成任务 | 固定流程，修改需重新部署 |
| 告警机制 | 内置邮件、Slack、PagerDuty | 仅支持邮件 |
| 社区活跃度 | 高（Apache顶级项目） | 低（LinkedIn内部工具） |

建议：优先选择Airflow，除非已有Azkaban运维经验。

六、软技能与职业发展

1. 项目经验描述技巧

使用STAR法则（情境-任务-行动-结果）：

“在XX项目中（情境），需处理每日500亿条日志（任务），我通过优化Spark分区数（从200调至400）和启用动态资源分配（行动），使任务耗时从3小时降至1.5小时（结果）。”

2. 技术深度与广度平衡

• 初级岗位：重点考察工具使用（如Hive SQL优化、Spark API）；
• 高级岗位：深入系统原理（如HDFS写入流程、Flink状态管理）；
• 架构师岗位：关注系统设计能力（如高可用、容灾方案）。

总结

本文从基础概念到实战案例，系统梳理了大数据面试中的高频问题。建议求职者：

1. 构建知识图谱，将碎片化知识点串联；
2. 通过LeetCode（大数据专题）、HackerRank练习实战题；
3. 参与开源项目（如Apache Spark贡献代码）提升技术深度。

面试不仅是知识考核，更是思维方式的展现——清晰的问题拆解能力、对技术选型的权衡能力，往往比单纯记忆答案更重要。