面试准备-实战项目篇

设计日志收集分析系统

日志分布在各个业务系统中,我们需要对当天的日志进行实时汇总统计,同时又能按天查询历史的汇总数据(可以围绕PV、UV、IP等
指标进行阐述)

  1. 通过flume将不同系统的日志收集到kafka中
  2. 通过storm实时的处理PV、UV、IP
  3. 通过kafka的consumer将日志生产到hbase中。
  4. 通过离线的mapreduce或者hive,处理hbase中的数据