2016-10-26 面试准备-实战项目篇 设计日志收集分析系统日志分布在各个业务系统中,我们需要对当天的日志进行实时汇总统计,同时又能按天查询历史的汇总数据(可以围绕PV、UV、IP等指标进行阐述) 通过flume将不同系统的日志收集到kafka中 通过storm实时的处理PV、UV、IP 通过kafka的consumer将日志生产到hbase中。 通过离线的mapreduce或者hive,处理hbase中的数据 Newer 面试准备-yarn篇 Older 面试准备-hive/sql篇