开发环境:java + eclipse + storm +hive+redis+cassandra+mysql+hbase
项目描述:A.制定埋点数据规则,包括字段类型,字段含义,字段种类,字段功能等等。
B. 埋点数据收集;
C.埋点数据清洗,主要通过hive ETL,hive UDF等;
D.埋点实时数据处理 storm。
注:实时处理数据源包括埋点数据,搜索日志数据,订单日志数据,推荐日志数据,nginx日志数据等,后面就不一一介绍。
E. 数据落地,根据不同业务需求,落地到不同数据库中。