基于中国天气网的大数据天气分析系统
项目演示链接:
项目简介
算是自己的第一个项目吧,从这个项目入门,现在看来虽然写得很垃圾,但毕竟是第一次做出来的web系统,发出来纪念一下。
天气分析大数据系统及可视化
使用前端用户指定规则传递至spring 后端,后端处理后通过kafka传递至大数据端
技术栈
前端:echarts、js、css、html5、jQuery、bootstrap、ajax、vue
后端:spring boot、lombok、mybatis、kafka
大数据端:kafka、spark、hadoop、scala
数据处理流程
浏览器规定规则,spring处理后将任务规则及任务id传送至大数据端
大数据端通过kafka接收到任务规则和id
大数据端根据任务规则规定是否爬取数据,并按照任务规则生成数据
大数据端每完成一个步骤向数据库更新状态
gitee地址:https://gitee.com/wblzytlzyt
注意:本文归作者所有,未经作者允许,不得转载