Spark网站日志过滤分析实例讲解

日志过滤 对于一个网站日志，首先要对它进行过滤，删除一些不必要的信息，我们通过scala语言来实现，清洗代码如下，代码要通过别的软件打包为jar包，此次实验所用需要用到的代码都被打好jar包，放到了/root/jar-files文件夹下： 过滤好的数据将被存放在/root/clean文件夹中，这部分已被执行好，后面直接使用就可以，其中代码开始的SetLogger功能在自定义类com.imooc.log.SparkStatFormatJob中,它关闭了大部分log日志输出，这样可以使界面变得简洁，代码如下： 过滤中的AccessConvertUtil类内容如下所示： 执行完毕后clean文件夹下内容如图1所示： 日志分析 现在我们已经拥有了过滤好的日志文件，可以开始编写分析代码，例如实现一个按地市统计主站最受欢迎的TopN课程 其中保存统计时用到了StatDAO类的insertDayCityVideoAccessTopN()方法，这部分的说明如下： JDBC连接MySQL和释放连接用到了MySQLUtils中的方法 此外我们还需要在MySQL中插入表，用来写入统计数据，MySQL表已经设置好。 下面将程序和所有依赖打包，用spark-submit提交： ./spark-submit --class com.imooc.log.TopNStatJob2 --master spark://localhost:9000 /root/jar-files/sql-1.0-jar-with-dependencies.jar 执行结果： Schema信息 TopN课程信息 各地区Top3课程信息 MySQL表中数据： 到此这篇关于Spark网站日志过滤分析实例讲解的文章就介绍到这了,更多相关Spark日志分析内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！