作者计算机毕业设计小途个人简介曾长期从事计算机专业培训教学本人也热爱上课教学语言擅长Java、微信小程序、Python、Golang、安卓Android等开发项目包括大数据、深度学习、网站、小程序、安卓、算法。平常会做一些项目定制化开发、代码讲解、答辩教学、文档编写、也懂一些降重方面的技巧。平常喜欢分享一些自己开发中遇到的问题的解决办法也喜欢交流技术大家有技术代码这一块的问题可以问我想说的话感谢大家的关注与支持网站实战项目安卓/小程序实战项目大数据实战项目深度学习实战项目目录豆瓣电影与影评数据可视化与分析系统介绍豆瓣电影与影评数据可视化与分析系统演示视频豆瓣电影与影评数据可视化与分析系统演示图片豆瓣电影与影评数据可视化与分析系统代码展示豆瓣电影与影评数据可视化与分析系统文档展示豆瓣电影与影评数据可视化与分析系统介绍本系统名为《基于大数据的豆瓣电影与影评数据可视化与分析》主要围绕豆瓣电影、影评、评分、类型、主创和用户行为等数据做离线统计与可视化展示。底层采用Hadoop和HDFS做数据存储用Spark和Spark SQL完成数据清洗、聚合、统计和指标计算开发语言按Python方向可选择Django按Java方向可选择Spring Boot前端使用Vue、ElementUI、Echarts、HTML、CSS、JavaScript和jQuery数据库使用MySQL。系统功能包括系统首页、大屏可视化、用户、评分信息、影片信息、影片结构分析、口碑评分分析、主创力量分析、用户行为分析、类型热度分析、观影洞察分析、个人信息和修改密码。它把评分分布、影片口碑、类型热度、主创影响力、用户活跃度和观影偏好等内容整理成图表和大屏页面方便查看豆瓣电影数据的整体情况和细节变化。后端主要负责数据读取、Spark统计任务、结果落库和接口返回前端负责图表渲染、条件筛选和页面交互。整体来说这是一个偏大数据分析方向的毕业设计系统重点在Spark数据处理、统计分析和可视化呈现功能比较完整也比较适合作为计算机专业本科阶段的综合实践项目。豆瓣电影与影评数据可视化与分析系统演示视频项目演示视频豆瓣电影与影评数据可视化与分析系统演示图片豆瓣电影与影评数据可视化与分析系统代码展示frompyspark.sqlimportSparkSessionfrompyspark.sqlimportfunctionsasFfrompyspark.sqlimportWindow sparkSparkSession.builder.appName(DoubanMovieBigData).master(local[*]).config(spark.sql.shuffle.partitions,4).getOrCreate()defanalyze_rating_reputation():rating_dfspark.read.option(header,true).csv(hdfs:///douban/rating/rating.csv)movie_dfspark.read.option(header,true).csv(hdfs:///douban/movie/movie.csv)rating_dfrating_df.withColumn(score,F.col(score).cast(double))movie_dfmovie_df.select(movie_id,title,types,director,actors)joined_dfrating_df.join(movie_df,onmovie_id,howleft)result_dfjoined_df.groupBy(movie_id,title,types).agg(F.count(user_id).alias(rating_count),F.round(F.avg(score),2).alias(avg_score),F.sum(F.when(F.col(score)4,1).otherwise(0)).alias(good_count),F.sum(F.when(F.col(score)2,1).otherwise(0)).alias(bad_count))result_dfresult_df.withColumn(good_rate,F.round(F.col(good_count)/F.col(rating_count)*100,2))result_dfresult_df.withColumn(bad_rate,F.round(F.col(bad_count)/F.col(rating_count)*100,2))result_dfresult_df.withColumn(reputation_level,F.when(F.col(avg_score)4.5,优秀).when(F.col(avg_score)4.0,良好).when(F.col(avg_score)3.0,一般).otherwise(较差))result_dfresult_df.orderBy(F.desc(avg_score),F.desc(rating_count))result_df.write.mode(overwrite).option(header,true).csv(hdfs:///douban/result/rating_reputation)result_df.write.mode(overwrite).format(jdbc).option(url,jdbc:mysql://localhost:3306/douban_bigdata).option(dbtable,rating_reputation).option(user,root).option(password,123456).save()returnresult_dfdefanalyze_type_heat():movie_dfspark.read.option(header,true).csv(hdfs:///douban/movie/movie.csv)rating_dfspark.read.option(header,true).csv(hdfs:///douban/rating/rating.csv)movie_dfmovie_df.withColumn(type_array,F.split(F.col(types),\\|))type_dfmovie_df.select(movie_id,title,F.explode(type_array).alias(type_name))rating_statrating_df.withColumn(score,F.col(score).cast(double)).groupBy(movie_id).agg(F.count(user_id).alias(user_count),F.round(F.avg(score),2).alias(avg_score))type_jointype_df.join(rating_stat,onmovie_id,howleft)heat_dftype_join.groupBy(type_name).agg(F.countDistinct(movie_id).alias(movie_count),F.sum(user_count).alias(total_user_count),F.round(F.avg(avg_score),2).alias(type_avg_score),F.round(F.avg(user_count),2).alias(avg_movie_heat))heat_dfheat_df.withColumn(heat_score,F.round(F.col(total_user_count)*0.6F.col(movie_count)*0.4,2))heat_dfheat_df.withColumn(heat_rank,F.row_number().over(Window.orderBy(F.desc(heat_score))))heat_dfheat_df.orderBy(F.desc(heat_score))heat_df.write.mode(overwrite).option(header,true).csv(hdfs:///douban/result/type_heat)heat_df.write.mode(overwrite).format(jdbc).option(url,jdbc:mysql://localhost:3306/douban_bigdata).option(dbtable,type_heat).option(user,root).option(password,123456).save()returnheat_dfdefanalyze_user_behavior():rating_dfspark.read.option(header,true).csv(hdfs:///douban/rating/rating.csv)comment_dfspark.read.option(header,true).csv(hdfs:///douban/comment/comment.csv)rating_dfrating_df.withColumn(score,F.col(score).cast(double))user_ratingrating_df.groupBy(user_id).agg(F.count(movie_id).alias(rating_times),F.round(F.avg(score),2).alias(user_avg_score),F.countDistinct(movie_id).alias(rated_movie_count))user_commentcomment_df.groupBy(user_id).agg(F.count(comment_id).alias(comment_times))user_dfuser_rating.join(user_comment,onuser_id,howleft).fillna({comment_times:0})user_dfuser_df.withColumn(active_score,F.round(F.col(rating_times)*0.6F.col(comment_times)*0.4,2))user_dfuser_df.withColumn(active_level,F.when(F.col(active_score)50,高活跃).when(F.col(active_score)20,中活跃).otherwise(低活跃))user_dfuser_df.orderBy(F.desc(active_score))user_df.write.mode(overwrite).option(header,true).csv(hdfs:///douban/result/user_behavior)user_df.write.mode(overwrite).format(jdbc).option(url,jdbc:mysql://localhost:3306/douban_bigdata).option(dbtable,user_behavior).option(user,root).option(password,123456).save()returnuser_df豆瓣电影与影评数据可视化与分析系统文档展示作者计算机毕业设计小途个人简介曾长期从事计算机专业培训教学本人也热爱上课教学语言擅长Java、微信小程序、Python、Golang、安卓Android等开发项目包括大数据、深度学习、网站、小程序、安卓、算法。平常会做一些项目定制化开发、代码讲解、答辩教学、文档编写、也懂一些降重方面的技巧。平常喜欢分享一些自己开发中遇到的问题的解决办法也喜欢交流技术大家有技术代码这一块的问题可以问我想说的话感谢大家的关注与支持网站实战项目安卓/小程序实战项目大数据实战项目深度学习实战项目