作者计算机毕业设计江挽个人简介曾长期从事计算机专业培训教学本人也热爱上课教学语言擅长Java、微信小程序、Python、Golang、安卓Android等开发项目包括大数据、深度学习、网站、小程序、安卓、算法。平常会做一些项目定制化开发、代码讲解、答辩教学、文档编写、也懂一些降重方面的技巧。平常喜欢分享一些自己开发中遇到的问题的解决办法也喜欢交流技术大家有技术代码这一块的问题可以问我想说的话感谢大家的关注与支持网站实战项目安卓/小程序实战项目大数据实战项目深度学习实战项目目录基于大数据的数据分析岗位可视化分析介绍基于大数据的数据分析岗位可视化分析演示视频基于大数据的数据分析岗位可视化分析演示图片基于大数据的数据分析岗位可视化分析代码展示基于大数据的数据分析岗位可视化分析文档展示基于大数据的数据分析岗位可视化分析介绍本系统名为《基于大数据的数据分析岗位可视化分析》是一套面向计算机专业毕业设计场景的大数据可视化分析平台。系统以 Hadoop 与 Spark 作为核心大数据处理框架借助 HDFS 完成原始岗位数据的分布式存储通过 Spark 与 Spark SQL 对采集到的数据分析岗位信息进行清洗、统计与聚合计算并使用 Pandas、NumPy 完成部分指标的数据整理与数值运算。开发语言同时支持 Python 与 Java 两个版本后端分别采用 Django 与 Spring Boot 框架实现接口服务与业务逻辑前端使用 Vue、ElementUI、ECharts、HTML、CSS、JavaScript 与 jQuery 完成页面交互与图表渲染数据库采用 MySQL 存储分析结果与基础配置信息。系统功能围绕数据分析岗位展开包含系统首页、岗位信息、城市岗位分析、行业结构分析、学历经验分析、薪资水平分析、技能图谱分析与群体画像分析等模块能够从城市分布、行业构成、学历经验要求、薪资区间、技能关键词以及岗位群体特征等多个维度对数据分析岗位进行可视化呈现帮助使用者直观了解当前数据分析岗位的整体分布情况与能力要求。整个系统以大数据分析流程为主线从数据存储、数据处理到可视化展示形成完整闭环适合作为大数据方向毕业设计的实践选题。基于大数据的数据分析岗位可视化分析演示视频演示视频基于大数据的数据分析岗位可视化分析演示图片基于大数据的数据分析岗位可视化分析代码展示frompyspark.sqlimportSparkSessionfrompyspark.sql.functionsimportcol,count,avg,split,explode,trim,desc,whenimportpandasaspdimportnumpyasnpimportjsonfromdjango.httpimportJsonResponsefromdjango.views.decorators.csrfimportcsrf_exemptfromdjango.dbimportconnection sparkSparkSession.builder.appName(DataAnalysisJobVisualization).master(local[*]).config(spark.sql.shuffle.partitions,4).enableHiveSupport().getOrCreate()defload_job_data_from_hdfs(hdfs_path):job_dfspark.read.option(header,true).option(inferSchema,true).option(encoding,UTF-8).csv(hdfs_path)job_dfjob_df.withColumn(salary_min,when(col(salary).contains(-),split(col(salary),-).getItem(0).cast(double)).otherwise(None))job_dfjob_df.withColumn(salary_max,when(col(salary).contains(-),split(col(salary),-).getItem(1).cast(double)).otherwise(None))job_dfjob_df.withColumn(city,trim(col(city))).withColumn(industry,trim(col(industry)))job_dfjob_df.withColumn(education,trim(col(education))).withColumn(experience,trim(col(experience)))job_dfjob_df.filter(col(job_name).isNotNull()).filter(col(city).isNotNull())job_df.createOrReplaceTempView(job_detail)returnjob_dfdefanalyze_city_job_distribution(hdfs_path):job_dfload_job_data_from_hdfs(hdfs_path)city_resultspark.sql(SELECT city, COUNT(*) AS job_count, ROUND(AVG(salary_min), 2) AS avg_salary_min, ROUND(AVG(salary_max), 2) AS avg_salary_max FROM job_detail GROUP BY city ORDER BY job_count DESC)city_resultcity_result.filter(col(job_count)1)city_listcity_result.collect()result_data[]forrowincity_list:result_data.append({city:row[city],job_count:int(row[job_count]),avg_salary_min:float(row[avg_salary_min])ifrow[avg_salary_min]else0,avg_salary_max:float(row[avg_salary_max])ifrow[avg_salary_max]else0})withconnection.cursor()ascursor:cursor.execute(DELETE FROM city_job_analysis)foriteminresult_data:cursor.execute(INSERT INTO city_job_analysis (city, job_count, avg_salary_min, avg_salary_max) VALUES (%s, %s, %s, %s),[item[city],item[job_count],item[avg_salary_min],item[avg_salary_max]])returnJsonResponse({code:200,msg:城市岗位分析完成,data:result_data})defanalyze_skill_graph(hdfs_path):job_dfload_job_data_from_hdfs(hdfs_path)skill_dfjob_df.withColumn(skill_item,explode(split(col(skills),[,、/])))skill_dfskill_df.withColumn(skill_item,trim(col(skill_item)))skill_dfskill_df.filter(col(skill_item).isNotNull()).filter(col(skill_item)!)skill_resultskill_df.groupBy(skill_item).agg(count(*).alias(skill_count)).orderBy(desc(skill_count)).limit(50)skill_listskill_result.collect()skill_data[]forrowinskill_list:skill_data.append({skill_name:row[skill_item],skill_count:int(row[skill_count])})skill_pdpd.DataFrame(skill_data)ifnotskill_pd.empty:skill_pd[ratio]np.round(skill_pd[skill_count]/skill_pd[skill_count].sum()*100,2)skill_dataskill_pd.to_dict(orientrecords)withconnection.cursor()ascursor:cursor.execute(DELETE FROM skill_graph_analysis)foriteminskill_data:cursor.execute(INSERT INTO skill_graph_analysis (skill_name, skill_count, ratio) VALUES (%s, %s, %s),[item[skill_name],item[skill_count],item[ratio]])returnJsonResponse({code:200,msg:技能图谱分析完成,data:skill_data})defanalyze_salary_level(hdfs_path):job_dfload_job_data_from_hdfs(hdfs_path)salary_dfjob_df.filter(col(salary_min).isNotNull()).filter(col(salary_max).isNotNull())salary_dfsalary_df.withColumn(salary_avg,(col(salary_min)col(salary_max))/2)salary_dfsalary_df.withColumn(salary_level,when(col(salary_avg)8,8K以下).when((col(salary_avg)8)(col(salary_avg)15),8K-15K).when((col(salary_avg)15)(col(salary_avg)25),15K-25K).otherwise(25K以上))salary_resultsalary_df.groupBy(salary_level).agg(count(*).alias(level_count),avg(salary_avg).alias(avg_salary)).orderBy(desc(level_count))salary_listsalary_result.collect()salary_data[]forrowinsalary_list:salary_data.append({salary_level:row[salary_level],level_count:int(row[level_count]),avg_salary:round(float(row[avg_salary]),2)ifrow[avg_salary]else0})withconnection.cursor()ascursor:cursor.execute(DELETE FROM salary_level_analysis)foriteminsalary_data:cursor.execute(INSERT INTO salary_level_analysis (salary_level, level_count, avg_salary) VALUES (%s, %s, %s),[item[salary_level],item[level_count],item[avg_salary]])returnJsonResponse({code:200,msg:薪资水平分析完成,data:salary_data})基于大数据的数据分析岗位可视化分析文档展示作者计算机毕业设计江挽个人简介曾长期从事计算机专业培训教学本人也热爱上课教学语言擅长Java、微信小程序、Python、Golang、安卓Android等开发项目包括大数据、深度学习、网站、小程序、安卓、算法。平常会做一些项目定制化开发、代码讲解、答辩教学、文档编写、也懂一些降重方面的技巧。平常喜欢分享一些自己开发中遇到的问题的解决办法也喜欢交流技术大家有技术代码这一块的问题可以问我想说的话感谢大家的关注与支持网站实战项目安卓/小程序实战项目大数据实战项目深度学习实战项目