本研究致力于构建一个基于大数据的计算机就业数据分析可视化系统利用Python编程语言、MySQL数据库以及Hadoop和Spark等大数据技术实现高效的数据处理和分析。该平台的核心功能包括数据爬取、处理、分析和可视化。首先利用Scrapy框架从拉勾招聘网站爬取了全国城市大量计算机职位数据。这些数据涵盖了职位的工资、发布招聘的企业等多个维度。通过Scrapy框架能够自动化地获取数据提高了数据获取的效率和准确性。在数据处理方面采用了pandas库对爬取的数据进行清洗和处理。Pandas提供了丰富的数据处理功能包括数据筛选、数据排序、缺失值处理等使得数据处理过程更加高效和便捷。为了更好地展示数据分析结果利用Vue.js框架结合ECharts库构建了数据可视化界面。通过图形化展示城市岗位数量统计、岗位薪资统计、岗位经验统计等数据信息用户可以直观地了解动态的计算机就业信息。此外该平台还具备职位推荐功能用户输入关键字后系统会推荐适合的岗位给用户。通过该平台招聘公司和求职者可以更好地了解职位招聘趋势信息从而帮助企业或者个人达到招人或者找工作的提升效率。系统模块设计系统功能介绍系统的功能主要包括三个方面。首先是需要从拉勾招聘网站爬取到相应的数据这些数据包括有职位信息、招聘城市、招聘企业等。其次是将这些数据通过hadoop的HDFS组件存储到服务器的mysql中通过pyspark对数据进行分布式计算处理。最后通过django搭建的web页面进行数据的可视化展示另外页面需要根据职位的特征并且基于用户填写的关键字提供职位推荐功能。系统主要模块设计根据以上的功能需求情况整体的功能模块包括有前台vue项目模块后台django后台项目模块和爬虫模块。前台vue的页面主要页面包括注册与登录页面数据可视化展示页面包括岗位地图页、城市岗位数量统计页等爬虫模块主要用来爬取拉勾招聘网的数据信息的通过使用hadoop进行数据的存储django后台用来提供前台所用的json数据以及给出职位推荐信息用户输入职位的关键字之后会通过计算余弦相似性的方式找到用户希望查询的岗位信息最后通过vue界面进行展示具体如下图所示。
