摘 要

随着时代和社会的发展，互联网、人工智能、大数据以及信息科技化得到不断的普及，信息技术的应用渗透到各个领域，不仅改变了人们的生活方式，还提高了人们的生活质量和效率。在信息科技化的今天，数据已经渗透到每一个行业和领域，包括人与人之间通过社交网络、即时通讯等产生的数据，人与机器之间通过网络浏览、网上购物等产生的数据，以及机器与机器之间位置信息、声音以及影像传递等所产生的数据。大量的数据分布在互联网上并未得到充分的应用，然而其中的价值不可估量且等待挖掘，如将这些庞大的数据进行提取，并进一步分析其潜在的信息，其意义十分重大。

互联网时代的到来使得人们的交流以及文化传播变得更加地高效、快捷，而近年来，互联网IT信息类行业发展对人才的需求也在不断扩大。对于互联网这类属于较高科技的行业来说，对相关行业从事者在技术以及自身能力方面都有较高的要求，在人才培养和获取上需要更多的时间；事实上，我国互联网行业人才的培养以及专业能力的实现与实际互联网行业的要求依旧存在不小的差距。为了研究互联网IT类行业的人才需求情况，本文将通过从智联招聘网站上爬虫进行数据采集，并通过数据可视化分析互联网行业网络招聘存在的问题，针对问题提出合理建议及解决思路。

关键词：互联网行业 人才需求 网络爬虫 数据可视化 数据分析

ABSTRACT

With the development of society, Internet, artificial intelligence, big data, and information technology have been continuously popularized. The application of information technology has penetrated into various fields, which not only changed people's lifestyles, but also improved people's quality of life and efficiency. . In today's information technology, data has penetrated into every industry and field, including data generated by people through social networks, instant messaging, etc., data generated by people and machines through web browsing, online shopping, etc. And the data generated by the position information, sound, and image transmission between the machine and the machine. A large amount of data is not fully applied on the Internet. However, the value is immeasurable and waiting to be tapped. For example, extracting such huge data and further analyzing its potential information is of great significance.

The arrival of the Internet era has made people's communication and cultural communication more efficient and faster. In recent years, the demand for talents in the development of the Internet IT information industry has also expanded. For industries such as the Internet that belong to higher technology, there are higher requirements for the relevant industry players in terms of technology and their own capabilities, and more time is needed for personnel training and acquisition; in fact, China's Internet industry talents There is still a big gap between the training and the realization of professional competence and the requirements of the actual Internet industry. In order to study the talent demand situation of the Internet IT industry, this paper will collect data from the pirate recruitment website and analyze the problems existing in the Internet industry network recruitment through data visualization, and provide reasonable suggestions and solutions for the problem.

Keywords: Internet industry; talent demand; web crawler;data visualization;data analysis

目录

摘要 2

ABSTRACT 3

目录 4

第一章 绪论 6

1.1 研究的背景 6

1.1.1 互联网IT行业的兴起 6

1.1.2 互联网IT行业的发展前景 6

1.2 研究的目的与意义 8

1.3 研究的内容与方法 8

1.3.1研究的内容 8

1.3.2研究的方法 8

第二章 文献综述 10

2.1 选题背景与意义 10

2.2 选题研究现状 11

2.2.1互联网IT行业人才需求研究现状 11

2.2.2网络数据采集研究现状 12

第三章 智联招聘网站数据采集 13

3.1 数据采集需求分析 13

3.1.1 爬虫需求分析 13

3.1.2 爬虫实现分析 13

3.2 数据采集工具开发流程 14

3.3 爬虫工具开发 14

3.3.1智联招聘网站的API接口分析 14

3.4 爬虫工具实现及优化 17

3.4.1爬虫工具结构 17

3.4.2爬虫工具优化 20

3.5 数据获取 21

第四章 数据处理 22

4.1 数据预处理 22

4.2 数据存储 23

4.2 数据加载 24

4.3 数据清洗 26

4.4 数据加工 28

第五章 数据可视化分析 29

5.1 职位分析 29

5.1.1 职位分布图 29

5.1.2 职位词云分析 29

5.2 企业分析 31

5.2.1 企业类型 31

5.2.2 企业规模 31

5.3 薪资分析 32

5.3.1 薪资与学历关系分析 32

5.3.2薪资与工作经验关系分析 33

5.3.3薪资与地区关系分析 34

第六章 结束语 36

6.1 结论 36

6.2 不足与展望 36

参考文献 38

致谢 40

第一章 绪论

1.1 研究的背景

1.1.1 互联网IT行业的兴起

相关图片展示：