爬虫简单介绍
一，什么是爬虫网络爬虫又被称为网页蜘蛛，网络机器人，就是模拟浏览器发送网络请求，接收请求，响应一种按照一定的规则自动地抓取互联网信息的程序。原则上只要是浏览器能做的事情，爬虫都能够做。
二，爬虫的分类根据被扒网站的数量的不同，我们把爬虫分为通用爬虫，通常只搜索引擎的爬虫，聚焦爬虫对特定网站的爬虫。
三，为什么要爬虫？如今人工智能，大数据离我们越来越近，很多公司在开展相关的业务，但是人工智能和大数据中有一个东西非常重要，那就是数据，但是数据从哪里来呢？
首先看下面例子，这是一个未知数的一个截图，他把在微博上的用户的微博和评论中的关键词语做了提取，然后进行了统计，然后根据统计结果得出某个词语的流行趋势，之后进行了简单的展示。类似微指数的网站还有很多，比如百度指数，阿里指数，360指数等等，这些网站有非常大的用户量，他们能够获取自己用户的数据进行统计和分析。那么对于一些中小型的公司，没有如此大的用户量的时候，他们该怎么办呢？当然是自己爬呀。有问题吗？没有问题，生活所迫嘛。
关注我，一个懂软件开发的朋友！！！
政德技术（深圳）有限公司18年专注物联网软件开发、共享软件开发、APP开发、小程序开发等，12+软件项目著作权，打通全球20多种主流支付渠道，软件团队配套齐全，开发速度快，已与全球几十个国家及地区开展深度合作。
