大家好，关于java能爬虫犯法吗很多朋友都还不太明白，不过没关系，因为今天小编就来为大家分享关于java适合做爬虫吗的知识点，相信应该可以解决大家的一些困惑和问题，如果碰巧可以解决您的问题，还望关注下本站哦，希望对各位有所帮助！
python做爬虫合适吗
Python做爬虫挺合适的，大名鼎鼎的Scrapy框架，不是一般的好用，简单的几行代码，网页的内容就爬取下来了。下面举几个例子在工作中应用到的。
搜房网，搜房网的数据还是有很大用途的，小区的位置及相关信息都是用户画像需要使用到的先上传一个爬取下来的结果，我们根据需要爬取页面中的相关内容，比如小区的地址、建筑年代、小区面积等一些比较重要的内容。爬取这些内容其实挺简单的，就写几个页面处理的函数就可以了，部分代码示例如下：
Scrapy给我们提供了很大的便捷，只需要用户重点对页面进行分析，分析自己需要的内容然后采取相应的逻辑处理就可以了。基于爬取后的内容，就可以知道小区附近的相关用户所处的商业环境，对营销和运营都有不小的作用。
Scrapy的爬取过程，4个步骤你就可以实现利用Python做出一个完美的爬虫，省去你不必要的自己写爬取逻辑的过程定义一个Scrapy项目：scrapystartproject[scrapyname];
定义爬取的item，通俗地理解就是数据库中的表字段；
编写爬取网站的spider，并提取item，这一部分需要我们对页面的理解，主要是页面的Html结构，通过浏览器中的相关工具，比如火狐浏览器中的firebug，查看相应的div层级关系，找到相应的内容；
编写pipeline，用于存储item数据，存储到mysql、mongodb等一数据库中。
Python做爬虫挺好用的，方便容易上手，一般不复杂的网站都可以通过Scrapy爬取到想要的内容，复杂点的可通过添加cookie或者header等相关技术，实现模拟爬取。用Python写爬虫时应该注意哪些坑
首先python写爬虫是比较好的，丰富的生态（各种工具）和简洁的语言是核心亮点。我作为专业的python爬虫工程师，不知该怎么回答你的问题，因为问的很尬。那我姑且谈谈写爬虫遇到的问题：反爬是爬大型网站都会遇到的问题（字体加密，接口加密，ua验证，cookie校验，各种验证码，还有用户封号封ip等等），以上说的都是爬虫遇到的问题，但是你去解决他们，你需要的不仅仅是python，还有其他知识，python只是工具供你如果实现你的思维。
当然如果想学爬虫，什么语言都可以（很多公司爬虫只招java或者python)。如果想学python爬虫或者java可以关注我。长期自己写干货。
用python写爬虫和用Java写爬虫的区别是什么
Python与Java相比，代码更为简洁。而且python的http类库更为丰富，但是速度没有java快。
网络爬虫难学吗0基础学习怎么样
您好！首先在回答网络爬虫难不难学这个问题前，我们先来了解下什么是网络爬虫。
网络爬虫，又称为网页蜘蛛，网络机器人。简单来讲，网络爬虫就是一个探测机器，它的基本操作就是模拟人的行为去访问各个网站，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。网络爬虫，是一种按照一定的规则，自动地抓取互联网信息的程序或者脚本。
在了解到网络爬虫本质上是一个程序或者脚本之后，我们就能进一步回答网络爬虫是否难学这个问题。
学习网络爬虫，首先要学会一门编程语言。所以0基础学习爬虫，需要先学习一门编程语言，比如java、python等。0基础学习路径相对于已经会一门编程语言的同学来说会比较长一点。
学习编程语言java或者python，我们可以通过网络上的教学视频来学习，也可以通过阅读编程语言书本来学习。通过视频课程或者书本课程的配套练习，来学习编程方法是个不错的办法，能够提高自己的编程技巧，迅速提高自己的编程水平。
我们学习的编程语言熟练掌握后，我们就可以来尝试学习网络爬虫。
学习网络爬虫的原理、开发逻辑以及Java或python网络爬虫基础知识，网络抓包等内容。学习现有的一些页面内容获取及页面解析工具。包括Jsoup、HttpClient、URLConnection。针对已获得的页面内容，学习选择合适的解析工具进行页面解析，包括HTML、XML、JSON主流数据格式的解析(HtmlCleaner、Htmlparser、fastjson等一系列工具的使用)。针对已解析的内容，学习如何封装数据并存储数据。包括通过数据库存储数据，以及文本文件存储和Excel格式存储。选择合适的网络，进行实战演练。以上，就是我的回答。欢迎关注@零件小哥和留言，希望能您共同探讨学习网络爬虫！
开源爬虫框架各有什么优缺点
首先爬虫框架有三种
分布式爬虫：Nutch
JAVA单机爬虫：Crawler4j，WebMagic，WebCollector
非JAVA单机爬虫：scrapy
第一类:分布式爬虫优点：
海量URL管理
网速快
缺点：
Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。
用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非。
Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫。
Nutch虽然有一套插件机制，而且作为亮点宣传。可以看到一些开源的Nutch插件，提供精抽取的功能。但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。
Nutch并没有为精抽取提供相应的插件挂载点。Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。大多数Nutch的精抽取插件，都是挂载在“页面解析”(parser)这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息(网页的meta信息、text)
用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学习成本很高，何况是要让一个团队的人都读懂Nutch源码。调试过程中会出现除程序本身之外的各种问题(hadoop的问题、hbase的问题)。
Nutch2的版本目前并不适合开发。官方现在稳定的Nutch版本是nutch2.2.1，但是这个版本绑定了gora-0.3。Nutch2.3之前、Nutch2.2.1之后的一个版本，这个版本在官方的SVN中不断更新。而且非常不稳定（一直在修改）。
第二类:JAVA单机爬虫优点：
支持多线程。
支持代理。
能过滤重复URL的。
负责遍历网站和下载页面。爬js生成的信息和网页信息抽取模块有关，往往需要通过模拟浏览器(htmlunit,selenium)来完成。
缺点：设计模式对软件开发没有指导性作用。用设计模式来设计爬虫，只会使得爬虫的设计更加臃肿。第三类:非JAVA单机爬虫优点：
先说python爬虫，python可以用30行代码，完成JAVA
50行代码干的任务。python写代码的确快，但是在调试代码的阶段，python代码的调试往往会耗费远远多于编码阶段省下的时间。
使用python开发，要保证程序的正确性和稳定性，就需要写更多的测试模块。当然如果爬取规模不大、爬取业务不复杂，使用scrapy这种爬虫也是蛮不错的，可以轻松完成爬取任务。
缺点：
bug较多，不稳定。
爬虫可以爬取ajax信息么？
网页上有一些异步加载的数据，爬取这些数据有两种方法：使用模拟浏览器（问题1中描述过了），或者分析ajax的http请求，自己生成ajax请求的url，获取返回的数据。如果是自己生成ajax请求，使用开源爬虫的意义在哪里？其实是要用开源爬虫的线程池和URL管理功能（比如断点爬取）。
如果我已经可以生成我所需要的ajax请求（列表），如何用这些爬虫来对这些请求进行爬取？
爬虫往往都是设计成广度遍历或者深度遍历的模式，去遍历静态或者动态页面。爬取ajax信息属于deepweb（深网）的范畴，虽然大多数爬虫都不直接支持。但是也可以通过一些方法来完成。比如WebCollector使用广度遍历来遍历网站。爬虫的第一轮爬取就是爬取种子集合(seeds)中的所有url。简单来说，就是将生成的ajax请求作为种子，放入爬虫。用爬虫对这些种子，进行深度为1的广度遍历（默认就是广度遍历）。
爬虫怎么爬取要登陆的网站？
这些开源爬虫都支持在爬取时指定cookies，模拟登陆主要是靠cookies。至于cookies怎么获取，不是爬虫管的事情。你可以手动获取、用http请求模拟登陆或者用模拟浏览器自动登陆获取cookie。
爬虫怎么抽取网页的信息？
开源爬虫一般都会集成网页抽取工具。主要支持两种规范：CSSSELECTOR和XPATH。
网页可以调用爬虫么？
爬虫的调用是在Web的服务端调用的，平时怎么用就怎么用，这些爬虫都可以使用。
爬虫速度怎么样？
单机开源爬虫的速度，基本都可以讲本机的网速用到极限。爬虫的速度慢，往往是因为用户把线程数开少了、网速慢，或者在数据持久化时，和数据库的交互速度慢。而这些东西，往往都是用户的机器和二次开发的代码决定的。这些开源爬虫的速度，都很可以。
Java爬虫方向怎么样
曾经在某较大项目进行过Java的爬虫数据采集，在Java方面有一定经验。
Java爬取还是Python爬取这个问题较多的取决于有权限下决定的那个人和团队是更熟悉Java还是Python。Python在爬虫方面有简单易用和结构简洁的优势，适合常见爬虫项目的开发；如果是一个纯Java架构的项目和团队，再去专门找个人去研究Python就麻烦了，而且会形成Java与Python的混合架构，有维护的成本，这时候Java就会占优。
爬取与反爬取如果一般性的网站爬取还是比较容易的，用原生HttpClient即可。若碰到较知名的网站，往往会具有很多反爬取机制（js、验证码、图形验证码...等等），和频繁的网页改版，造成爬取失效。可以说，爬取工作更多的是在与网站的反爬取机制进行攻防对抗。当然对抗技术也有很多，就不在这里展开了。
回到问题：Java爬虫方向怎么样？这个问题在了解了上面的信息后，更多的是看个人兴趣和研究意愿的，每个人的答案都不同，大家也可以在下面的评论中给出自己的意见。java适合做爬虫吗
JAVA也可以实现爬虫，比如jsoup包，一个非常方便解析html的工具呢。不过相对来说，java语言笨重，稍微有些麻烦。
关于java能爬虫犯法吗的内容到此结束，希望对大家有所帮助。