jsoup爬虫js的网页爬虫爬不到吗

要爬网页，选哪个爬虫好？Nutch？Heritrix

用heritrix比nutch要好一些。

nutch适合做搜索引擎，只是附加有crawl的功能。

而heritrix是专门crawl的。

用Lucene搞索引和查询很方便简单啊，数据库里面取出数据，封装成Lucene doc，用IKAnalyzer分词，建立索引啥的都给Lucene了。

现在就是要从外网爬我需要的信息，按照我本地数据的格式存入数据库了... 刚上手...

菜鸟求教 java爬虫 Jsoup 查找元素 求教如何select出来这四个数据，谢谢！

Elements elestb = Jsoup.select("table"); Elelments elestr = elestb.get(0).select("tr"); Elements eles= elestr.get(1).select("a"); //第一个 String a1 = elestd.get(0).text(); //第二个 String a2 = elestd.get(1).text(); Elements elestd = elestr.get(1).select("td"); //第三个 String td1 = elestd.get(2).text(); //第四个 String td2 = elestd.get(3).text();

python网络爬虫和java爬虫有什么区别

爬虫目前主要开发语言为java、Python、c++ 对于一般的信息采集需要，各种语言差别不大。

c、c++ 搜索引擎无一例外使用CC++ 开发爬虫，猜想搜索引擎爬虫采集的网站数量巨大，对页面的解析要求不高，部分支持javascript python 网络功能强大，模拟登陆、解析javascript，短处是网页解析 python写起程序来真的很便捷，著名的python爬虫有scrapy等 java java有很多解析器，对网页的解析支持很好，缺点是网络部分 java开源爬虫非常多，著名的如 nutch 国内有webmagic java优秀的解析器有htmlparser、jsoup 对于一般性的需求无论java还是python都可以胜任。

如需要模拟登陆、对抗防采集选择python更方便些，如果需要处理复杂的网页，解析网页内容生成结构化数据或者对网页内容精细的解析则可以选择java。

js的网页爬虫爬不到吗

不是爬不到 是因为用js生成的网页，是通过浏览器加载js代码之后，由js动态生成的。

用爬虫直接去抓网页的话，抓下来的是原始代码，浏览器还未解析过的内容。

纯 html 的话，抓下来可以直接拿来用，但是如果是由 js 动态生成的网页的话，就没办法直接用了。

像通过js动态加载的网页，理论上如果能用开源的浏览器内核将网页解析出来的话，通过浏览器内核提供的接口，完全可以把网页最终的 html 拿出来