java提取网址（java抓取web页上所有的元素）

本篇文章给大家谈谈java提取网址，以及java抓取web页上所有的元素对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

微信号：cloud7591
如需了解更多，欢迎添加客服微信咨询。
复制微信号

本文目录一览：

• 1、java提取网站内部所有URL
• 2、如何通过Java代码实现对网页数据进行指定抓取
• 3、java如何获取浏览器的访问网址及其内容
• 4、java正则表达式提取网址
• 5、java如何提取url里的域名

java提取网站内部所有URL

用HttpURLConnection连接到指定的网址，获得网址的输入流，将网址的内容读出来，并解析读出来的内容有没有网页链接，如果有保存到变量中。

可以百度，lmcjl在线工具，里面就有一个全站链接抓取的工具。很多人都在用。

§ TextExtractingVisitor：从网页中把所有标签去掉来提取文本，这个提取文本的Visitor有时是很实用的 ，只是注意在提取文本时将标签的属性也去掉了，也就是说只剩下标签之间的文本，例如中的链接也去掉了。

根据java网络编程相关的内容，使用jdk提供的相关类可以得到url对应网页的html页面代码。针对得到的html代码，通过使用正则表达式即可得到我们想要的内容。

有的页面上的链接本来就是相对链接，这个自己做网站的时候有时候也会标相对链接，这种情况下，你要先识别相对链接，然后根据你这个本页面的链接，把相对链接的前一部分补全。

1．编写useSourceViewer 类的基本框架，该类仅包括无返回值的main ()方法，该方法从参数中获取URL，通过输入缓冲和输出缓冲将该URL 原码输出。

如何通过Java代码实现对网页数据进行指定抓取

1、比如，我们如果想得到一个网页上所有包括“java”关键字的文本内容，就可以逐行对网页代码进行正则表达式的匹配。最后达到去除html标签和不相关的内容，只得到包括“java”这个关键字的内容的效果。

2、java实现网页源码获取的步骤：(1)新建URL对象，表示要访问的网址。如：url=new URL(http：//；)；(2)建立HTTP连接，返回连接对象urlConnection对象。

3、File input = new File(/tmp/input.html)；Document doc = Jsoup.parse(input， UTF-8， IP)；看看这个代码，调用 doc.text() 方法即可。

4、一般爬虫都不会抓登录以后的页面，如果你只是临时抓某个站，可以模拟登录，然后拿到登录以后的Cookies，再去请求相关的页面。

5、我想你应该是想通过这个页面的url来得到这个网页里面的某些数据把。用HttpClient 。下面我这个方法是得到搜狗页面命中多少条记录的代码。

6、数据库一般有个ID号字段。可以唯一标志一行记录 显示页面实际是个查询页面，把每一行记录都显示出来。例如你可以在每一行记录加一个删除按钮。

java如何获取浏览器的访问网址及其内容

使用java.net包下的URL类，可以将一个网页（链接）封装成一个URL对象。

你可以考虑用javascript的location.href在客户端获取地址。通过请求参数回传地址。如果是打开浏览器时回传，可以在window.onload事件中进行。

如果你的浏览器是记住登陆状态的话，那复制下来的cookie也是有效的，你也能一样用java获取页面了其实用firefox、IE也是一样的。

request.getRequestURL()是获取请求的URL，不包括参数。request.getQueryString()用于获取参数信息。

java正则表达式提取网址

1、从HTML文档中提取内容，可以将HTML的标签或者文字内容作为匹配的目标和参照，所以首先要了解目标HTML文档结构，另外，正则表达式也比较不容易掌握。

2、如果不要端口号，可以这样写[0-]+：Java我没学过，但正则表达式大体是通用的。至于如此长段文本里去重，个人觉得纯以正则表达式不行，还得配合程序。由于我不是java程序员，不好解释。

3、先通过www来分割不同的新字符串。用字符串截取：subString(startIndex，endIndex)；很简单吧。

4、简单点的可以是：(？is)href\s*=\s*[]((？！javascript：)[^]+)[]提取第2个捕获组结果就是 你想要的连接。

5、href\\s*=意思就是href和=直接允许有或没有多个空白。 ()是限定多选结构的范围，()里的|是或，用于分隔匹配多个表达式，()里的\是转义符。 []里的^\代表不匹配，*代表匹配任意字符。

java如何提取url里的域名

获取协议名和域名。request.getScheme()；//得到协议名例如：http request.getServerName()；//得到域名localhost 获取全路径。

根据提问者的描述，可以采用URL显性转发。域名转跳为目标URL。 域名解析的定义： 域名解析就是域名到IP学校的转换过程。IP学校是中国路上标识您站点的数字学校，为了简单好记，采用域名来代替IP学校标识站点学校。

根据提问者的描述，可以采用URL显性转发。域名转跳为目标URL。域名解析的定义：域名解析就是域名到IP地址的转换过程。IP地址是网路上标识您站点的数字地址，为了简单好记，采用域名来代替IP地址标识站点地址。

先通过www来分割不同的新字符串。用字符串截取：subString(startIndex，endIndex)；很简单吧。

当然还有以下方式：第二种；请求转发 请求转发是指将请求再转发到另一资源（一般为JSP或Servlet）。

java中确定url指向最终是靠页面跳转实现的。

java提取网址的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于java抓取web页上所有的元素、java提取网址的信息别忘了在本站进行查找喔。