php爬虫程序403（php curl爬虫）

今天给各位分享php爬虫程序403的知识，其中也会对php curl爬虫进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

微信号：cloud7591
如需了解更多，欢迎添加客服微信咨询。
复制微信号

本文目录一览：

• 1、python爬虫，遇到403 forbidden，求助
• 2、访问被拒绝爬虫发起抓取,httpcode返回码是403
• 3、PHP问题提示403错误怎么回事????
• 4、403错误怎么解决
• 5、安装phpstudy测试出现403错误怎么解决？
• 6、Python爬虫采集遇到403问题怎么办？

python爬虫，遇到403 forbidden，求助

之前做过很多爬虫处理，其实你要懂，不是每个网站都那么好爬虫的。

对方：例如豆瓣为了防止访问量过大，服务器压力的承受，所以就啪啪啪整个403给你（服务器理解客户的请求，但拒绝处理它）。

他给你返回403，就是告诉你一种状态，根据他告诉你的态度，你作为男朋友的是不是应该改改自己的脾气。例如，对方发现你没有加header，对方发现你Cookies不对，或者是发现你的访问速度过快，所以就直接block你了。

很多这样衍生的问题，作为一个聪明的Crawler，你应该知道怎么爬对方的东西，才让对方服务器把你判断为人，而不是爬虫程序。

总之一句，根据反馈的错误信息，去思考应该怎么处理问题。这里没有给出详细的答案，但是你可以尝试着去理解豆瓣的block机制。

访问被拒绝爬虫发起抓取,httpcode返回码是403

自己写的爬虫不必理会robots.txt.

检查你的 curl 里的user agent。

一些server 会检查合格的user agent.

PHP问题提示403错误怎么回事????

4xx - 客户端错误

发生错误，客户端似乎有问题。例如，客户端请求不存在的页面，客户端未提供有效的身份验证信息。 ·400 - 错误的请求。

·401 - 访问被拒绝。IIS 定义了许多不同的 401 错误，它们指明更为具体的错误原因。这些具体的错误代码在浏览器中显示，但不在 IIS 日志中显示： ·401.1 - 登录失败。

·401.2 - 服务器配置导致登录失败。

·401.3 - 由于 ACL 对资源的限制而未获得授权。

·401.4 - 筛选器授权失败。

·401.5 - ISAPI/CGI 应用程序授权失败。

·401.7 – 访问被 Web 服务器上的 URL 授权策略拒绝。这个错误代码为 IIS 6.0 所专用。

·403 - 禁止访问：IIS 定义了许多不同的 403 错误，它们指明更为具体的错误原因： ·403.1 - 执行访问被禁止。

·403.2 - 读访问被禁止。

·403.3 - 写访问被禁止。

·403.4 - 要求 SSL。

·403.5 - 要求 SSL 128。

·403.6 - IP 地址被拒绝。

·403.7 - 要求客户端证书。

·403.8 - 站点访问被拒绝。

·403.9 - 用户数过多。

·403.10 - 配置无效。

·403.11 - 密码更改。

·403.12 - 拒绝访问映射表。

·403.13 - 客户端证书被吊销。

·403.14 - 拒绝目录列表。

·403.15 - 超出客户端访问许可。

·403.16 - 客户端证书不受信任或无效。

·403.17 - 客户端证书已过期或尚未生效。

·403.18 - 在当前的应用程序池中不能执行所请求的 URL。这个错误代码为 IIS 6.0 所专用。

·403.19 - 不能为这个应用程序池中的客户端执行 CGI。这个错误代码为 IIS 6.0 所专用。

·403.20 - Passport 登录失败。这个错误代码为 IIS 6.0 所专用。

·404 - 未找到。 ·404.0 -（无） – 没有找到文件或目录。

·404.1 - 无法在所请求的端口上访问 Web 站点。

·404.2 - Web 服务扩展锁定策略阻止本请求。

·404.3 - MIME 映射策略阻止本请求。

·405 - 用来访问本页面的 HTTP 谓词不被允许（方法不被允许）

·406 - 客户端浏览器不接受所请求页面的 MIME 类型。

·407 - 要求进行代理身份验证。

·412 - 前提条件失败。

·413 – 请求实体太大。

·414 - 请求 URI 太长。

·415 – 不支持的媒体类型。

·416 – 所请求的范围无法满足。

·417 – 执行失败。

·423 – 锁定的错误。

403错误怎么解决

一、403 forbidden是什么意思？

403 Forbidden是HTTP协议中的一个状态码(Status Code)。可以简单的理解为没有权限访问此站。该状态表示服务器理解了本次请求但是拒绝执行该任务，该请求不该重发给服务器。在HTTP请求的方法不是“HEAD”，并且服务器想让客户端知道为什么没有权限的情况下，服务器应该在返回的信息中描述拒绝的理由。在服务器不想提供任何反馈信息的情况下，服务器可以用404 Not Found代替403 Forbidden。

二、403错误代码的分类介绍

403.1

403.1错误是由于"执行"访问被禁止而造成的，若试图从目录中执行CGI、ISAPI或其他可执行程序，但该目录不允许执行程序时便会出现此种错误。

403.2

403.2错误是由于"读取"访问被禁止而造成的。导致此错误是由于没有可用的默认网页并且没有对目录启用目录浏览，或者要显示的HTML网页所驻留的目录仅标记为"可执行"或"脚本"权限。

403.3

403.3错误是由于"写入"访问被禁止而造成的，当试图将文件上载到目录或在目录中修改文件，但该目录不允许"写"访问时就会出现此种错误。

403.4

403.4错误是由于要求SSL而造成的，您必须在要查看的网页的地址中使用"https"。

403.5

403.5错误是由于要求使用128位加密算法的Web浏览器而造成的，如果您的浏览器不支持128位加密算法就会出现这个错误，您可以连接微软网站进行浏览器升级。

403.6

403.6错误是由于IP地址被拒绝而造成的。如果服务器中有不能访问该站点的IP地址列表，并且您使用的IP地址在该列表中时您就会返回这条错误信息。

403.7

403.7错误是因为要求客户证书，当需要访问的资源要求浏览器拥有服务器能够识别的安全套接字层(SSL) 客户证书时会返回此种错误。

403.8

403.8错误是由于禁止站点访问而造成的，若服务器中有不能访问该站点的DNS名称列表，而您使用的DNS名称在列表中时就会返回此种信息。请注意区别403.6与403.8错误。

403.9

403.9错误是由于连接的用户过多而造成的，由于Web服务器很忙，因通讯量过多而无法处理请求时便会返回这条错误。

403.10

403.10错误是由于无效配置而导致的错误，当您试图从目录中执行CGI、ISAPI或其他可执行程序，但该目录不允许执行程序时便会返回这条错误。

403.11

403.11错误是由于密码更改而导致无权查看页面。

403.12

403.12错误是由于映射器拒绝访问而造成的。若要查看的网页要求使用有效的客户证书，而您的客户证书映射没有权限访问该Web站点时就会返回映射器拒绝访问的错误。

403.13

403.13错误是由于需要查看的网页要求使用有效的客户证书而使用的客户证书已经被吊销，或者无法确定证书是否已吊销造成的。

403.14

403.14错误Web 服务器被配置为不列出此目录的内容，拒绝目录列表。

403.15

403.15错误是由于客户访问许可过多而造成的，当服务器超出其客户访问许可限制时会返回此条错误。

403.16

403.16错误是由于客户证书不可信或者无效而造成的。

403.17

403.17错误是由于客户证书已经到期或者尚未生效而造成的。

三、导致403错误的主要原因

1、你的IP被列入黑名单。

2、你在一定时间内过多地访问此网站（一般是用采集程序），被防火墙拒绝访问了。

3、网站域名解析到了空间，但空间未绑定此域名。

4、你的网页脚本文件在当前目录下没有执行权限。

5、在不允许写/创建文件的目录中执行了创建/写文件操作。

6、以http方式访问需要ssl连接的网址。

7、浏览器不支持SSL 128时访问SSL 128的连接。

8、在身份验证的过程中输入了错误的密码。

9、DNS解析错误，手动更改DNS服务器地址。

10、连接的用户过多，可以过后再试。

11、服务器繁忙，同一IP地址发送请求过多，遭到服务器智能屏蔽。

四、解决403 forbidden错误的方法

1、重建dns缓存

对于一些常规的403 forbidden错误，马海祥建议大家首先要尝试的就是重建dns缓存，在运行中输入cmd，然后输入ipconfig /flushdns即可。如果不行的话，就需要在hosts文件里把主页解析一下了。

2、修改文件夹安全属性

用以下命令修改文件夹安全属性

chcon -R -t httpd_user_content_t public_html/

所用命令解析：

ls -Z -d public_html/

＃显示文件／目录的安全语境－Z, --context

Display security context so it fits on most displays. Displays only mode, user, group, security context and file name.-d, --directory

list directory entries instead of contents, and do not dereference symbolic links

chcon -R -t httpd_user_content_t public_html/

＃修改文件／目录的安全语境-R, --recursive

change files and directories recursively-t, --type

set type TYPE in the target security context

3、关于apache导致的403 forbidden错误的解决办法

打开apache的配置文件httpd.conf，找到这段代码：

Options FollowSymLinks

AllowOverride None

Order deny,allow

Deny from all

有时候由于配置了php后，这里的“Deny from all”已经拒绝了一切连接。把该行改成“allow from all”，修改后的代码如下，问题解决。

Options FollowSymLinks

AllowOverride None

Order deny,allow

Allow from all

之所以会出现错误，是因为大多数的国外主机在配置Apache的时候启用了mod_security，也就是开启了安全检查，如果提交的信息中包含select , % , bin等关键字，Apache就会禁止，并给出403，404，500等错误。

4、关于HawkHost空间出现403 Forbidden错误的解决方法

有的时候在共享服务器上安装了Mod security，当网址包含有“%”号等其它敏感字符时，就会被Mod security阻止，马海祥博客曾经也出现过此情况。

解决HawkHost 403 Forbidden 错误的方法：

在.htaccess文件里添加如下代码：

SecFilterEngine Off

SecFilterScanPOST Off

直接放在网站的根目录或者程序运行的目录下。

5、关于WordPress导致的403 Forbidden错误解决方法

对于一些使用WordPress管理程序搭建的博客来说，就需要修改.htaccess文件，在后面添加上如下内容即可，其实就是disable mod_security

SecFilterEngine Off

SecFilterScanPOST Off

另外dedecms的可能还需要再加一条，以让默认访问的是index.html文件的DirectoryIndex index.html。

修改.htaccess文件，将文件上传之后，再重新打开之前出现403 Forbidden的URL就没有再出现错误，直接可以打开了。

安装phpstudy测试出现403错误怎么解决？

安装phpstudy测试出现403错误是表示你没有访问权限，解决方法如下：

在C:\Windows\System32\drivers\etc下的hosts文件下添加 ，注意前面不要加#号，那是注释。

找到Apache 下的httpd.conf 文件 打开,去掉171行前边的#

在apache的配置文件vhosts.conf中，配置以下内容。

重启Apache就可，以。。。。域名配好了。。此时又有问题了。

浏览器出这样的页面但是当你输入时就可以访问index.php的程序需要写完整路径，此时将第三步中的18行注释掉 或把options后面的两个单词前面加上 + ， 再重启Apache就可以直接访问。

Python爬虫采集遇到403问题怎么办？

403是网页状态码，表示访问拒绝或者禁止访问。

应该是你触发到网站的反爬虫机制了。

解决方法是：

1.伪造报文头部user-agent（网上有详细教程不用多说）

2.使用可用代理ip，如果你的代理不可用也会访问不了

3.是否需要帐户登录，使用cookielib模块登录帐户操作

4.如果以上方法还是不行，那么你的ip已被拉入黑名单静止访问了。等一段时间再操作。如果等等了还是不行的话：

使用phatomjs或者selenium模块试试。

还不行使用scrapy等爬虫框架看看。

以上都不行，说明这网站反爬机制做的很好，爬不了了，没法了，不过我觉得很少有这种做得很好的网站

php爬虫程序403的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于php curl爬虫、php爬虫程序403的信息别忘了在本站进行查找喔。