curl的功能很强大,这里就不做详细的描述,具体的curl相关文章可以参考本站的curl目录下的文章,包括各个参数都有详细的描述。
然而有些网站可能是出于安全的考虑不允许curl命令的访问,就像有些网站不让ping一样。但是通过浏览器是可以访问的。这种情况我们就需要采用人工模拟浏览器的方式去访问,也就是采用设置User-Agent的方式来做。
我现在用curl都是采用命令行和代码的方式。下面我对两种情况列出解决代码。
命令行
加 -A参数,设置User-Agent
curl --head http://www.akamai.com -A "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.47 Safari/536.11Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.47 Safari/536.11"