完全掌握Python常用技巧之ip代理
时间:2022-04-24 [网络编程]作者:fabuyuan 浏览:9 次
推荐学习:python视频教程
一、动态代理ip
1.1 什么是动态代理ip
动态代理IP,字面意思来说这个IP会随时随机发生变化,不是固定的,就是动态代理IP。动态代理IP一般会有网络爬虫用户使用。
动态IP 分为 长效代理 和 短效代理:
长效代理代理IP:支持采集数据或者游戏挂机等许多业务,由于网络爬虫采集的数据量比较大,很少会选择长效代理,长效代理IP就相当于本地IP一样,访问一个网站久了自然IP也会被限制,而且采集的量非常小。不利于爬虫使用。
短效代理IP:支持数据抓取、seo优化、 APP刷量,问答推广等许多业务。一般是网络爬虫用户选择动态短效代理IP的比较多。爬虫的业务量大,使用动态短效代理IP去进行数据采集的话,能大大提高业务效率。
1.2 使用动态代理IP好处
- 提高网站访问速度:浏览某个网站后,浏览的网站上的信息会存储在代理服务器的硬盘上。如果你再次浏览网站,这些信息可以随时在代理服务器中获取,而无需重新连接远程服务器。因此,它可以节省带宽,加快网站的浏览速度。
- 作为防火墙:可以保证局域网的安全,作为防火墙的功能,对于使用代理服务器的局域网来说,从外部来看,只有代理服务器才能看到,而其他局域网的用户则不能看到。代理商还可以用来限制IP地址的封锁,禁止用户浏览某些页面。
- 降低IP成本:应用代理服务器可以节省对IP地址的需求,从而降低IP地址的成本。
- 便于管理网络资源:可以限制部分共享资源进入特殊区域用户,维护资源的区域性。
- 提高爬虫的速率:使用动态代理ip可以绕过目标网站限制,更好的抓取网络数据,可以自定义时间更换ip地址,提高爬虫效率。
1.3 动态代理IP类别
动态代理IP 还分为透明代理,匿名代理,高匿代理。
以此可以看出代理IP的质量强度。对于网络爬虫来说可以根据自己的需求来购买定制需要动态IP。
高匿代理自然也是动态代理IP类型中质量最好的一种,不少的企业爬虫用户都会选择隧道转发的高匿爬虫代理IP来给业务提供需要,保证自己的业务效果和质量。
透明代理和匿名代理虽然也是代理IP,但是大大降低的爬虫业务的进展和效率,所以网络爬虫选择隧道转发的爬虫代理才是正确选择。
二、申请 动态ip代理 的方法
2.1 怎样选择合适的代理IP 网站
简单介绍了一下动态代理IP的概念和好处,再来说说怎样申请这个 动态代理IP 。
我这里使用的是 IPIDEA 这个网站,现在新用户有500M流量白嫖,正好我们可以拿来做实验。
可以直接点击注册就行了:http://www.ipidea.net/?utm-source=csdn&utm-keyword=?xy
进入网站之后点击 获取代理 -> API获取
然后根据自己的喜好选择 数量和地区,其他的使用默认选项即可,然后点击下面的 生成链接
如果没有实名认证的话会跳出这个界面,点击认证就好
然后复制我们生成的链接,这个链接要保存好,后面使用Python爬取的时候会用到。
把链接单独复制再打开就会看到刚才生成的IP,这部分可以用于我们自己的浏览器手动设置使用。
2.2 IPIDEA网站的优势
正如上面所说,目前代理ip的网站非常之多,怎样选择合适的平台也是个值得思考的问题。
由于目前有很多的代理IP网站,根据稳定性和安全性对比价格差异很大。
IPIDEA新用户注册就送一部分免费的流量,这点对于我们想尝试使用代理ip的小伙伴来说非常友好。
还有就是该平台支持住宅动态ip,这也是一个优势。
动态住宅IP的好处:
- 无限并发
- IP可用率>98%
- API调用频率:1秒
- HTTP、HTTPS和SOCKS5 协议
三、使用 代理ip 的两种方法
代理ip 的使用方法有很多种,下面我就以直接在浏览器使用和使用生成的API链接两种方式做一个简单的演示。
3.1浏览器怎样使用 代理ip
上一步中我们获取到了一个 ip代理池,接下来拿QQ浏览器示例,简单看一下怎样使用这些代理ip。
在QQ浏览器菜单列表内 - 设置 - 高级 - 网络 - 更改代理服务器设置
在弹出的Internet属性窗口,点击局域网设置
填写我们复制的 IP 和 端口号,并点击 确定
打开百度/谷歌搜索引擎,搜索:IP,查看当前代理后的IP地址
到这里我们就是成功使用 代理ip 了,接下来使用 该代理ip 就可以干一些其他事情了~
想查看更多不同浏览器的配置方法可以去IPIDEA网链接查看
注意: 仅支持境外网络环境下使用,不提供任何形式的境内使用方式。
但是这只是一个最简单的用法,更高级的应该是在使用爬虫的时候使用该动态IP代理池达到一个更好的效果。
下面就来简单写一个用代理ip来访问 github python模块的实例。
3.2 使用 动态代理ip 摘取 github python模块 示例
使用Python写一个简单的 ip代理 示例,后面使用Python爬一些其他数据的时候都可以参照。
直接使用 requests
模块来做,然后再加一个随机请求头模块 fake_useragent
和 UserAgent
。
下面就以 github python模块 做一个简单的示例,界面内容如下:
完整代码如下所示,注释很详细,就不多做说明了。
运行效果所示:
这里只是演示了使用 代理ip 爬取了 github python模块,利用好 动态代理ip 能用的事情可就更多了,大家自行体验吧!
只要能用爬虫的地方,我们可以自定义一个时间自动切换ip,这样在爬取大量数据的时候就会避免被限制访问,提高爬虫效率。
推荐学习:python视频教程
以上就是完全掌握Python常用技巧之ip代理的详细内容,更多请关注站长家园其它相关文章!
本文标签: python
转载请注明来源:完全掌握Python常用技巧之ip代理
本文永久链接地址:https://www.adminjie.com/post/11547.html
免责声明:
本站所发布的一切资源仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。
附:
二○○二年一月一日《计算机软件保护条例》第十七条规定:为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬!鉴于此,也希望大家按此说明研究软件!
版权声明:
一、本站致力于为软件爱好者提供国内外软件开发技术和软件共享,着力为用户提供优资资源。
二、本站提供的部分源码下载文件为网络共享资源,请于下载后的24小时内删除。如需体验更多乐趣,还请支持正版。
三、我站提供用户下载的所有内容均转自互联网。如有内容侵犯您的版权或其他利益的,若有侵犯你的权益请:提交版权证明文件到邮箱 2225329873#qq.com(#换为@) 站长会进行审查之后,情况属实的会在三个工作日内为您删除。
更多精彩内容
- VUE中V-IF条件判断改变元素的样式操作
- Discuz如何解决安装时报错run_sql_error
- 低版本VS项目在VS2019无法正常编译的问题
- PHP+Redis链表解决高并发下商品超卖问题(实现原理及步骤)
- Oracle数据库的实例/表空间/用户/表之间关系简单讲解
- RSA2是啥?PHP-RSA2签名验证怎么实现?
- 华为dubal20是什么型号
- ana an00华为是什么型号
- html5的标题标记一共有几个等级
- 电脑显示信号线无连接是什么意思
- html5中onclick是什么意思
- app是什么应用程序的简称
- 小程序大小超限除了分包还能怎么做?如何避免和解决大小限制?
- angular与bootstrap的区别是什么
- vivov1818a是什么手机型号

- 最新文章
-
-
oracle怎么使外键失效
在oracle中,可以利用altertable语句配合disableconstraint使外键失效,语法为“altertable表名disablec...
-
jquery get可以有几个参数
get()可以有4个参数:1、第一个参数不可省略,用于规定需要请求的URL;2、第二个参数可省略,用于规定连同请求发送到服务器的数据;3、第三参数可省略,指定当...
-
jquery怎么改变a标签值
改变方法:1、选取a标签,语法“$("选择器")”,会返回一个包含a标签的jQuery对象;2、用text()或html()修改指定a标签对象的内容值,语法“a...
-
Oracle的12505错误怎么解决
12505错误的出现原因是“service_name”和sid不一致。解决方法:1、使用“selectINSTANCE_NAMEfromv$instanc...
-
jquery移动端库有哪些
jquery移动端库有:1、Mobiscroll,用于触屏设备的旋转滚动、日期和时间选择;2、“Ion.Sound”,用于即时声音通知;3、mmenu,用于创建...
-
- 热门文章
-
-
VUE中V-IF条件判断改变元素的样式操作
这篇文章主要介绍了VUE中V-IF条件判断改变元素的样式操作,具有很好的参考价值,希望对大家有所帮助。一起跟随想过来看看吧...
-
Discuz如何解决安装时报错run_sql_error
问题环境VMware虚拟机Centos7.3PHP7.0MySQL8.0NGINX1.14Discuz3.4问题还原本地环境为PHP5.6+MySQL5.6在安...
-
低版本VS项目在VS2019无法正常编译的问题
低版本VS项目在VS2019无法正常编译的问题这里指的编译并不准确,只是为了方便说明。后有(未安装),201?...
-
PHP+Redis链表解决高并发下商品超卖问题(实现原理及步骤)
实现原理使用redis链表来做,因为pop操作是原子的,即使有很多用户同时到达,也是依次执行,推荐使用。实现步骤第一步,先将商品库存入队列/**.trigge...
-
Oracle数据库的实例/表空间/用户/表之间关系简单讲解
完整的Oracle数据库通常由两部分组成:Oracle数据库和数据库实例。Oracle是一种数据库管理系统,是一种关系型的数据库管理系统。我们用这些高级权限账号...
-