详解puppeteer使用代理

网络编程 2021-07-04 15:50www.168986.cn编程入门

这篇文章主要介绍了详解puppeteer使用代理，长沙网络推广觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随长沙网络推广过来看看吧

背景

在使用puppeteer进行访问页面的时候，有时候需要用到代理。

环境 centos 7

chrome 安装

puppeteer使用chrome。参考chrome的命令行使用方式。在官网中没看到说明，不过一般的执行文件都是支持help的。
在服务器上安装chrome

vim /etc/yum.repos.d/google-chrome.repo

添加内容

[google-chrome]
name=google-chrome
baseurl=http://dl.google./linux/chrome/rpm/stable/$basearch
enabled=1
gpgcheck=1
gpgkey=https://dl-ssl.google./linux/linux_signing_key.pub

安装浏览器

yum -y install google-chrome-stable

说明 yum search chrome 可以查看供安装的包

chrome 命令行代理

在shell中执行命令

google-chrome -h

即可看到所有的命令选项，其中 OPTION 狼蚁网站SEO优化有代理添加的介绍以及示例

 --proxy-server=host:port
    Specify the HTTP/SOCKS4/SOCKS5 proxy server to use for requests.
    This overrides any environment variables or settings picked via
    the options dialog. An individual proxy server is specified
    using the format:

    [<proxy-scheme>://]<proxy-host>[:<proxy-port>]

    Where <proxy-scheme> is the protocol of the proxy server, and is
    one of:

    "http", "socks", "socks4", "socks5".

    If the <proxy-scheme> is omitted, it defaults to "http". Also
    note that "socks" is equivalent to "socks5".

    Examples:

    --proxy-server="foopy:99"
     Use the HTTP proxy "foopy:99" to load all URLs.

    --proxy-server="socks://foobar:1080"
     Use the SOCKS v5 proxy "foobar:1080" to load all URLs.

    --proxy-server="socks4://foobar:1080"
     Use the SOCKS v4 proxy "foobar:1080" to load all URLs.

    --proxy-server="socks5://foobar:66"
     Use the SOCKS v5 proxy "foobar:66" to load all URLs.

    It is also possible to specify a separate proxy server for dif‐
    ferent URL types, by prefixing the proxy server specifier with a
    URL specifier:

    Example:

    --proxy-server="https=proxy1:80;http=socks4://baz:1080"
     Load https:// URLs using the HTTP proxy "proxy1:80". And
    load http://
     URLs using the SOCKS v4 proxy "baz:1080".


  --no-proxy-server
    Disables the proxy server. Overrides any environment variables
    or settings picked via the options dialog.


  --proxy-auto-detect
    Autodetect proxy configuration. Overrides any environment vari‐
    ables or settings picked via the options dialog.


  --proxy-pac-url=URL
    Specify proxy autoconfiguration URL. Overrides any environment
    variables or settings picked via the options dialog.

其中 –proxy-server= 的值的格式是 [<proxy-scheme>://]<proxy-host>[:<proxy-port>]

其中 http 代理是不需要加 proxy-scheme ,以上的示例中显示 socks 代理是需要添加scheme。

比如

在本机建立一个 socks5 代理服务器，本地端口是 1088

代码如下:

google-chrome --headless --disable-gpu --proxy-server="socks5://127.0.0.1:1088" --print-to-pdf https://.chromestatus./

上面的示例中并没有需要密码（用户）验证的。

puppeteer 添加代理

在以上命令行中，代理 option 添加方式是

--proxy-server="socks5://127.0.0.1:1088"

在 puppeteer 中，启动浏览器时添加代理

代码如下:

const browser = await puppeteer.launch({headless:true, args:['--no-sandbox','--proxy-server=socks5://127.0.0.1:1088']});

具体puppeteer使用参考网上实例。

说明

有关使用账户密码credentials 的代理使用

1 新建代理
可以在本地新建一个不用密码的代理，该代理访问有密码的代理。然后puppeteer 中使用该无密码代理

2 页面添加代理
具体使用可以参考

自己还没使用过.

参考文章

chrome 安装

puppeteer api 说明

代理问题

puppeteer 官方文档

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持狼蚁SEO。

上一篇：详解如何快速配置webpack多入口脚手架下一篇：详解angular2 控制视图的封装模式

详解puppeteer使用代理

狼蚁网络搜索

狼蚁网络导航

长沙seo优化

长沙网络营销

长沙网站建设

详解puppeteer使用代理

编程语言

狼蚁网络搜索

狼蚁网络导航

长沙seo优化

长沙网络营销

长沙网站建设