APP爬虫mitmproxy代理工具的安装和使用

laical · · 648 次点击 · · 开始浏览

这是一个创建于的文章，其中的信息可能已经有所发展或是发生改变。

第一次，站长亲自招 Gopher 了>>>

mitmproxy 是python中的一款抓包工具

mitmproxy 安装：

安装mitmproxy,可以使用pip install mitmproxy直接安装，还会附带mitmdump和mitmweb这两个关联组件。mitmdump他是一种命令接，mitmweb是一种web程序

mitmproxy的作用：

拦截，修改，保存HTTP（S）请求

支持HTTP（S）发出请求返回响应

支持反向代理和透明代理

命令接口对接python对HTTP请求处理

mitmproxy原理：

mitmproxy 启动，默认监听在 8080 端口。新开一个代理设置mitmproxy转发请求到本地上，mitmproxy就相当于一个中间人（抓包工具），抓取到数据后对接mitmdump组件进行保存和分析。

设置代理：

#! -*- encoding:utf-8 -*-
    import requests
    import random
    import requests.adapters

    # 要访问的目标页面
    targetUrlList = [
        "https://httpbin.org/ip",
        "https://httpbin.org/headers",
        "https://httpbin.org/user-agent",
    ]

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host": proxyHost,
        "port": proxyPort,
        "user": proxyUser,
        "pass": proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http": proxyMeta,
        "https": proxyMeta,