当前位置: 玩币族首页 > 币圈百科 > 某动态js加密cookie网站爬虫记录

某动态js加密cookie网站爬虫记录

2020-09-09 公链财经来源：火星财经

虽然可以爬取的平台很多，可以选择爬取其他平台的数据来代替，但是考虑到该平台的可用数据量很大，值得花时间做这个爬虫，同时也是受到好奇心的驱使，于是研究了该平台的反爬机制。

1.问题由来：由于公司新项目需求，需要从不同平台爬取大量与项目相关的数据，大多数平台没有反爬机制，只有一个站点布置了反爬。虽然可以爬取的平台很多，可以选择爬取其他平台的数据来代替，但是考虑到该平台的可用数据量很大，值得花时间做这个爬虫，同时也是受到好奇心的驱使，于是研究了该平台的反爬机制。以下将该站点称为h网站。2.问题描述：h网站的的访问需要带上一个动态cookie才能访问成功。

访问失败和访问成功的图示

访问失败，返回HTML源码

访问成功，返回HTML源码

访问失败原因：每一次访问Request Header需要带上一个动态的cookie，如果请求里没有该cookie，则访问失败，cookie如图所示

其中最为关键的cookie是name为FSSBBIl1UgzbN7N80T的cookie，该cookie是动态变化的，而其他的cookie：例如：FSSBBIl1UgzbN7N80S, JSESSIONID, site_id_cookie等这些都是不变的，而让FSSBBIl1UgzbN7N80T这个cookie产生动态变化的代码有两段，分别是：<script type="text/javascript" charset="iso-8859-1" src="/4QbVtADbnLVIc/d.FxJzG50F.3e2af61.js" r='m'></script>

第二段代码不妨称为bootstrap.js，bootstrap.js是动态变化，而且加密混淆过的。

爬虫的难度

相比其他网站，该网站爬虫的难度在于每次访问需要带上所需的动态cookie，但是脱离了浏览器环境，产生cookie的js代码无法执行,而且js代码也是动态变化的，所以无法只在js环境里面执行一次代码，就一劳永逸。

3.解决方案

go有一个goja的执行js的库，相当于python的pyv8模块。我刚开始想的是调用goja，每次访问无论失败成功返回中都会附带动态js代码，所以可以用goja执行代码，获得cookie，带上cookie再访问。但是随之而来的问题是，动态js代码中引用了window，document这样的浏览器环境中才有的全局变量。goja已经无法满足动态js的执行，到这里有一个解决办法就是使用chromedp库。最近广泛使用的headless browser解决方案PhantomJS已经宣布不再继续维护，转而推荐使用headless chrome.那么headless chrome究竟是什么呢，Headless Chrome 是 Chrome 浏览器的无界面形态，可以在不打开浏览器的前提下，使用所有 Chrome 支持的特性运行你的程序。简而言之，除了没有图形界面，headless chrome具有所有现代浏览器的特性，可以像在其他现代浏览器里一样渲染目标网页，并能进行网页截图，获取cookie，获取html等操作。想要在golang程序里使用headless chrome，需要借助一些开源库，实现和headless chrome交互的库有很多，这里选择chromedp，接口和Selenium类似，易上手。chromedp提供一种更快，更简单的方式来驱动浏览器 (Chrome, Edge, Safari, Android等)在 Go中使用Chrome Debugging Protocol 并且没有外部依赖 (如Selenium, PhantomJS等)。调用chromedp的Evaluate来执行相关js代码，在运行中还是报错。但是其实使用chromedp访问站点，跟在浏览器里访问是一样的，只是没有可视化的图形页面而已。利用chromedp访问后已经无需再执行动态js，访问的时候代码已经执行过了，此时cookie已经产生。所以只需要利用chromedp获取headless chrome里存储的cookie即可。package main

import (

"context"

"fmt"

"log"

"github.com/chromedp/chromedp"

)

func main() {

var cookieBase string = "site_id_cookie=1; clientlanguage=zh_CN; "

ctx, cancel := chromedp.NewContext(context.Background())

defer cancel()

// run task list

var res string

err := chromedp.Run(ctx,

chromedp.Navigate(`http://www.hbsredcross.org.cn/`),

chromedp.WaitVisible(`body`),

chromedp.Evaluate(`document.cookie`, &res),

)

if err != nil {

log.Fatal(err)

}

fmt.Println(cookieBase + res)

}无论如何，问题的关键是明确的，在于获取动态cookie。所以我想既然从代码里生成cookie难度较大，那不如直接从浏览器那边获取cookie。我使用的是chrome浏览器，本地存放cookie的文件是`C:\Users\…\AppData\Local\Google\Chrome\UserData\Default\Cookies（windows）”。但是因为cookie是动态变化的，所以还需要用一个定时刷新页面的脚本。定时刷新很简单，网上有可使用的js脚本，chrome也有定时刷新的扩展(例如：Super Auto Refresh Plus)。现在只需解决cookie文件读的问题。cookies文件是一个sqlite的数据库文件，cookies的table是:CREATE TABLE cookies(

creation_utc INTEGER NOT NULL,

host_key TEXT NOT NULL,

name TEXT NOT NULL,

value TEXT NOT NULL,

path TEXT NOT NULL,

expires_utc INTEGER NOT NULL,

is_secure INTEGER NOT NULL,

is_httponly INTEGER NOT NULL,

last_access_utc INTEGER NOT NULL,

has_expires INTEGER NOT NULL DEFAULT 1,

is_persistent INTEGER NOT NULL DEFAULT 1,

priority INTEGER NOT NULL DEFAULT 1,

encrypted_value BLOB DEFAULT '',

samesite INTEGER NOT NULL DEFAULT -1,

source_scheme INTEGER NOT NULL DEFAULT 0,

UNIQUE (host_key, name, path)

)

go相关的库有

go-sqlite/sqlite3

使用sqlite3读取cookies这个db文件，根据cookie的host，name过滤获得需要的FSSBBIl1UgzbN7N80T即可。其中cookies中的字段，如果cookie value是加密的blob内容,那么value的值是放在encrypted_value字段，如果value没有加密，那么值放在value字段。爬取h平台所需cookie的value值是加密的，所以读取出来的encrypted_value还需要解密。chrome加密cookie在不同平台上的加密方法不同， Windows下加密采用DPAPI。

zellyn/kooky

有封装好的直接获得所需cookie的方法。其他相关的库可以自行查找…

脚本：

1.Chrome在对Cookie的值保存之前会进行加密处理，并保存在数据库的encrypt_value字段中。在Windows系统中，Cookie加密采用的是系统提供的函数CryptProtectData，在解密的时候也需要调用系统提供的函数CryptUnprotectData。解密的Windows用户必须与加密的用户一致才能成功解密。不过系统提供的是C函数，go通过syscall库来实现对C函数的调用。CryptUnprotectData需要7个参数：

pDataIn

一个指向DATA_BLOB结构体的指针，该DATA_BLOB内需存放被解密的数据。DATA_BLOB结构体内含两个成员：cbData，数据的所占用的字节数；pbData，指向数据所在内存的指针。

ppszDataDescr

描述该加密数据的信息，如果在进行加密操作的时候添加了描述，那么在解密的时候也能得到该描述信息。获得该描述后需要调用系统提供的LocalFree释放ppszDataDescr指向的内存。如果不需要，设为NULL即可。

pOptionalEntropy

一个指向含有密钥DATA_BLOB的指针，不过在进行Cookie加密时通常不会用到。

pvReserved

保留参数，设为NULL即可。

pPromptStruct

解密是一个有安全风险的操作，可能需要弹出风险提升，如果不需要弹出提示设置为NULL即可。

dwFlags

安全相关的标志，设置为0即可。

pDataOut

一个指向解密后的数据的DATA_BLOB，获得解密数据后需要调用系统提供的LocalFree函数释放pbData指向的内存。package main

import (

"fmt"

"os/user"

"syscall"

"unsafe"

"github.com/go-sqlite/sqlite3"

)

func main() {

usr, _ := user.Current()

var cookiesFile string = usr.HomeDir + `\AppData\Local\Google\Chrome\User Data\Default\Cookies`

cookies, err := ReadChromeCookies(cookiesFile, "www.hbsredcross.org.cn", "FSSBBIl1UgzbN7N80T")

if err != nil {

fmt.Println(err)

return

}

if len(cookies) == 0 {

fmt.Println("visit www.hbsredcross.org.cn first")

return

}

fmt.Println(cookies[0])

}

var (

dllcrypt32 = syscall.NewLazyDLL("Crypt32.dll")

dllkernel32 = syscall.NewLazyDLL("Kernel32.dll")

procDecryptData = dllcrypt32.NewProc("CryptUnprotectData")

localFree = dllkernel32.NewProc("LocalFree")

)

type data_blob struct {

cbData uint32

pbData *byte

}

type Cookie struct {

Domain string

Name string

Value string

}

func newBlob(d []byte) *data_blob {

if len(d) == 0 {

return &data_blob{}

}

return &data_blob{

pbData: &d[0],

cbData: uint32(len(d)),

}

func (b *data_blob) toByteArray() []byte {

d := make([]byte, b.cbData)

p := uintptr(unsafe.Pointer(b.pbData))

for i := 0; i < int(b.cbData); i++ {

p2 := (*byte)(unsafe.Pointer(p))

d[i] = *p2

p += unsafe.Sizeof(byte(0))

}

return d

}

func decrypt(data []byte) ([]byte, error) {

var outblob data_blob

r, _, err := procDecryptData.Call(uintptr(unsafe.Pointer(newBlob(data))), 0, 0, 0, 0, 0, uintptr(unsafe.Pointer(&outblob)))

if r == 0 {

return nil, err

}

defer localFree.Call(uintptr(unsafe.Pointer(outblob.pbData)))

return outblob.toByteArray(), nil

}

func decryptValue(encrypted []byte) (string, error) {

s, err := decrypt(encrypted)

if err != nil {

return ``, err

}

return string(s), nil

}

func ReadChromeCookies(filename string, domainFilter string, nameFilter string) ([]*Cookie, error) {

var cookies []*Cookie

db, err := sqlite3.Open(filename)

if err != nil {

return nil, err

}

defer db.Close()

err = db.VisitTableRecords("cookies", func(rowId *int64, rec sqlite3.Record) error {

cookie := &Cookie{}

if len(rec.Values) < 14 {

return fmt.Errorf("table 至少有14个字段", len(rec.Values))

}

domain, ok := rec.Values[1].(string)

if !ok {

return fmt.Errorf("domain不是string类型")

}

name, ok := rec.Values[2].(string)

if !ok {

return fmt.Errorf("name不是string类型")

}

value, ok := rec.Values[3].(string)

if !ok {

return fmt.Errorf("value不是string类型")

}

encrypted_value, ok := rec.Values[12].([]byte)

if !ok {

return fmt.Errorf("encrypted_value不是[]byte类型")

}

if domainFilter != "" && domain != domainFilter {

return nil

}

if nameFilter != "" && name != nameFilter {

return nil

}

cookie.Domain = domain

cookie.Name = name

if len(encrypted_value) > 0 {

decrypted, err := decryptValue(encrypted_value)

if err != nil {

return fmt.Errorf("decrypting cookie %v: %v", cookie, err)

}

cookie.Value = decrypted

} else {

cookie.Value = value

}

cookies = append(cookies, cookie)

return nil

})

if err != nil {

return nil, err

}

return cookies, nil

}

2.Simple script to extract (encrypted) cookies out of Chrome OS X cookie store. Usage: ./cookiemonster domain.com

本文来源：公链财经
原文标题：某动态js加密cookie网站爬虫记录

—-

编译者/作者：公链财经

玩币族申明：玩币族作为开放的资讯翻译/分享平台，所提供的所有资讯仅代表作者个人观点，与玩币族平台立场无关，且不构成任何投资理财建议。文章版权归原作者所有。

知识加密浏览器

上一篇：9.9币赢合约学院行情研报:9835和10207区域间震荡,等待选择方向——King
下一篇：币生贸富：9.9BTC本周看到9500ETH看到2字头

某动态js加密cookie网站爬虫记录

相关阅读：

新文章

知识推荐