网易云音乐热门评论api分析

网上有现成的例子我就扒过来了！！

title: 网易云评论api分析
date: 2018-12-24 20:54:46
tags: [python]

网易云音乐是个好地方，里面各个都是人才，特别是评论区……

所以我就想把评论爬下来看看，下面记录一下分析api的过程与结果。

过程大概如下：

定位到获取评论的请求
分析评论请求方式
用python获取评论

定位评论请求

废话少说，F12，在网页中随便找一首歌，url形如: https://music.163.com/#/song?id=28828076，抓包。

待页面加载完成之后，随便找条评论搜索，定位到获取评论的那条请求，如下图：

可以看到这条请求是发向https://music.163.com/weapi/v1/resource/comments/R_SO_4_28828076?csrf_token=的，而其中的R_SO_4_后面其实就是歌曲的id。

分析请求

请求中发送的数据如下图，看一眼，啥都看不懂，肯定是加密过了。

从表单中的名称猜测出一个是加密后的内容，另一个是加密密钥。

下面要找到在哪里加密的信息，然后进一步找到加密方法，这样我们就可以用爬虫来模拟了。

在哪加密

同样，在network tab下面搜索encSecKey，搜到了一个js文件中的两个函数都有encSecKey。

下面列出这两个函数：

函数一

! function() {
    function a(a) {
        // 获取随机串
        var d, e, b = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789",
            c = "";
        for (d = 0; a > d; d += 1) e = Math.random() * b.length, e = Math.floor(e), c += b.charAt(e);
        return c
    }

    // a是待加密数据，b是passphrase
    function b(a, b) {
        var c = CryptoJS.enc.Utf8.parse(b),
            d = CryptoJS.enc.Utf8.parse("0102030405060708"),
            e = CryptoJS.enc.Utf8.parse(a),
            // 使用AES加密
            // e是待加密信息
            // c是passphrase
            // d是nonce
            f = CryptoJS.AES.encrypt(e, c, {
                iv: d,
                mode: CryptoJS.mode.CBC
            });
        return f.toString()
    }

    // 生成RSA密钥对
    function c(a, b, c) {
        var d, e;
        return setMaxDigits(131), d = new RSAKeyPair(b, "", c), e = encryptedString(d, a)
    }

    function d(d, e, f, g) {
        // d是表单数据
        // e和g是常数
        // 经过分析e: 010001
        //        g: 0CoJUm6Qyw8W8jud
        
        var h = {},
            i = a(16);  // 长度为16的随机串
        
        // 上面的b函数是用于AES加密，这里调用b进行了两次AES加密
        // 使用
        return h.encText = b(d, g), h.encText = b(h.encText, i), h.encSecKey = c(i, e, f), h
    }

    function e(a, b, d, e) {
        var f = {};
        return f.encText = c(a + e, b, d), f
    }
    window.asrsea = d, window.ecnonasr = e
}();

函数二

(function() {
    var c9h = NEJ.P,
        et2x = c9h("nej.g"),
        v9m = c9h("nej.j"),
        k9b = c9h("nej.u"),
        Xw8o = c9h("nm.x.ek"),
        l9c = c9h("nm.x");
    if (v9m.bl9c.redefine) return;
    window.GEnc = true;
    var brK4O = function(cxx0x) {
        var m9d = [];
        k9b.be9V(cxx0x, function(cxv0x) {
            m9d.push(Xw8o.emj[cxv0x])
        });
        return m9d.join("")
    };
    var cxt0x = v9m.bl9c;
    v9m.bl9c = function(Y9P, e9f) {
        var i9b = {},
            e9f = NEJ.X({}, e9f),
            mt4x = Y9P.indexOf("?");
        if (window.GEnc && /(^|\.com)\/api/.test(Y9P) && !(e9f.headers && e9f.headers[et2x.Cf0x] == et2x.Gl1x) && !e9f.noEnc) {
            if (mt4x != -1) {
                i9b = k9b.hb3x(Y9P.substring(mt4x + 1));
                Y9P = Y9P.substring(0, mt4x)
            }
            if (e9f.query) {
                i9b = NEJ.X(i9b, k9b.fP2x(e9f.query) ? k9b.hb3x(e9f.query) : e9f.query)
            }
            if (e9f.data) {
                i9b = NEJ.X(i9b, k9b.fP2x(e9f.data) ? k9b.hb3x(e9f.data) : e9f.data)
            }
            i9b["csrf_token"] = v9m.gO3x("__csrf");
            Y9P = Y9P.replace("api", "weapi");
            e9f.method = "post";
            delete e9f.query;
            var bVs3x = window.asrsea(JSON.stringify(i9b), brK4O(["流泪", "强"]), brK4O(Xw8o.md), brK4O(["爱心", "女孩", "惊恐", "大笑"]));
            e9f.data = k9b.cB0x({
                params: bVs3x.encText,
                encSecKey: bVs3x.encSecKey
            })
        }
        cxt0x(Y9P, e9f)
    };
    v9m.bl9c.redefine = true
})();

函数二调用了window.asrsea，而window.asrsea又在函数一中被赋值为d。

加密参数

在window.asrsea的参数表中，发现有两个硬编码的列表经过某个函数转换后传入到window.asrsea，也就是传入到d中，在d打下断点，发现经过转换后的传入到d中的参数如下：

d: "{"ids":"[5113327]","br":128000,"csrf_token":""}"
e: "010001"
f: "00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7"
g: "0CoJUm6Qyw8W8jud"

现在两个常数e,g都已经确定了，经过多次断点，发现f竟然也是常数。

那么现在传入加密函数d中的所有参数都已经确定了，接下来要分析出来怎么用这些参数加密数据，然后发送到服务器。

加密策略

加密策略是使用AES加密请求数据，然后用RSA加密AES密钥，我尝试分析了一下，发现分析得头皮发麻，后面在github找到了。。。。。链接在这：网易云新版webapi分析

代码

代码是python2写的，改了一下，python3能用：

import requests
import os
import binascii
import base64
import requests
import json
from Crypto.Cipher import AES


modulus = '00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7'
nonce = b'0CoJUm6Qyw8W8jud'
pubKey = '010001'

"""
加密过程
随机生成加密密钥secKey
然后用secKey两次对post的查询数据进行两次AES加密
用RSA对secKey加密
最后把加密后的secKey和查询数据post到服务器
"""

def createSecretKey(size):
    return binascii.hexlify(os.urandom(size))[:16]

def aesEncrypt(text, secKey):
    pad = 16 - len(text) % 16
    text = text + pad * str(chr(pad))
    encryptor = AES.new(secKey, AES.MODE_CBC, '0102030405060708'.encode('utf8'))
    ciphertext = encryptor.encrypt(text.encode('utf8'))
    ciphertext = base64.b64encode(ciphertext).decode('utf8')
    return ciphertext

def rsaEncrypt(text, pubKey, modulus):
    text = text[::-1]
    rs = int(bytes.hex(text), 16) ** int(pubKey, 16) % int(modulus, 16)
    return format(rs, 'x').zfill(256)

def encrypted_request(text):
    text = json.dumps(text)
    secKey = createSecretKey(16)
    encText = aesEncrypt(aesEncrypt(text, nonce), secKey)
    encSecKey = rsaEncrypt(secKey, pubKey, modulus)
    data = {
        'params': encText,
        'encSecKey': encSecKey
    }
    return data

def load_headers(filename):
    headers = {}
    with open(filename, 'r') as f:
        for line in f.readlines():
            entry = line.split(':', 1)
            if len(entry) != 2:
                continue
            headers[entry[0].strip()] = entry[1].strip()
    return headers

def comment_post_url(song_id, csrf=''):
    return 'https://music.163.com/weapi/v1/resource/comments/R_SO_4_' + \
        song_id + '?csrf_token=' + csrf

if __name__ == '__main__':

    # 加载请求头
    headers = load_headers('headers')

    song_id = '28828074'  

    req = {
        "csrf_token":"",
        "limit":"20",
        "offset":"0",
        "rid":"R_SO_4_" + song_id,
        "total":"true"
    }

    url = comment_post_url(song_id)

    postdata = encrypted_request(req)

    print('sending to {}'.format(url))

    r = requests.post(url, data=postdata, headers=headers)

    print(r.text)

经过测试Cookies中只有带有_ntes_nuid就行了。

headers:

Host: music.163.com
Connection: keep-alive
Origin: https://music.163.com
User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/71.0.3578.80 Chrome/71.0.3578.80 Safari/537.36
Content-Type: application/x-www-form-urlencoded
Accept: */*
Referer: https://music.163.com/song?id=558290126
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7,en-GB;q=0.6
Cookie: _ntes_nuid=9ae4bf42cfdf19018c7b461442deffe2