抓取到了一段包含数据的javascript代码:
import re import requests headers = { "user-agent": "mozilla/5.0 (windows nt 10.0; wow64) applewebkit/537.36 (khtml, like gecko) chrome/86.0.4240.198 safari/537.36", "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9", } res = requests.get( "https://www.kuaikanmanhua.com/web/comic/100868/", headers=headers ) script = re.findall( "<script>window.__nuxt__=([^<]+);</script>", res.text)[0].replace('\\u002f', "/") script
结果:
这段代码直接在游览器执行可以得到对应的json数据,那么我们如何使用python执行这段代码获取js数据呢?答案是使用execjs。
安装:
pip install pyexecjs
但是如果此时在安装过nodejs的windows上直接执行代码:
import execjs execjs.eval(script)
会报出如下错误:
unicodedecodeerror: 'gbk' codec can't decode byte 0xa4 in position 447: illegal multibyte sequence
此时我们需要重新指定execjs的环境为jscript:
import os os.environ["execjs_runtime"] = "jscript"
再次执行可以顺利得到结果。
如果我们确实需要使用本地nodejs的环境执行javascript则需要修改修改execjs的源码:
import os os.environ["execjs_runtime"] = "node" print(execjs.get().name)
node.js (v8)
找到execjs安装目录下的_external_runtime.py
文件:
重启程序再次执行即可得到结果:
execjs的调用函数或读取变量示例:
import execjs ctx = execjs.compile(""" function add(x, y) { return x + y; } v = add(3, 4); """) print(ctx.call("add", 1, 2), ctx.eval("v"))
3 7
lib\site-packages\execjs\runtime_names.py
文件可以看到execjs所支持的javascript环境:
pyv8 = "pyv8" node = "node" javascriptcore = "javascriptcore" spidermonkey = "spidermonkey" jscript = "jscript" phantomjs = "phantomjs" slimerjs = "slimerjs" nashorn = "nashorn"
总结
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。