这篇文章分享给大家的内容是关于Node.js抓取网站图片的方法和代码是什么，本文介绍得很详细，内容很有参考价值，希望可以帮到有需要的小伙伴，接下来就让小编带领大家一起了解看看吧。

涉及知识点

开发一个小爬虫，涉及的知识点如下所示：

• https模块，主要是用户获取网络资源，如：网页源码，图片资源等。
• cheerio模块，主要用于解析html源码，并可访问，查找html节点内容。
• fs模块，主要用于文件的读写操作，如保存图片，日志等。
• 闭包，主要是对于异步操作，对象的隔离保护。

cheerio简介

什么是cheerio ?

cheerio是为服务器特别定制的，快速、灵活、实施的jquery核心实现。主要用于在服务端解析html。特点如下所示：

• 易用，语法类似jquery语法，从jquery库中去除了所有 dom不一致性和浏览器尴尬的部分。
• 解析快，比jsdom快八倍。
• 灵活，cheerio 封装了兼容的htmlparser。cheerio 几乎能够解析任何的 html 和 xml document。

安装cheerio

首先在命令行，切换到程序目录，然后输入安装命令进行安装，如下所示：

cnpm install cheerio

安装过程，如下所示：

准备工作

在编写爬虫之前，首先需要分析目标内容，本次需要爬取的是某网站，星空类型的图片内容，经过分析，发现所有的图片都是在ul下每一个li中的a标签内的img中，本次只需要解析出img的src属性，即可获取图片的下载路径。如下所示：

核心代码

经过以上分析，通过node.js编写代码，分为两步，获取所有图片的url路径，即解析所有目标img元素的src属性。然后再下载具体图片进行保存即可。

引用所需要的功能模块，如下所示：

var https = require('https');
var cheerio = require('cheerio');
var fs = require('fs');

获取并解析html页面内容，如下所示：

//爬取的网址
var addrs=['https://www.*****.com/topic/show_27202_1.html','https://www.******.com/topic/show_27202_2.html','https://www.*****.com/topic/show_27202_3.html'];
var logger = fs.createwritestream('./download/log.txt',{flags:'a+',autoclose:'true'});

for(i in addrs){
    (function(num){
   var addr = addrs[num];
   //创建目录
   var p1 = new promise(function(resolve,reject){
     fs.access('./download',function(err){
       if(err){
           fs.mkdir('./download',function(e){
               if(e){
                   console.log('创建失败');
               }
           });
        }else{
            resolve("success");
        }
       });
   });

   p1.then(function(datas){
       var html='';
       var p2 = new promise(function(resolve,reject){
           https.get(addr,function(res){
                res.on('data',function(data){
                    html+=data.tostring();
                })
                res.on('end',function(){
                    resolve("success");
                });

            });

       });
      p2.then(function(data){
        //下载完成后，进行解析
        const $ =cheerio.load(html);
        var lis = $('#img-list-outer').find('li');
        for(var j=0;j<lis.length-1;j++){
            var li = lis[j];
            var src =$(li).find('a').find('img').attr('src');
            //console.log(src);
            //console.log('-------------------------');
            var imgurl='https:'+src;
            download(imgurl);
            var msg='['+j+']下载成功：'+imgurl;
            logger.write(msg+'\n');
            console.log(msg);
        }
      });
   });
   })(i);
}

注意：因为所有爬取的目标共分为3页，所以用到了循环，并且在循环中用到了闭包。

下载并保存单张图片代码，如下所示：

//下载图片
function download(imgurl){
    var p1 = new promise(function(resolve,reject){
        https.get(imgurl,function(res){
            var imgname=imgurl.substr(imgurl.lastindexof('/')+1);
            var stream = fs.createwritestream('./download/'+imgname);
            res.pipe(stream);
            settimeout(function(){
                resolve('success');
            },300);

        });
    });
    p1.then(function(data){
        return;
    });
}

示例截图

开发完成后，运行代码，如下所示

爬取的图片，保存在文件夹中，如下所示：

注意：添加日志，是为了方便记录程序执行过程，对比图片和日志，便于发现问题。

现在大家对于Node.js抓取网站图片的方法和代码是什么的内容应该都清楚了吧，希望大家阅读完这篇文章能有所收获。最后，想要了解更多Node.js抓取网站图片的方法和代码是什么的知识，欢迎关注群英网络，群英网络将为大家推送更多相关知识点的文章。

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。