使用异步非阻塞框架Tornado配合七牛云存储Api来异步切分上传文件

by Liu Yue/2019-12-15

    之前写了几篇关于FastDfs分布式存储的文章:python3.7.3操作FastDfs来进行文件操作,其实市面上关于云存储的第三方服务比比皆是,最著名的无疑就是七牛云存储,本次我们将演示用tornado配合七牛云来进行文件的云存储操作。

    在做七牛云的文件上传时,很多人有一个误区,就是以为是前端先上传到后台服务器,然后后台服务器再将文件上传到七牛云,这个逻辑本身没有问题,但是会遇到一个问题,如果是后台对接七牛,出一个接口,前端调用接口,先将图片传到后台,然后后台再上传七牛云,用的过程中发现,文件小的情况下还好,文件一旦到了几十兆甚至几百兆的时候就很慢,前端上传图片到后台需要一定时间,后端上传到七牛又需要一段时间,很是麻烦,所以逻辑应该是前端直接上传七牛,而后台只承担生成token和存储七牛云返回的hash的任务。

    首先,使用tornado写一个实时生成token的接口,进入你的七牛云账号,打开秘钥页,记录下你的ak和sk

    

    然后打开云存储空间,记录一下你云存储空间的名称

    

    此时,用tornado写一个接口,用来返回七牛云的上传token,写之前先安装依赖 pip install qiniu

    

#七牛云token
from qiniu import Auth
class QiNiuHandler(BaseHandler):
    async def get(self):
        q = Auth('E2IZM3koC1GR1DUqJHactmixzdyZZhx0edBKqDsk','GDnMkvRoE_kFhCSuvdqQj0VcNsRDOHzYJJ_bVd0_')
        token = q.upload_token('redinnovation')
        print(token)

        self.write(json.dumps({'uptoken':token},ensure_ascii=False))
     写好后,访问tornado服务,确保每一次都会生成新的token,访问http://localhost:8000/uptoken


    

    此时,后台接口已经写好,制作一个demo.html,用来写前端操作

    

<!doctype html>
<html lang="zh">
<head>
    <meta charset="UTF-8">
    <meta name="viewport"
          content="width=device-width, user-scalable=no, initial-scale=1.0, maximum-scale=1.0, minimum-scale=1.0">
    <meta http-equiv="X-UA-Compatible" content="ie=edge">
    <title>js上传文件到七牛</title>
    <style>
        #container{
            width:200px;
            height:200px;
            border:1px solid #9d9d9d;
            border-radius: 6px;
            margin:50px auto;
            position: relative;
            overflow: hidden;
        }
        .upload-progress{
            width:100%;
            height:100%;
            position: absolute;
            top:0;
            left:0;
            background: rgba(0,0,0,0.5);
            z-index: 5;
            color:#fff;
            line-height: 200px;
            text-align: center;
            display: none;
        }
        #uploadImage{
            width:100%;
            height:100%;
            position: absolute;
            top:0;
            left:0;
            z-index: 2;
            text-align: center;
            line-height: 200px;
            cursor: pointer;
        }
        #container img{
            width:100%;
            position: absolute;
            top:0;
            left:0;
            z-index: 1;
        }
    </style>
</head>
<body>
<div id="container">
    <div id="uploadImage">选择文件</div>
    <div class="upload-progress"></div>
</div>

<script src="./moxie.js"></script>
<script src="./plupload.full.min.js"></script>
<script src="./qiniu.min.js"></script>
<script src="./jquery-1.12.1.min.js"></script>
<script>
    var uploader = Qiniu.uploader({
        disable_statistics_report: false,                                   // 禁止自动发送上传统计信息到七牛,默认允许发送
        runtimes: 'html5,flash,html4',                                      // 上传模式,依次退化
        browse_button: 'uploadImage',                                       // 上传选择的点选按钮,必需
        container: 'container',                                             // 上传区域DOM ID,默认是browser_button的父元素
        max_file_size: '500mb',                                             // 最大文件体积限制
        flash_swf_url: 'Moxie.swf',                                         // 引入flash,相对路径
        dragdrop: false,                                                    // 关闭可拖曳上传
        chunk_size: '4mb',                                                  // 分块上传时,每块的体积
        multi_selection: !(moxie.core.utils.Env.OS.toLowerCase() === "ios"),
        uptoken_url: 'http://localhost:8000/uptoken',                                                 // 在初始化时,uptoken,uptoken_url,uptoken_func三个参数中必须有一个被设置,uptoken是上传凭证,由其他程序生成;uptoken_url是提供了获取上传凭证的地址,如果需要定制获取uptoken的过程则可以设置uptoken_func;其优先级为uptoken > uptoken_url > uptoken_func
        //uptoken:'q06bq54Ps5JLfZyP8Ax-qvByMBdu8AoIVJpMco2m:kyTiuN6GBUpfNt1nJIA7C8CCStY=:eyJzY29wZSI6IjEzMTIzMTIzMTIzIiwiZGVhZGxpbmUiOjE1NzY0MTM3MTB9',
        domain: 'redinnovation.s3-cn-north-1.qiniucs.com',                                                      // bucket域名,下载资源时用到,必需
        get_new_uptoken: false,                                              // 设置上传文件的时候是否每次都重新获取新的uptoken
        auto_start: true,                                                   // 选择文件后自动上传,若关闭需要自己绑定事件触发上传
        max_retries: 3,                                                     // 上传失败最大重试次数
        save_key: true,
        resize: {                                                           // 想限制上传图片尺寸,直接用resize这个属性
            width: 300,
            height: 300
        },
        init: {
            'FilesAdded': function(up, files) {                             // 文件添加进队列后,处理相关的事情
                plupload.each(files, function(file) {
                    console.log(file)
                });
            },
            'BeforeUpload': function(up, file) {                            // 每个文件上传前,处理相关的事情
                console.log("开始上传之前");
                $(".upload-progress").show();
            },
            'UploadProgress': function(up, file) {                          // 每个文件上传时,处理相关的事情
                console.log("上传中");
                $(".upload-progress").html("上传进度:"+file.percent + "%");
            },
            'FileUploaded': function(up, file, info) {                       // 每个文件上传成功后,处理相关的事情
                console.log("上传成功");
                console.log(info);
                //$(".upload-progress").hide();
                //var img = new Image();                                      //创建一个Image对象,实现图片的预下载
                //img.src = "http://qiniu.com/"+res.key;
                //$("#container").append(img);
            },
            'Error': function(up, err, errTip) {
                console.log("上传出错")
            },
            'UploadComplete': function() {
                //队列文件处理完毕后,处理相关的事情
            }
        }
    });
</script>
</body>
</html>
     上传成功后,记得对应一下hash值,看是否一致


    

    可以看到,完全一致,这也是七牛云的优势之一,利用文件hash来进行重复文件的排重,节约存储空间

    总体上没有任何难度,值得一提的是,如果七牛云接口报400

    

    说明你的上传区域没有设置对,存储空间在华北就是up-z1.qiniup.com,如果是华南的话就是up-z2.qiniup.com,只要修改qiniu.min.js中对应的网址即可。

    最后奉上七牛云上传文件demo的项目地址:https://gitee.com/QiHanXiBei/qiniu_upload_demo