Scrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个服务器的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数），这时候分布式爬虫的优势就显现出来。     而Scrapy-Redis则是一个基于Redis的Scrapy分布式组件。它利用Redis对用于爬取的请求(Requests)进行存储和调度(......

    近几年，混合模式移动应用的概念甚嚣尘上，受到了一些中小型企业的青睐，究其原因，混合模式开发可以比传统移动开发节约大量的开发成本和人力成本。     Hybrid App（混合模式移动应用）是指介于web-app、native-app这两者之间的app，兼具“Native App良好用户交互体验的优势”和“Web App跨平台开发的优势”。     说白了，如果走传统移动开发路线，......

    Go lang无疑是目前的当红炸子鸡，极大地提高了后端编程的效率，同时有着极高的性能。借助Go语言我们 可以用同步的方式写出高并发的服务端软件，同时，Go语言也是云原生第一语言，Docker，Kubernetes等等著名的项目都是使用Go语言实现的。     Hugo 是基于 Go 语言的静态网站生成器。     什么是静态网站生成器？顾名思义，就是以最快的......

    之前写过一篇文章是在阿里云服务器上用Apache切换https协议：将博客迁移阿里云并且切换成https解析的过程     这一次，换成使用Nginx来部署，相比之下，比Apache的配置要简单一些     如何申请SSL证书就按下不表了，非常简单，目前阿里云和腾讯云都免费提供一年的证书服务，区别就是腾讯云不需要域名在腾讯，而阿里云只有域名在阿里旗下才提供。    ......

    在之前的一篇文章中:利用Docker来搭建分布式文件系统FastDfs，我们已经搭建好了FastDfs分布式文件系统，并且已经可以通过命令进行上传操作，那么如何使用python来上传文件呢？     很简单，还是利用docker的特性，我们知道docker 的 -v 参数，可以自动挂载宿主机的文件件到容器中去，这样宿主和容器就可以进行无障碍的文件共享，我们通过-v参数，把宿主机的root目录自动挂载到docker容器......

    对于文件存储来说，一般情况下简单的处理就是在Django配置文件中配置存储目录，按照规则对文件进行上传或者下载。     实际上，当文件较少的时候，Django是可以应付的过来的。但当文件以海量形式出现的时候，Django就并不是那么好用了，于是Fast DFS应运而出。         FastDFS是一个开源的分布式文件系统，它对文件进行管理，功能包括......

    负载均衡在服务端开发中算是一个比较重要的特性。因为Nginx除了作为常规的Web服务器外，还会被大规模的用于反向代理后端，Nginx的异步框架可以处理很大的并发请求，把这些并发请求hold住之后就可以分发给后台服务端(backend servers, 后面简称backend)来做复杂的计算、处理和响应，并且在业务量增加的时候可以方便地扩容后台服务器。     说白了就是，随着业务和用户规模的增长，仅仅一台服务器......

    Supervisor    是用Python开发的一个client/server服务，是Linux/Unix系统下的一个进程管理工具，不支持Windows系统。它可以很方便的监听、启动、停止、重启一个或多个进程。用Supervisor管理的进程，当一个进程意外被杀死，supervisort监听到进程死后，会自动将它重新拉起，很方便的做到进程自动恢复的功能，不再需要自己写shell脚本来控制。   &n......

    众所周知，在视频直播领域，有不同的商家提供各种的商业解决方案，其中比较靠谱的服务商有阿里云直播，腾讯云直播，以及又拍云和网易云的有偿直播服务，服务包括软硬件设备，摄像机，编码器，流媒体服务器等。但是其高昂的费用以及较高的准入门槛让许多个人和小型企业望而却步，本文要讲解的是如何使用nginx-rtmp搭建直播服务器，配合FFmpeg推流，在网页端vue.js作为载体利用video.js作为流播放器，打造一套可用的在线视频直播方案。 ......

    FFmpeg是个啥？         FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。     首先去官网https://www.ffmpeg.org/download.html下载windows下的压缩......

    在之前的一篇文章中详细阐述了如何部署Nginx代理uwsgi+django后台服务,现在轮到部署前端应用vue.js了，vue.js的好处就不多说了，其作为一个轻巧、高性能、可组件化的MVVM库，学习成本要比React要低，性能比脏检查的AngularJS不知道高到哪里去了。本文介绍如何在centos上部署vue.js应用。     建立一个简单的vue.js脚手架项目的完整命令 //安装cnpm npm i......

    一直以来想写一篇完整的在阿里云服务器上部署Django服务结合uwsgi，并且通过nginx做反向代理。因为网上的攻略鱼龙混杂，加上技术不断更新，一些年代久远的文章很容易让人在部署的过程中掉坑里，无法自拔，所以本篇文章以最新的阿里云服务器centos7.6为背景，完全阐述如何部署，亲测可用，其实要说难点完全没有，只要按部就班，就不会有问题。     当你购买了阿里云的ecs，涉及ecs的有两个密码，一定要搞清楚，一个......

    在之前的文章中介绍了如何编写支付宝支付接口 Python3.7.2+Django2.0.4 美多商城集成最新版支付宝支付接口(2019.04)     匆忙之中只考虑了支付，其实当交易发生之后一段时间内，由于买家或者卖家的原因需要退款时，卖家可以通过退款接口将支付款退还给买家，支付宝将在收到退款请求并且验证成功之后，按照退款规则将支付款按原路退到买家帐号上。 交易超过约定时间（签约时设置的可退款时间）的订单无法进行退款 ......

    首先，如果你的pip版本在6.0以上的话，可以在安装软件的时候加上–-no-cache-dir 来选择不缓存，所以建议将pip升级到最新版本 pip3 install --upgrade pip     如果你已经用pip安装过不少软件，并且没有选择不缓存的话，可以用下面的命令来删除缓存      #Linux and Un......

之前介绍了一个基于jquery的uploadify插件，可以用来上传文件：Django2.0.4+Uploadify3.0(h5版) 实现多文件异步上传和删除 但毕竟这是面向过程基于节点的插件，如果前端使用vue.js的脚手架，就要入乡随俗，利用vue.js自带的vue-resource来实现异步上传视频文件 首先安装 vue-resource  没必要全局安装，所以只在需要用到的项目中安装即可 cnpm install......

    在之前的一篇文章中介绍了如何将富文本kindeditor结合到django中：Django2.0.4 结合 KindEditor 4.1.11 富文本编辑器     在同域环境中是没有问题的，换句话说，也就是上传接口如果部署在前端页面同一个域名下是没有问题的，然而美多商城的系统架构是前后端分离，前端页面是vue.js服务，后端接口是django服务，分别部署在不同的服务器上，如果在vue.sj页面中想要使用kinde......

websocket是个啥？ webSocket是一种在单个TCP连接上进行全双工通信的协议 webSocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在WebSocket API中，浏览器和服务器只需要完成一次握手，两者之间就直接可以创建持久性的连接，并进行双向数据传输 现在，很多网站为了实现推送技术，所用的技术都是轮询。轮询是在特定的的时间间隔（如每1秒），由浏览器对服务器发出HTTP请求，然后由服务器返回最新的数......

    Python插件中默认使用pylint用来检测python代码的书写是否有错误和是否符合良好的编码习惯。 Python官网（https://www.python.org/dev/peps/pep-0008/）专门有版块介绍推荐的python代码习惯，比如类，函数等的命名规则，遵守这些规则可以使自己的代码更加简明和易读。 然而pylint在面对django框架时表现的有些不足，因为django使用了大量的元编程(metaprogra......

    秒杀功能众所周知，低廉的价格会引来很多用户趋之若鹜的争抢点击，导致一系列的服务器负载问题，服务器负载太大而影响程序效率也是很常见的，Apache服务器自带有一个叫AB(ApacheBench)的工具，可以对服务器进行负载测试 同时美多商城的秒杀功能也会被高负载影响，从而导致超卖现象 安装xampp软件 进入 c:/xampp/apache/bin 基本用法: ab  -n 全部请求数 -c 并发数测试u......

  最新版支付宝算法的改变就是RSA升级了RSA2,长度推荐2048,其他的逻辑变化不大，关于秘钥的生成在之前的一篇文章已经有所介绍   在Mac系统下生成新版支付宝（2019年4月）支付接口私钥和公钥   在Django中集成支付接口的前置操作就是需要安装pycryptodome   pip3 install -i https://pypi.......