异步

    众所周知，异步并发编程可以帮助程序更好地处理阻塞操作，比如网络 IO 操作或文件 IO 操作，避免因等待这些操作完成而导致程序卡住的情况。云存储文件传输场景正好包含网络 IO 操作和文件 IO 操作，比如业内相对著名的七牛云存储，官方sdk的默认阻塞传输模式虽然差强人意，但未免有些循规蹈矩，不够锐意创新。在全球同性交友网站Github上找了一圈，也没有找到异步版本，那么本次我们来自己动手将同步阻塞版本改造为异步非阻塞版本，并上传至Python官方库。  &n......

    普遍意义上讲，生成器是一种特殊的迭代器，它可以在执行过程中暂停并在恢复执行时保留它的状态。而协程，则可以让一个函数在执行过程中暂停并在恢复执行时保留它的状态，在Python3.10中，原生协程的实现手段，就是生成器，或者说的更具体一些：协程就是一种特殊的生成器，而生成器，就是协程的入门心法。    协程底层实现    我们知道，Python3.10中可以使用async和await关键字来实现原生协程函数的定义和调度，但其实，我们......

    如果说Go lang是静态语言中的皇冠，那么，Goroutine就是并发编程方式中的钻石。Goroutine是Go语言设计体系中最核心的精华，它非常轻量，一个 Goroutine 只占几 KB，并且这几 KB 就足够 Goroutine 运行完，这就能在有限的内存空间内支持大量 Goroutine协程任务，方寸之间，运筹帷幄，用极少的成本获取最高的效率，支持了更多的并发，毫无疑问，Goroutine是比Python的协程原理事件循环更高级的并发异步编程方式。 ......

    我们一直都相信这样一种说法：协程是比多线程更高效的一种并发工作方式，它完全由程序本身所控制，也就是在用户态执行，协程避免了像线程切换那样产生的上下文切换，在性能方面得到了很大的提升。毫无疑问，这是颠扑不破的业界共识，是放之四海而皆准的真理。    但事实上，协程远比大多数人想象中的复杂，正因为协程的“用户态”特性，任务调度权掌握在撰写协程任务的人手里，而仅仅依赖async和await关键字远远达不到“调度”的级别，有时候反而会拖累任务效率，使其在任......

    定时任务的典型落地场景在各行业中都很普遍，比如支付系统中，支付过程中因为网络或者其他因素导致出现掉单、卡单的情况，账单变成了“单边账”，这种情况对于支付用户来说，毫无疑问是灾难级别的体验，明明自己付了钱，扣了款，但是订单状态却未发生变化。所以，每一笔订单的支付任务流程中都需要一个定时轮询的备选方案，一旦支付中发生问题，定时轮询服务就可以及时发现和更正订单状态。    又比如，之前的一篇以寡治众各个击破，超大文件分片上传之构建基于Vue.js3.0+......

    分治算法是一种很古老但很务实的方法。本意即使将一个较大的整体打碎分成小的局部，这样每个小的局部都不足以对抗大的整体。战国时期，秦国破坏合纵的连横即是一种分而治之的手段；十九世纪，比利时殖民者占领卢旺达， 将卢旺达的种族分为胡图族与图西族，以图进行分裂控制，莫不如是。    21世纪，人们往往会在Leetcode平台上刷分治算法题，但事实上，从工业角度上来看，算法如果不和实际业务场景相结合，算法就永远是虚无缥缈的存在，它只会出现在开发者的某一次不经意......

    协程与线程向来焦孟不离，但事实上是，线程更被我们所熟知，在Python编程领域，单核同时间内只能有一个线程运行，这并不是什么缺陷，这实际上是符合客观逻辑的，单核处理器本来就没法同时处理两件事情，要同时进行多件事情本来就需要正在运行的让出处理器，然后才能去处理另一件事情，左手画方右手画圆在现实中本来就不成立，只不过这个让出的过程是线程调度器主动抢占的。    线程安全    系统的线程调度器是假设不同的线程是毫无关系的，所以它平均......

    2022初始，凛冬已至，疫情横跳， 环境繁复，君不见互联网大厂纷纷裁员，银根紧缩。这一切归结为两个字：成本。对于互联网企业来讲，除了最基本的工商财税，办公室、办公设备、人力、产品和公关等等，这一切都是成本。而在疫情因素侵入导致经济下滑的情况下，降本增效就已经成为2022开年很多企业管理者非常重视的 KPI指标，而降本也一定会成为2022年技术发展的一个必然趋势。    降本增效，到底降什么本，增什么效，有何妙计？    异步编程......

    “表达欲”是人类成长史上的强大“源动力”，恩格斯早就直截了当地指出，处在蒙昧时代即低级阶段的人类，“以果实、坚果、根作为食物；音节清晰的语言的产生是这一时期的主要成就”。而在网络时代人们的表达欲往往更容易被满足，因为有聊天软件的存在。通常意义上，聊天大抵都基于两种形式：群聊和单聊。群聊或者群组聊天我们可以理解为聊天室，可以有人数上限，而单聊则可以认为是上限为2个人的特殊聊天室。    为了开发高质量的聊天系统，开发者应该具备客户机和服务器如何通信的......

    就在去年(2019年)，Django官方发布3.0版本，内核升级宣布支持Asgi，这一重磅消息让无数后台研发人员欢呼雀跃，弹冠相庆。大喜过望之下，小伙伴们兴奋的开箱试用，结果却让人大跌眼镜：非但说好的内部集成Websocket没有出现，就连原生的异步通信功能也只是个壳子，内部并未实现，很明显的换汤不换药，这让不少人转身投入了FastAPI的怀抱。不过一年之后，今天8月，Django3.1版本姗姗来迟，这个新版本终于一代封神，不仅支持原生的异步视图，同时也支持异步中间件......

    首先得明确一点，和Django一样，在2020年Flask 1.1.1以后的版本都不需要所谓的三方库支持，即Flask-Celery或者Flask-Celery-Help这些库，直接使用Celery原生库即可。    一般情况下，Celery被用来处理耗时任务，比如千篇一律的发邮件或者文件上传之类，本次使用Celery实时或者定时发送基于Websocket的消息队列，因为如果前端已经摒弃老旧的轮询策略，使用Websocket，后端则需要相应的配合C......

    首先明确一点，celery4.1+的官方文档已经详细说明，该版本之后不需要引入依赖 django-celery 这个库了，直接用 celery 本身就可以了，就在去年年初的一篇文章python3.7.2+Django2.0.4 使用django-celery遇到的那些坑，中提到的一些bug，在今年早已不复存在，所以技术更新频率越来越快，本文详细阐述用新版Celery(4.4.2)来实现。    关于celery的底层原理这里就不赘述了，简单的流程图......

    在之前的几篇文章里阐述过关于七牛云云存储文件上传的一些操作：python3.7+Vue.js2.0+Django2.0.4异步前端通过api上传文件到七牛云云端存储；使用Tornado配合七牛云存储api来异步切分上传文件，得益于七牛云完备的文档体系，没遇到什么大坑，现在来介绍一下业内和七牛云齐名的云服务平台又拍云，本站的全球cdn服务就是使用又拍云：关于又拍云免费cdn全网加速服务的长期评测(各种踩坑)，因为又拍云的免费流量比七牛云多出大概5g左右，当然了得加入一个......

    之前一篇文章是通过普通js+tornado来上传七牛云：使用Tornado配合七牛云存储api来异步切分上传文件，本次使用vue+django来进行异步上传，因为毕竟vue.js才是目前的前端的主流。     首先注册七牛云：qiniu.com，进入你的七牛云账号，打开秘钥页，记录下你的ak和sk          随后新建一个云存储空间，这里空间......

    之前写了几篇关于FastDfs分布式存储的文章:python3.7.3操作FastDfs来进行文件操作,其实市面上关于云存储的第三方服务比比皆是，最著名的无疑就是七牛云存储，本次我们将演示用tornado配合七牛云来进行文件的云存储操作。     在做七牛云的文件上传时，很多人有一个误区，就是以为是前端先上传到后台服务器，然后后台服务器再将文件上传到七牛云，这个逻辑本身没有问题，但是会遇到一个问题，如果是后台对接七牛，出一个接口，......

    我们知道在程序在执行 IO 密集型任务的时候，程序会因为等待 IO 而阻塞，而协程作为一种用户态的轻量级线程，可以帮我们解决这个问题。协程拥有自己的寄存器上下文和栈。协程调度切换时，将寄存器上下文和栈保存，在调度回来的时候，恢复先前保存的寄存器上下文和栈。因此协程能保留上一次调用时的状态，即所有局部状态的一个特定组合     说人话：说白了就是，当协程遇到io操作而阻塞时，立即切换到别的任务，如果操作完成则进行回调返回执行结果，提......

    如果使用Python做大型海量数据批量任务时，并且backend用mongodb做数据储存时，常常面临大量读写数据库的情况。尤其是大量更新任务，由于不能批量操作，我们知道pymongo是同步任务机制，相当耗时。     如果采用多线程、多进程的方案确实有效，但编写麻烦、消耗系统资源大（pymongo还不允许fork线程中共用连接）。这里主要瓶颈在于IO，使用单线程异步操作就会效果很好。     M......

    我们知道Tornado 优秀的大并发处理能力得益于它的 web server 从底层开始就自己实现了一整套基于 epoll 的单线程异步架构，其他 web 框架比如Django或者Flask的自带 server 基本是基于 wsgi 写的简单服务器，并没有自己实现底层结构。而tornado.ioloop 就是 tornado web server 最底层的实现。     ioloop 的实现基于 epoll ，......

    在之前的一篇文章中提到了用Django+Celery+Redis实现了异步任务队列，只不过消息中间件使用了redis，redis作为消息中间件可谓是差强人意，功能和性能上都不如Rabbitmq，所以本次使用tornado框架结合celery，同时消息中间件使用Rabbitmq来实现异步发邮件，并且使用flower来监控任务队列。     首先安装rabbitmq     Mac os直接运行brew......

之前介绍了一个基于jquery的uploadify插件，可以用来上传文件：Django2.0.4+Uploadify3.0(h5版) 实现多文件异步上传和删除 但毕竟这是面向过程基于节点的插件，如果前端使用vue.js的脚手架，就要入乡随俗，利用vue.js自带的vue-resource来实现异步上传视频文件 首先安装 vue-resource  没必要全局安装，所以只在需要用到的项目中安装即可 cnpm install......

  已经9012年了，如果你的网站还通过传统表单上传文件的话，那你简直low到爆了，也别干什么web开发了，直接面壁去吧。   本文基于Uploadify异步上传控件来实现多文件异步上传的无刷新机制，用来提高效率和用户体验，由于uploadify基于jquery，所以确保已经引入了稳定版的Jquery,另外需要说明的是，uploadify分为flash版和h5版，鉴于flash早就已经被淘汰了，所以h5才是我们的选择，但是h5版居然需......