使用Docker-compose搭建nginx-keepalived双机热备来实现高可用nginx集群 by Liu Yue/2019-10-18 最近同学出去面试经常会被问到一个问题。 面试官：你说你们公司使用nginx反向代理tornado，部署了多少多少台机器，好像很牛逼的样子，但是我问你，如果主机也就是部署了nginx那台机器并发过大导致宕机了怎么办？ 答曰：不考虑带宽峰值的话，比较新的 CPU 跑 nginx 单核每秒能接近 2 万请求，而且nginx如果纯做 HTTP 转发的话...... 了解更多
使用Mpvue配合Weui开发面试题题库微信小程序，并且发布到正式环境 by Liu Yue/2019-10-14 之前的一篇文章详细阐述了微信小程序开发的准备和入门以及环境搭建，这一次我们介绍如何将微信小程序如何上线，同时配合weui美化界面。 本次做的微信小程序项目是一个类似在线题库的功能，面试者可以通过小程序来检索笔试题，同时用户输入关键词时同步监听输入行为，不需要点击就可以获取知识要点，后台采用tornado+mongodb+mortor的组合实现异步非阻塞的接口。 首先weui是腾讯团队...... 了解更多
使用Docker-compose来封装celery4.1+rabbitmq3.7服务，实现微服务架构 by Liu Yue/2019-09-28 大家都知道，Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统，在之前的一篇文章中：python3.7+Tornado5.1.1+Celery3.1+Rabbitmq3.7.16实现异步队列任务 详细阐述了如何进行安装部署和使用，但是过程太繁琐了，先得安装Erlang，再安装rabbitmq，然后各种配置，最后由于async关键字问题还得去修改三方库的源码，其实我们可以通过docker来将celery服务封装成镜像，如此一来，以后再使用ce...... 了解更多
利用CSS3自定义属性来为网站添加“暗黑模式”(暗色模式/DarkMode) by Liu Yue/2019-09-22 究竟什么是暗黑模式？这个概念起初来源于macOS系统，该系统的mojave版本为用户提供两个主题皮肤，即浅色和深色的皮肤。自从有了这个概念之后，很多网站和系统都会用户提供了相应的两套肤色，便于用户根据自己的习惯或爱好进行切换 从科学的角度讲，低对比度的暗色可以降低屏幕对视网膜的刺激，同时还可以让电子设备更加省电。 在过往...... 了解更多
Python3的原生协程(Async/Await)和Tornado异步非阻塞 by Liu Yue/2019-09-20 我们知道在程序在执行 IO 密集型任务的时候，程序会因为等待 IO 而阻塞，而协程作为一种用户态的轻量级线程，可以帮我们解决这个问题。协程拥有自己的寄存器上下文和栈。协程调度切换时，将寄存器上下文和栈保存，在调度回来的时候，恢复先前保存的寄存器上下文和栈。因此协程能保留上一次调用时的状态，即所有局部状态的一个特定组合 说人话：说白了就是，当协程遇到io操作而阻塞时，立即切换到别的任务，如果操作完成则进行回调返回执行结果，提...... 了解更多
mpvue1.0+python3.7+Django2.0.4实现微信小程序的支付功能 by Liu Yue/2019-09-15 其实微信支付有很多种形式，刷脸，扫码，APP支付，小程序支付等，这边只说明小程序支付的实现，不过原理上都大同小异。 首先，需要注册微信公众号平台https://mp.weixin.qq.com，并且开通微信支付功能，随后将你的小程序关联一个微信商户：pay.weixin.qq.com，这一系列申请下来之后，你手中需要有微信小程序appid，微信小程序秘钥，商户号，以及商户秘钥，这四个关键的支付配置变量。...... 了解更多
基于python3.7利用Motor来异步读写Mongodb提高效率 by Liu Yue/2019-09-06 如果使用Python做大型海量数据批量任务时，并且backend用mongodb做数据储存时，常常面临大量读写数据库的情况。尤其是大量更新任务，由于不能批量操作，我们知道pymongo是同步任务机制，相当耗时。 如果采用多线程、多进程的方案确实有效，但编写麻烦、消耗系统资源大（pymongo还不允许fork线程中共用连接）。这里主要瓶颈在于IO，使用单线程异步操作就会效果很好。 M...... 了解更多
基于Docker-compose搭建Redis高可用集群-哨兵模式（Redis-Sentinel） by Liu Yue/2019-09-04 我们知道，Redis的集群方案大致有三种：1）redis cluster集群方案；2）master/slave主从方案；3）哨兵模式来进行主从替换以及故障恢复。 sentinel系统可以监视一个或者多个redis master服务，以及这些master服务的所有从服务；当某个master服务下线时，自动将该master下的某个从服务升级为master服务替代已下线的master服务继续处理请求。 ...... 了解更多
使用flex弹性布局来为微信小程序写自适应页面 by Liu Yue/2019-09-03 我们知道，写习惯了前端的人，一般切图后布局页面的话，上手最习惯的是基于盒子模型的浮动布局，依赖 display 属性 + position属性 + float属性，但是浮动布局有一些致命的小问题，比如垂直居中比较费劲，比如著名的float坍塌问题，另外有些极端情况下，还得使用模型+clear:both来手动清除浮动，比较麻烦。 于是，W3C 提出了一种新的方案----Flex 布局，可以简便、完整、响应式地实现各种页面布局...... 了解更多
在centos7.6上利用docker-compose统一管理容器和服务 by Liu Yue/2019-09-02 众所周知，一个大型的Docker容器组成的微服务应用中，容器的数量是非常巨大的，如果依赖传统的人工配置方式进行维护，对于开发和运维来说简直就是噩梦。docker-compose的出现正是为了解决这个问题。 docker-compose是一个用于定义和运行多容器Docker应用的工具，只需要一个Compose的配置文件和一个简单的命令就可以创建并运行应用所需的所有容器。在配置文件中，所...... 了解更多
关于Tornado:真实的异步和虚假的异步 by Liu Yue/2019-09-01 我们知道Tornado 优秀的大并发处理能力得益于它的 web server 从底层开始就自己实现了一整套基于 epoll 的单线程异步架构，其他 web 框架比如Django或者Flask的自带 server 基本是基于 wsgi 写的简单服务器，并没有自己实现底层结构。而tornado.ioloop 就是 tornado web server 最底层的实现。 ioloop 的实现基于 epoll ，...... 了解更多
使用python3和高性能全文检索引擎Redisearch进行交互 by Liu Yue/2019-08-30 上一篇介绍了一款高性能全文检索引擎Redisearch，它不仅性能强劲，部署也方便，这里介绍一下如何用python客户端和它进行交互。使用redisearch-python:https://github.com/RediSearch/redisearch-py 首先，安装 pip3 install redisearch ...... 了解更多
使用Redisearch实现的全文检索功能服务 by Liu Yue/2019-08-29 “检索”是很多产品中无法绕开的一个功能模块，当数据量小的时候可以使用模糊查询等操作凑合一下，但是当面临海量数据和高并发的时候，业界常用 elasticsearch 和 lucene 等方案，但是elasticsearch对运行时内存有着最低限额，其运行时大小推荐 2G 以上的内存空间，并且需要额外的磁盘空间做持久化存储。 其实mongoDB 内置的正则匹配搜索文本以及自带的 text 索引和 searc...... 了解更多
9012年，您真的需要Thrift这样一个RPC微服务框架来拯救一下传统HTTP接口(api)了 by Liu Yue/2019-08-27 目前市面上类似Django的drf框架基于json的http接口解决方案大行其道，人们也热衷于在接口不多、系统与系统交互较少的情况下使用它，http接口的优点就是简单、直接、开发方便，门槛低，利用现成的http协议进行传输。 但是事情往往有两面，如果是一个大型的网站，内部子系统较多、接口非常多的情况下，RPC框架的好处就显示出来了，首先就是长链接，不必每次通信都要像http 一样去3次握手4次挥手，减少了网络开销；其次就是...... 了解更多
使用基于mpvue的框架开发微信小程序（搭建环境） by Liu Yue/2019-08-26 美团很早就开源了mpvue这个项目，如此看来，美团可不仅仅是一家团购网站，真正的技术驱动型企业，使得我们多了一种用来开发微信小程序的框架选项。由于mpvue框架是完全基于Vue框架的（重写了其runtime和compiler），因此在用法上面是高度和Vue一致的（某些功能由于受限于小程序环境本身的原因而不能使用，但是瑕不掩瑜），这给使用过Vue开发Web应用的前端开发者提供了极低的门槛来开发小程序。 搭...... 了解更多
在centos7.6上部署前后端分离项目Nginx反向代理vue.js2.6+Tornado5.1.1，使用supervisor统一管理服务 by Liu Yue/2019-08-22 这一次使用vue.js+tornado的组合来部署前后端分离的web项目，vue.js不用说了，前端当红炸子鸡，泛用性非常广，无论是单页应用，还是混合式开发app，亦或是微信小程序开发，样样得心应手，tornado最近的风头有点被新锐框架sanic抢走了，但是作为老牌的异步非阻塞框架，其内置了支持epoll/kqueue 等高效网络库，而具备了处理高并发的能力并且开发效率也不低，这一次tornado作为承载后端压力的角色。 ...... 了解更多
在Centos7.6上部署Docker环境以及安装docker-compose by Liu Yue/2019-08-21 毫无疑问，Docker目前是现阶段最为火爆的容器技术了，它在业务解耦和拆分业务层面有着不可忽视的作用，而使用 Docker Compose 可以轻松、高效的管理容器，它是一个用于定义和运行多容器 Docker 的应用程序工具，这里记录一下如何在centos7.6上部署Docker以及docker-compose。 #升级yum sudo yum update #卸载旧版本docker sudo yum remo...... 了解更多
利用基于Python的Pelican打造一个自己的个人纯静态网站 by Liu Yue/2019-08-08 其实呢这么多年以来我一直建议每个有技术追求的开发者都要有写技术博客记笔记的良好习惯，一来可以积累知识，二来可以帮助别人，三来可以把开发中遇到的问题记录用来自省，第四可以通过交换友链来结识更多的技术领域的同仁。 之前我曾经写过两篇相似的文章用来快速搭建个人网站,一款基于go lang:利用基于Go Lang的Hugo配合nginx来打造属于自己的纯静态博客系统另外一款基于node.js:使用Hexo建立一个轻量、简易、高逼格...... 了解更多
python3.7+Tornado5.1.1+Celery3.1+Rabbitmq3.7.16实现异步队列任务 by Liu Yue/2019-07-31 在之前的一篇文章中提到了用Django+Celery+Redis实现了异步任务队列，只不过消息中间件使用了redis，redis作为消息中间件可谓是差强人意，功能和性能上都不如Rabbitmq，所以本次使用tornado框架结合celery，同时消息中间件使用Rabbitmq来实现异步发邮件，并且使用flower来监控任务队列。 首先安装rabbitmq Mac os直接运行brew...... 了解更多
用户认证(Authentication)进化之路：由Basic Auth到Oauth2再到jwt by Liu Yue/2019-07-16 用户认证是一个在web开发中亘古不变的话题，因为无论是什么系统，什么架构，什么平台，安全性是一个永远也绕不开的问题 在HTTP中，基本认证（Basic access authentication）是一种用来允许网页浏览器或其他客户端程序在请求时提供用户名和口令形式的身份凭证的一种登录验证方式。 虽然基本认证非常容易实现，但该方案创建在以下的假设的基础上，...... 了解更多
