“检索”是很多产品中无法绕开的一个功能模块，当数据量小的时候可以使用模糊查询等操作凑合一下，但是当面临海量数据和高并发的时候，业界常用 elasticsearch 和 lucene 等方案，但是elasticsearch对运行时内存有着最低限额，其运行时大小推荐 2G 以上的内存空间，并且需要额外的磁盘空间做持久化存储。     其实mongoDB 内置的正则匹配搜索文本以及自带的 text 索引和 searc......

    目前市面上类似Django的drf框架基于json的http接口解决方案大行其道，人们也热衷于在接口不多、系统与系统交互较少的情况下使用它，http接口的优点就是简单、直接、开发方便，门槛低，利用现成的http协议进行传输。     但是事情往往有两面，如果是一个大型的网站，内部子系统较多、接口非常多的情况下，RPC框架的好处就显示出来了，首先就是长链接，不必每次通信都要像http 一样去3次握手4次挥手，减少了网络开销；其次就是......

    美团很早就开源了mpvue这个项目，如此看来，美团可不仅仅是一家团购网站，真正的技术驱动型企业，使得我们多了一种用来开发微信小程序的框架选项。由于mpvue框架是完全基于Vue框架的（重写了其runtime和compiler），因此在用法上面是高度和Vue一致的（某些功能由于受限于小程序环境本身的原因而不能使用，但是瑕不掩瑜），这给使用过Vue开发Web应用的前端开发者提供了极低的门槛来开发小程序。     搭......

    这一次使用vue.js+tornado的组合来部署前后端分离的web项目，vue.js不用说了，前端当红炸子鸡，泛用性非常广，无论是单页应用，还是混合式开发app，亦或是微信小程序开发，样样得心应手，tornado最近的风头有点被新锐框架sanic抢走了，但是作为老牌的异步非阻塞框架，其内置了支持epoll/kqueue 等高效网络库，而具备了处理高并发的能力并且开发效率也不低，这一次tornado作为承载后端压力的角色。    ......

    毫无疑问，Docker目前是现阶段最为火爆的容器技术了，它在业务解耦和拆分业务层面有着不可忽视的作用，而使用 Docker Compose 可以轻松、高效的管理容器，它是一个用于定义和运行多容器 Docker 的应用程序工具，这里记录一下如何在centos7.6上部署Docker以及docker-compose。     #升级yum sudo yum update #卸载旧版本docker sudo yum remo......

    其实呢这么多年以来我一直建议每个有技术追求的开发者都要有写技术博客记笔记的良好习惯，一来可以积累知识，二来可以帮助别人，三来可以把开发中遇到的问题记录用来自省，第四可以通过交换友链来结识更多的技术领域的同仁。     之前我曾经写过两篇相似的文章用来快速搭建个人网站,一款基于go lang:利用基于Go Lang的Hugo配合nginx来打造属于自己的纯静态博客系统另外一款基于node.js:使用Hexo建立一个轻量、简易、高逼格......

    在之前的一篇文章中提到了用Django+Celery+Redis实现了异步任务队列，只不过消息中间件使用了redis，redis作为消息中间件可谓是差强人意，功能和性能上都不如Rabbitmq，所以本次使用tornado框架结合celery，同时消息中间件使用Rabbitmq来实现异步发邮件，并且使用flower来监控任务队列。     首先安装rabbitmq     Mac os直接运行brew......

    用户认证是一个在web开发中亘古不变的话题，因为无论是什么系统，什么架构，什么平台，安全性是一个永远也绕不开的问题     在HTTP中，基本认证（Basic access authentication）是一种用来允许网页浏览器或其他客户端程序在请求时提供用户名和口令形式的身份凭证的一种登录验证方式。     虽然基本认证非常容易实现，但该方案创建在以下的假设的基础上，......

    最近无论是面试还是笔试，有一个高频问题始终阴魂不散，那就是给一个大文件，至少超过10g,在内存有限的情况下（低于2g），该以什么姿势读它？     所有人都知道，用python读文件有一套”标准流程“：      def retrun_count(fname): """计算文件有多少行 """ count = 0 with open(......

    一些重要文档格式之间的互转在目前显得尤为重要，pdf作为通用格式在现在各个平台上兼容性是最好的，所以写python脚本将这些word文档批量转换pdf是最好的解决方案。     由于windows系统对于word文档有天然的兼容性优势，所以转换起来很简单，普遍上是通过comtypes模块。 pip3 install comtypes      from comtypes.client impor......

    客户端状态保持是一个老生常谈的问题了，归根结底追踪浏览器的用户身份及其相关数据无非就是以下四种方式：session,cookie,sessionStorage,localStorage     首先cookie和session:     Cookie机制：如果不在浏览器中设置过期时间，cookie被保存在内存中，生命周期随浏览器的关闭而结束，这种cookie简称会话cookie。如果在浏......

    大多数人面试的时候经常会被问到：你简历上有高负载高并发的经验，那到底你的系统是怎样设计的？     如果没有过相关的项目经验，大多数同学被问到这个问题压根儿没什么思路去回答，不知道从什么地方说起，其实，就算没有相关的经验，只要事先编好话术，搞清楚架构图，回答此类问题也还是可以滴水不漏的。     首先，在脑子里虚拟一个大用户量背景下的场景，如果我们手......

    在之前的一篇文章中，介绍了如何使用Hugo在三分钟之内建立一个简单的个人博客系统，它是基于go lang的，其实，市面上还有一款类似的静态页生成器，就是Hexo 读音/hækso/ ，它是基于node.js的，和Hugo一样，Hexo 正常来说，不需要部署到我们的服务器上，我们的服务器上保存的，其实是基于在hexo通过markdown编写的文章，然后hexo帮我们生成静态的html页面，然后，将生成的html上传到我们的服务器。简而言之：hexo是个静态页面生成......

    我们知道写完了代码需要自己跑一跑进行测试，一个写好的程序如果连测试都没有就上到生产环境是不敢想象的，这么做的人不是太自信就是太无知。     传统测试无非就是自己运行一下程序查看结果，或者前后端服务进行联调，这里要说的是走正规流程的单元测试，那到底什么是单元测试呢？顾名思义，只测试当前单元的程序或者代码，也可以理解当前模块的代码块，单元测试假设所有的内部或外部的依赖应该是稳定的, 已经在别处进行测试过的.使用mock 就可以对外部......

    软件版本mysql5.7    根据官网的文档 https://dev.mysql.com/doc/refman/5.7/en/multiple-column-indexes.html     查询条件要符合最左原则才能使用到索引         首先说说联合索引的好处： ......

    众所周知，老牌的脑图软件是xmind，这里我们使用MindMaster，二者有什么异同呢？     相同点：都是国产软件，都分为国内版和国外版本，都有免费版和付费版。在功能方面相同点较多，比如插入节点、关系线、标注。拖拽操作、内置图标、备注、幻灯片演示、甘特图、自动排版、云存储等功能。并且同样支持Windows、mac和Linux系统。     不同......

    在之前的一篇文章中，我们在1g1核的惨淡硬件环境下，对 uwsgi + django 和 gunicorn+ django 的后端服务进行性能测试，得出结论单台django在简单读库操作下只能抗住大约200左右的并发:在Centos下使用Siege对Django服务进行压力测试     这一次，我们在相同的背景下，对三大框架中，以性能著称于世的Tornado进行并发测试，看看它的性能到底有多高。 &nb......

    首先，下载安装包，国内可以在这上面下载https://studygolang.com/dl     目前的稳定版是go1.12.5.darwin-amd64.pkg     下载安装后，配置环境变量     vim ~/.bash_profile     在文件内最后加入# Enable the go modules feature......

    Siege是linux下的一个web系统的压力测试工具，支持多链接，支持get和post请求，可以对web系统进行多并发下持续请求的压力测试。今天我们就使用Siege来对Django进行一次压力测试，看看单台Django服务到底能抗住多少的并发数。     首先安装Siege      wget http://download.joedog.org/si......

    前端是庞杂的，包括 HTML、 CSS、 Javascript、Image 、Video等等各种各样的资源。前端优化是复杂的，针对方方面面的资源都有不同的方式。那么，前端优化的目的是什么 ?     从用户角度而言，优化能够让页面加载得更快、对用户的操作响应得更及时，能够给用户提供更为友好的体验。       从服务商角度而言，优化能够减少......