基于python3.7利用Motor来异步读写Mongodb提高效率by Liu Yue/2019-09-06 标签: python3.7 异步 基于 利用 Mongodb 读写 Motor 提高效率 如果使用Python做大型海量数据批量任务时，并且backend用mongodb做数据储存时，常常面临大量读写数据库的情况。尤其是大量更新任务，由于不能批量操作，我们知道pymongo是同步任务机制，相当耗时。 如果采用多线程、多进程的方案确实有效，但编写麻烦、消耗系统资源大（pymongo还不允许fork线程中共用连接）。这里主要瓶颈在于IO，使用单线程异步操作就会效果很好。 M......了解更多
在阿里云Centos7.6上面配置Mysql主从数据库(master/slave)，实现读写分离by Liu Yue/2019-05-29 标签: mysql 实现 配置 阿里 Centos7.6 上面 master slave 主从 读写 数据库 分离 在之前的一篇文章中，阐述了如何在高并发高负载的场景下使用nginx做后台服务的负载均衡:在阿里云Centos上配置nginx+uwsgi+负载均衡配置,但是不要以为这样做了就是一劳永逸的，到了数据业务层、数据访问层，如果还是传统的数据结构，或者只是单单靠一台服务器负载，如此多的数据库连接操作，数据库必然会崩溃，数据库如果宕机的话，后果更是不堪设想。这时候，我们会考虑如何减少数据库的连接，一方面采用优秀的代码框架，进行代码的优化，采用优秀的数据缓存技术如：redi......了解更多
