禁止爬虫爬你的页面

    众所周知,使用robots.txt文件可以对爬虫能否爬页面进行声明,但是这只是一个“君子协定”,有人遵守也有人不遵守,所以还需要对页面进行一个声明,加入meta代码<meta name="robots" content="noindex">     这样才能有效的对爬虫进行封禁,例如本站就是如此,但是这是一个双刃剑,禁止爬虫的同时,SEO就不那么友好了......

python操作excel

日常工作中,我们一般会将数据导入到csv文件,方便传来传去互相使用,而csv文件有很多致命缺点,比如乱码问题,比如分隔符问题,win下面是逗号而mac下面则是分号,令人很恼火,所以我个人推荐还是导出excel比较好一点,跨平台跨系统都不会出问题,也不会出现乱码问题,使用的模块是openpyxl,记录一下......

Mac快捷键记录

    效率利器:常用的快捷键符号说明: ⌘ - command,⌃ - control,⇧ - shift,⌥ - option,⌫ - delete常用的快捷键列举如下:    代码相关:⌘ + c, v, x, z, a: 复制、粘贴、剪切、撤销、全选⌘ + ←, →: 跳转至行首部、跳转至行尾⌘ + ⌫: 删除至行首⌥ + ←, →: 左跳一个单词、右跳一个单词⌥ + ⌫: 删除一个单词  ......

vim中实现python代码自动完成功能

在/usr/share/vim/vim73/autoload目录中检查是否存在python3complete.vim或pythoncomplete.vim文件,如果存在,则直接在用户目录中.vimrc进行配置例如root用户,在/root/.vimrc中添加:filetype plugin onautocmd FileType python set omnifunc=pythoncomplete#Complete现在你可以试试啦    import sys  &nb......

shell脚本知识记录

先来简单的看一下变量定义的规则在Shell中,使用变量之前不需要事先声明,只是通过使用它们来创建它们;在默认情况下,所有变量都被看做是字符串,并以字符串来存储;Shell变量是区分大小写的;在赋值变量的时候等号两端不能有空格-_-定义了变量之后,一定要加上$符号才能使用#! /bin/bashVAR1=HELLOVAR2=MY NAMEVAR3="MY AGE"VAR4 = ISecho VAR1 #error 能输出 但不是输出该变量echo $VAR1 #ok 正常读取变量并打印echo $......

Python 的 MySQLdb 模块的 autocommit

最初在使用python读写数据库的时候,发现select语句可以读取到数据,insert语句执行后,数据库中却没有数据。将sql语句在mysql命令行直接执行是完全没有问题的,为什么使用MySQLdb执行insert语句会没有数据呢?   看起来像是没有提交,立刻想到了mysql的autocommit,是不是没有提交事务?想到后立刻进行了验证,在执行insert语句后,又加了一行程序提交事务:connection.commit()。果然,insert语句生效了,数据库中有了数......

代码检查工具

python哪儿都好,但是缩进太多,嵌套过多容易产生难以检查的语法错误,所以我们需要一款静态检查软件这里引入一个静态检查利器: flake8.flake8介绍它是以下三工具的包装:PyFlakes: python源码检查: 多余import; 重复定义函数; 变量名冲突...Pep8: 代码风格检查Ned Batchelder’s McCabe script: 代码复杂度检查三大功能:python代码风格检查,使工程项目满足良好的代码风格,容易发现问题。一些基本的代码检查。git集成flake8......

倒霉,最好不要使用Mac系统默认下的python

最近,用Mac系统开发了一阵以后,一些软件开始崩溃,找了一下原因,原来是我乱升级系统包导致的,我们都知道,OSX系统默认是开发者友好的,python当然必须系统自带的。但是网上又有很多教程,如何在mac系统中安另一个python,原因就是系统自带的python运行运行普通脚本没问题,但是真的开发python项目是有点问题的。系统自带的python可能会版本偏低,这个如果大家都是用最新系统应该都没啥问题了。系统升级的时候,可能会导致已经安装的python包消失。最后也是最重要一点,系统python......

python 字典遍历方法性能对比

最近项目中使用到了dict的遍历,笔者写了几年的python,大多数都是使用dict.keys()的遍历方式。无奈项目执行过程中当dict中的元素上千万的时候,两层for循环性能实在是扛不住,于是测试了一下几种遍历方法的性能import timeit  DICT_SIZE = 5000  testDict = dict() for i in range(DICT_SIZE):     testDict[i] = i&......

Python在import时遇到的惨案

        最近使用基于python语言的django框架开发web相关的应用,但是在访问页面的时候会不定时的报错,import导入报错 经过近1个月的观察发现有这么几个特性:不知道什么时候会触发,但是一旦触发,就一直存在这个问题只要重启web服务或者调试 问题马上就能解决。   咋一看:难道是django框架不稳定?   不要轻易怀疑框架的问题,绝大多数情况下是自己的问题。 查看一下 __import......

centos安装python2.7

一般centos系统自带的Python是2.6.6版本,由于版本太老有些好用的模块及功能需要Python2.7才支持。简单写一下如何升级Python2.6到Python2.7并能同步使用pip,以及通过pip安装Django。踩过不少坑,总结了下,按下面步骤逐步安装不然会有报错。1、安装openssl openssl-devel如果没安装后面用pip安装软件包的时候可能会提示错误“pip is configured with locations that require TLS/SSL, how......