Python3.7+Django2.0.4配合Mongodb打造高性能高扩展标签云存储方案

by Liu Yue/2020-03-23

    书接上回,之前有一篇文章提到了标签云系统的构建:Python3.7+jieba(结巴分词)配合Wordcloud2.js来构造网站标签云(关键词集合),但是这篇只是浅显的说明了一下如何进行切词以及前端如何使用wordcloud2.js进行前端展示,本次主要讨论下标签分词切出来之后,如何进行存储。

    假设我们目前文章-标签体系的需求是这样:

    每篇文章都具有唯一的标题、描述以及 URL。

    每篇文章都具有一个或多个标签。

    每篇文章都具有作者的名称,以及喜欢

    每篇文章都有用户的评论,用户名、消息、日期时间以及评论的喜欢度。

    每篇文章都可以有 0 个或多个评论。

    那么如果使用关系型数据库来设计,比较简单的设计方案可以是这样:

    

    可以注意到,标签和文章的对应关系还是简单的一对多,如果做成比较灵活的多对多还需要增加一张关系表,这样就是四张表了。

    如果使用nosql比如Mongodb来说,只需要一张表(聚合)就可以实现:

    

{  
   _id: POST_ID
title: TITLE_OF_POST,
description: POST_DESCRIPTION,
by: POST_BY,
url: URL_OF_POST,
tags: [TAG1, TAG2, TAG3],
likes: TOTAL_LIKES,
comments: [
{
user:'COMMENT_BY',
message: TEXT,
dateCreated: DATE_TIME,
like: LIKES
},
{
user:'COMMENT_BY',
message: TEXT,
dateCreated: DATE_TIME,
like: LIKES
}
]
}

    可以看到标签是由数组实现的,那么关系型数据库mysql和非关系型数据库mongodb在标签实现中本质上有什么区别呢?

    关系数据库如mysql中标签云的实现是简单的,标签和文章分别在不同的表中,通过join可以比较简单的查询出标签的统计数据。 而MongoDB为快速水平扩张以及极高的性能而优化,在MongoDB中没有join,倾向于使用embedding来代替linking关系。

    假设我们的需求又有了变化,普通博客变身成为具有数百万篇文章的小说站.每个小说都有许多布尔属性,大约一万个可能的属性,每篇小说都有十几个章节,假设我希望能够实时(几毫秒)请求给出的前n项任何属性组合的标签。

    你会选择推荐什么解决方案?毫无疑问,如果你在寻找极具扩展性的方案,Mongodb无疑更好。

    而且从业务角度上来讲,无论是通过标签查文章,还是文章查标签这样的需求,都非常灵活,当然了根据文章查标签一般没问题,一般都是根据标签查文章的时候有性能问题,如果是纯关系数据库比如mysql很难解决性能问题,所以要借助 es 索引解决。es 索引的时候可以将 tagid 用逗号分隔,可以很快的根据一个 tagid,或者多个 tagid 查询到关联的文章 id,一般文章列表都是分页的,有这些文章 id 了,再去关系数据库里面取文章就行了,但是es又是另外一件事了,回头我们再讨论。

    随后使用Django2.0.4来实现,首先安装好python的mongodb操作库pymongo

pip3 install pymongo

    值得一提的是,它会有一个相对应bson模块 也就是说 PyMongo模块的实现是基于和它一起的bson模块的。

    bson是一种类json的一种二进制形式的存储格式,简称Binary JSON,它和JSON一样,支持内嵌的文档对象和数组对象,但是BSON有JSON没有的一些数据类型,如Date和BinData类型;BSON有三个特点:轻量性、可遍历性、高效性,但是空间利用率不是很理想。

    基于Django插入标签的视图:

import pymongo
from bson import json_util as jsonb
mongo_client = pymongo.MongoClient(host='localhost', port=27017)
from django.http import HttpResponse,HttpResponseRedirect,JsonResponse
from django.views import View

class InsertTagsHandler(View):

def get(self,request):
db = mongo_client.test12
table = db.test12
res = table.find({"title":'123'}).count()
print(res)

if res > 0:
result = '重复数据'
return HttpResponse(json.dumps({'result':result},ensure_ascii=False))
else:
table.insert({'title':'123','desc':['123','123']})
return HttpResponse(json.dumps({'result':'添加成功'},ensure_ascii=False))

    基于django通过文章查询标签

class FindArticleHandler(View):

def get(self,request):
db = mongo_client.test12
table = db.test12


res = table.find_one({"title":'123'},{"desc":1})

return HttpResponse(jsonb.dumps(res,ensure_ascii=False))

    基于django分组查询获取所有标签以及标签出现次数的统计

class TagsStatHandler(View):

def get(self,request):
db = mongo_client.test12
table = db.test12


pipeline = [{'$unwind':"$tags"},{'$group': {'_id': "$tags", 'count': {'$sum': 1}}},]
res = table.aggregate(pipeline)

return HttpResponse(jsonb.dumps(res,ensure_ascii=False))

    基于django通过标签反查文章

class Tags2ArticleHandler(View):

def get(self,request):
db = mongo_client.test12
table = db.test12


res = table.find({"tags":{'$in':["123"]}})

return HttpResponse(jsonb.dumps(res,ensure_ascii=False))

    结语:经此一役,Mongodb的特点跃然纸上:结构灵活,表结构更改相对自由,不用每次alter的时候付出代价,适合业务快速迭代,而且json原生和大多数的语言有天然的契合。还支持数组,嵌套文档等数据类型。