聚沙成塔--爬虫系列（十三）（如何正确的使用数据库三）

2017-11-11
#爬虫系列

版权声明:本文为作者原创文章，可以随意转载，但必须在明确位置标明出处！！！

tips：本基础系列旨在以爬虫带大家入门Python语言

本章并不是要教你如何去打群架，本篇文章将主要介绍如何使用多线程来帮我们的提高程序的执行效率，「群架」只是为了更加生动的去描述多线程的现象，相信大部分读者都看过《叶问》，叶问为了在日本军那里拿到粮食它决定一次要打10个，这种模式就是单线程模式，他必须把10个人一个个打败了才能赢得粮食，这种模式也是我们前面章节用到的模式，虽然最终能够赢得胜利，但用时就比较长了。假设叶问有多只手，每次最多只能用两只手，那么他在和人对战的时候就可以出其不意的将对手干> ### 版权声明:本文为作者原创文章，可以随意转载，但必须在明确位置标明出处！！！

note：本基础系列旨在以爬虫带大家入门Python语言

上一篇文章我们讲了如何使用Python语言操作sqlite、mysql数据库，当然前面讲到的都是一些简单的操作，复杂的数据库操作并不在本系列考虑的范围内，因为每一种数据库语言都可以单独的写一本书了，所以本系类旨在带大家入门，至于如何修行就要靠各位自己了。本篇的重点主要讲对象关系映射(Object Relational Mapping，简称ORM)

什么是ORM

对象-映射是ORM的核心思想，什么意思呢，就是它把前端的数据对象映射成关系数据库中的数据类型，所以有了ORM我们前端只需要使用一份代码，后端的数据库不论是sqlite、mysql、oracle等其它关系数据库只要改变连接字符串我们就能做到将前端的数据写到不同的关系数据库中，是不是很酷。

安装SQLAlchemy

目前比较流行的Python ORM库就是SQLAlchemy，它是第三方库，所以我们必须的先安装它采用使用它，可以到关网http://www.sqlalchemy.org/download.html下载，当然你也可以私信我，安装方式有两种，一种是源码安装，一种是使用pip安装，pip安装最简单在终端执行

1
sudo pip install SQLAlchemy

源码安装也很简单，将在官网下载的安装包加压，然后执行安装命令，曾哥过程如下：

1
2
3
tar -xvf SQLAlchemy-1.2.0b3.tar.gz
cd SQLAlchemy-1.2.0b3
sudo python setup.py install

如何没有出现什么错误则则证明安装成功了，如果验证SQLAlchemy库安装好了这里就不在啰嗦了，前面的文章都有讲到

SQLAlchemy的设计模型

SQLAlchemy有两种设计模型，两种设计模型可以组合起来用，也可以单独使用，不管是组合使用还是单独使用，它们最终调用的都是DPAPI，下图给出了两种设计模型的层次依赖图，SQLAlchemy ORM模型抽象的层次更高一些。

SQLAlchemy操作数据库流程

对于数据库操作流程我们要有一个核心的思想，就是「万变不离其中」，我们只需要知道操作数据库的本质流程是什么就可以了，操作数据库的本质流程是什么？ 首先我们要知道数据库是一个服务，它提供了数据库服务接口也就是DBAPI，所以无论第三方库是怎么设计的最终都需要调用数据库服务接口，那么数据库操作流程就分为以下几步：

  • 第一步： 连接数据库，对于SQLAlchemy来说就是创建一个引擎
    1
    2
    from sqlalchemy import create_engine
    engine = create_engine('sqlite:///qiubai.db', convert_unicode=True, echo=True)

create_engine函数的第一个参数就是我们需要连接的数据库地址，这个数据库连接字符到那里去获取呢，两种途径，一种是到官网http://docs.sqlalchemy.org/en/latest/dialects/index.html这里去找数据库相应的连接字符串格式定义，另一种是在在你的Python安装目录里的lib目录里去找，windows目录如下，E:\Program Files\Python36\Lib\sqlalchemy\dialects，当然你的Python安装木块可能不在E盘，你可以看到这个目录下有sqlite、mysql、oracle等关系数据库，比如本章所用到的是sqlite，那么就双击sqlite这个目录，进入到目录后打个pysqlite.py这个文件，你会看到文件的开头部分就有connectstring格式：

连接字符串格式定义

ubuntu在目录「/usr/local/lib/python3.5/dist-packages/SQLAlchemy-1.2.0b3-py3.5-linux-x86_64.egg/sqlalchemy/dialects」下。

  • 第二步： 获取游标，在ORM里就是获得一个session（会话）

    1
    2
    3
    from sqlalchemy import create_engine
    engine = create_engine('sqlite:///qiubai.db', convert_unicode=True, echo=True)  
    db_session = sessionmaker(bind=engine, autocommit=False, autoflush=False)

  • 第三步： 建立一个映射关系，文章的开头部分就说了ORM的核心思想就是关系映射， 所以我们要把一个对象映射成关系数据库表的字段，就像前一篇文章的CREATE TABLE语句一样，需要给表指定字段及类型

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    from sqlalchemy.ext.declarative import declarative_base
    Base = declarative_base()
    class Qiubai(Base):
        __tablename__ = 'qiubai'
        id = Column(Integer, sqlite_autoincrement=True, primary_key=True)
        userid = Column(String(20), nullable=False)
        username = Column(String(20), nullable=False)
        funny_num = Column(Integer, nullable=False)
        content = Column(String(1024), nullable=True)
        url = Column(String(1024), nullable=True)
        def __init__(self, userid, username, funny_num, content, url):
            self.userid = userid
            self.username = username
            self.funny_num = funny_num
            self.content = content
            self.url = url

  • 第四步： 创建元素信息，映射关系定义好了，但是还没有映射到数据库里，所以最后异步就是将所有元素映射到数据库里

    1
    2
    3
    4
    from sqlalchemy import create_engine
    engine = create_engine('sqlite:///qiubai.db', convert_unicode=True, echo=True)  
    db_session = sessionmaker(bind=engine, autocommit=False, autoflush=False)
    Base.metadata.create_all(engine)

插入数据

1
2
3
obj = Qiubai('userid', 'username', funny_num, 'content', 'url')
session.add(obj)
session.commit()

删除数据

1
2
3
4
5
6
#删除所有数据
session.delete(obj)
session.commit()
delete
###删除指定数据
session.query(obj).filter(obj.userid == '1234').delete()

filter相当于where子句

查询数据

1
2
3
4
# 查询所有数据
session.query(Qiubai).all()
# 查询指定数据
session.query(obj).filter(obj.userid == '1234').one()

更新数据

1
2
3
4
5
6
# 更新所有数据
session.query(Qiubai).update({Qiubai.funny_num:500})
session.commit()
# 更新指定数据
session.query(Qiubai).filter(Qiubai.userid=='/users/33096359/').update({Qiubai.funny_num:500})
session.commit()

实战

在抓取糗百的项目的我又增加了两个文件，一个是TableDef.py文件，该文件主要负责关系映射，所有的表定义都放在这个文件，另一个文件是SqlalchemyImpl.py，该文件主要负责执行数据库操作，文件内容定义如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
# TableDef.py
from sqlalchemy import create_engine
from sqlalchemy import Column, String, Integer
from sqlalchemy.ext.declarative import declarative_base
Base = declarative_base()
class Qiubai(Base):
    __tablename__ = 'qiubai'
    id = Column(Integer, primary_key=True)
    userid = Column(String(20), nullable=False)
    username = Column(String(20), nullable=False)
    funny_num = Column(Integer, nullable=False)
    content = Column(String(1024), nullable=True)
    url = Column(String(1024), nullable=True)
    def __init__(self, userid, username, funny_num, content, url):
        self.userid = userid
        self.username = username
        self.funny_num = funny_num
        self.content = content
        self.url = url

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
# SqlalchemyImpl.py
from sqlalchemy import create_engine
from sqlalchemy import Column, String, Integer
from sqlalchemy.orm import sessionmaker
from TableDef import Base, Qiubai
class SqlalchemyImpl(object):
    """docstring for SqlalchemyImpl"""
    def __init__(self):
        engine = create_engine('sqlite:///qiubai.db', convert_unicode=True, echo=True)      
        self.db_session = sessionmaker(bind=engine, autocommit=False, autoflush=False)
        # Base.session = self.db_session
        Base.metadata.create_all(engine)
    def insert_record(self, items):
        session = self.db_session()
        try:
            for item in items:
                obj = Qiubai(item[0], item[1], item[2], item[3], item[4])
                #list_record.append(obj)
                session.add(obj)
            session.commit()
        except Exception as e:
            session.rollback()
            raise e
    def delete_record(self):
        try:
            session = self.db_session()
            session.delete(Qiubai)
            session.commit()
        except Exception as e:
            raise e
    def dump_record(self):
        try:
            session = self.db_session()
            ret = session.query(Qiubai).all()
            print(ret)
        except Exception as e:
            raise e
    def update_reocrd(self):
        try:
            session = self.db_session()
            session.query(Qiubai).filter(Qiubai.userid=='/users/33096359/').update({Qiubai.funny_num:500})
            session.commit()
        except Exception as e:
            raise e

值得主要的是在ORM创建字段映射的时候必须要有一个字段为primary_key， 也就是TableDef.py文件里id的定义

执行结果

结果
从终端打印出来的结果我们可以看到最终插入到数据库的结构语言依然是INSERT INTO TABLE…，所以ORM只是把数据类型和结构抽象出来了，如果你不想在终端看出这些输出信息，只需要将「engine = create_engine(‘sqlite:///qiubai.db’, convert_unicode=True, echo=True) 」语句中的echo赋值为false就可以了。

本篇文章到这里就结束了，本文并没有去验证mysql数据库，这个任务留给读者自己去验证，我将会把最终的代码放到我的git上，地址https://github.com/Gavinxyj/Python/tree/master/python_study/Scrapy/modules欢迎大家fork、star。本文只讲了SQLAlchemy最基本的用法，更多的用法，想join, 关联查询都可以访问其官网文档http://docs.sqlalchemy.org/en/latest/。

note： 这里需要提醒大家的是，新学习一个东西的时候，不要一来就想着把它吃透，这样只会打消你的积极性，就像ORM一样我本人对它也用的不是很熟悉，只会一些简单的应用，那是因为我工作中用到它的地方不多，而且ORM有一定的限制性，没有你直接写SQL语言来的快和明了。ORM对于复杂的查询就有些力不从心了。所以学习一个东西我们一定要搞清楚侧重点，如果项目上一定要用到ORM那么我回过头来在深入去学习就是了。

欢迎关注我的公众号:「爱做饭的老谢」，老谢一直在努力…

上一篇：聚沙成塔–爬虫系列（十二）（如何正确的使用数据库二）
下一篇：聚沙成塔–爬虫系列（十四）（群架要怎么打）