twisted框架

Day90 使用异步的twisted框架写入数据

MySQL数据库信息保存到settings文件中、创建异步Pipeline写入数据库

10-08侠课岛    基础入门       

后端/后端/Python 由浅入深入门 9     0     255

总结

1.twisted框架介绍

  • Twisted是用Python实现的基于事件驱动的网络引擎框架;

  • Twisted支持许多常见的传输及应用层协议,包括TCP、UDP、SSL/TLS、HTTP、IMAP、SSH、IRC以及FTP。就像Python一样,Twisted也具有“内置池”(batteries-included)的特点。Twisted对于其支持的所有协议都带有客户端和服务器实现,同时附带有基于命令行的工具,使得配置和部署产品级的Twisted应用变得非常方便。

  • 官网地址:https://twistedmatrix.com/trac/

2.MySQL数据库信息保存到settings文件中

  • 首先我们需要把MySQL数据库中的配置信息保存到settings文件中,如:MYSQL_HOST = 'localhost'的形式;

  • 然后从settings文件中将这些信息导入到pipeline.py文件中使用;

3.创建异步Pipeline写入数据库

  • 首先创建一个用于异步写入数据的AIOMysqlItemPipeline类,然后在这个类的初始化方法中创建一个pool连接池;

  • 然后在from_settings()方法中获取settings文件中的数据库配置信息,并将配置信息存入一个字典中。使用Twisted中的adbapi获取数据库连接池对象,使用前需要导入adbapi,如:from twisted.enterprise import adbapi。使用时需要用到ConnectionPool连接池:pool=adbapi.ConnectionPool('MySQLdb',**params),参数MySQLdb是使用的数据库引擎的名字,params就是要传递的数据库配置信息;

  • 接着在process_item()方法中使用数据库连接池对象进行数据库操作,自动传递cursor对象到数据库操作方法runInteraction()的第一个参数(自定义方法)如:ret=self.connection_pool.runInteraction(self.mysql_insert,item)

  • 还可以设置出错时的回调方法,自动传递出错消息对象failure到错误处理方法的第一个参数(自定义方法)如:ret.addErrback(self.error_callback)

  • 最后记得修改settings文件中的ITEM_PIPELINES配置,如:'XKD_Dribbble_Spider.pipelines.AIOMysqlItemPipeline': 2

本教程图文或视频等内容版权归侠课岛所有,任何机构、媒体、网站或个人未经本网协议授权不得转载、转贴或以其他方式复制发布或发表。

评价

9

本课评分:
  •     非常好
难易程度:
  •     适中的

内容目录



|
教程
粉丝
主页

签到有礼

已签到2天,连续签到7天即可领取7天全站VIP

  • 1
    +2 金币
  • 2
    +3 金币
  • 3
    +5 金币
  • 6
    +7 金币
  • 5
    +6 金币
  • 4
    暖心福利
    自选分类VIP ×1天
  • 7
    惊喜大礼

    自选分类VIP ×3天 +20金币
  • 持续签到 +8 金币

金币可以用来做什么?