总结
1.twisted框架介绍
-
Twisted是用Python实现的基于事件驱动的网络引擎框架；
-
Twisted支持许多常见的传输及应用层协议，包括TCP、UDP、SSL/TLS、HTTP、IMAP、SSH、IRC以及FTP。就像Python一样，Twisted也具有“内置池”（batteries-included）的特点。Twisted对于其支持的所有协议都带有客户端和服务器实现，同时附带有基于命令行的工具，使得配置和部署产品级的Twisted应用变得非常方便。
2.MySQL数据库信息保存到settings文件中
-
首先我们需要把MySQL数据库中的配置信息保存到settings文件中，如：
MYSQL_HOST = 'localhost'的形式； -
然后从settings文件中将这些信息导入到pipeline.py文件中使用；
3.创建异步Pipeline写入数据库
-
首先创建一个用于异步写入数据的AIOMysqlItemPipeline类，然后在这个类的初始化方法中创建一个pool连接池；
-
然后在
from_settings()方法中获取settings文件中的数据库配置信息，并将配置信息存入一个字典中。使用Twisted中的adbapi获取数据库连接池对象，使用前需要导入adbapi，如：from twisted.enterprise import adbapi。使用时需要用到ConnectionPool连接池：pool=adbapi.ConnectionPool('MySQLdb',**params)，参数MySQLdb是使用的数据库引擎的名字，params就是要传递的数据库配置信息； -
接着在process_item()方法中使用数据库连接池对象进行数据库操作，自动传递cursor对象到数据库操作方法runInteraction()的第一个参数（自定义方法）如：
ret=self.connection_pool.runInteraction(self.mysql_insert,item)； -
还可以设置出错时的回调方法，自动传递出错消息对象failure到错误处理方法的第一个参数（自定义方法）如：
ret.addErrback(self.error_callback)； -
最后记得修改settings文件中的ITEM_PIPELINES配置，如：
'XKD_Dribbble_Spider.pipelines.AIOMysqlItemPipeline': 2；
