保存到数据库

Day89 item 数据model保存到数据库中

在本地搭建(MySQL)数据库、安装Python MySQL驱动、新建pipeline,写入item到MySQL中、在settings文件中修改pipeline

10-08侠课岛    基础入门       

后端/后端/Python 由浅入深入门 20     0     133

总结

1.如何将item 数据model保存到数据库中

  • 首先在本地创建好数据库,在数据库中创建好数据表,然后安装Python MySQL驱动:pip install mysqlclient

  • 然后爬取页面,进行页面解析,返回item交由settings.py文件中定义好的pipelines处理,第一个pipelines是自定义处理图片的ImagePipeline:'XKD_Dribbble_Spider.pipelines.ImagePipeline': 1,另一个是用于存储item字段到表中的MysqlPipeline:'XKD_Dribbble_Spider.pipelines.MysqlPipeline': 2

  • 接着在pipelines.py文件中新建一个新的pipelines类,比如MysqlPipeline,在这个类中初始化数据库连接,重写process_item()方法将item的字段读取出来,再提交到数据中表中; 最后运行项目成功后,可以使用命令行工具查看数据是否插入成功;

2.在本地搭建MySQL数据库

  • 先创建数据库:create database 数据库名;

  • 然后给用户授权:grant all on 数据库名.* to '用户名'@'%' identified by '密码';

  • 记得刷新MySQL的系统权限相关表:flush privileges;

  • 在进入创建好的数据库根据item创建数据库表:create table item(字段);

3.查看数据库表

  • 首先登录MySQL数据库,命令行:mysql -u用户名 -p密码;

  • 然后选择我们创建的数据库,命令行:use 数据库名;

  • 然后就可以查看数据库表是否成功插入数据,命令行:select * from item;

  • 当数据库表中数据很多的时候,我们可以在查询语句末尾加入一个\G参数,横向的表结构会转为使用纵向表结构输出,利于阅读;

本教程图文或视频等内容版权归侠课岛所有,任何机构、媒体、网站或个人未经本网协议授权不得转载、转贴或以其他方式复制发布或发表。

评价

20

本课评分:
  •     非常好
难易程度:
  •     适中的

内容目录



|
教程
粉丝
主页

签到有礼

已签到2天,连续签到7天即可领取7天全站VIP

  • 1
    +2 金币
  • 2
    +3 金币
  • 3
    +5 金币
  • 6
    +7 金币
  • 5
    +6 金币
  • 4
    暖心福利
    自选分类VIP ×1天
  • 7
    惊喜大礼

    自选分类VIP ×3天 +20金币
  • 持续签到 +8 金币

金币可以用来做什么?