Scrapy教程Scrapy Spiders Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。 对spi... 4年前 (2019-01-02) 166℃ 0评论 3喜欢
Scrapy教程Scrapy Items 爬取的主要目标就是从非结构性的数据源提取结构性数据，例如网页。 Scrapy提供 Item 类来满足这样的需求。 Item 对象是种简单的容器，保存了爬取到得数据。 其提供了 类似于词典(dictionary-like) 的API以及... 4年前 (2019-01-02) 179℃ 0评论 3喜欢
Scrapy教程Scrapy命令行工具 Scrapy是通过 scrapy 命令行工具进行控制的。 这里我们称之为 “Scrapy tool” 以用来和子命令进行区分。 对于子命令，我们称为 “command” 或者 “Scrapy commands”。 Scrapy too... 4年前 (2019-01-02) 195℃ 0评论 4喜欢
Scrapy教程Scrapy第一个爬虫 在本篇教程中，我们假定您已经安装好Scrapy。 接下来以 Open Directory Project(dmoz) (dmoz) 为例来讲述爬取。 本篇教程中将带您完成下列任务: 创建一个Scrapy项目 定义提取的It... 4年前 (2019-01-02) 196℃ 0评论 3喜欢
Scrapy教程Scrapy运作流程 Scrapy架构图 Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 Scheduler(调度器): 它负责接受引擎发送过来... 4年前 (2019-01-02) 159℃ 0评论 3喜欢
Scrapy教程Scrapy安装 scrapy可以运行在python2.7、python3.3或者是更高的版本上；如果你用的是Anaconda（Anaconda下载）或者Minconda，你可以从conda-forge进行安装，可以使用下面的命令： conda inst... 4年前 (2019-01-02) 144℃ 0评论 3喜欢
Scrapy教程Scrapy简介 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据... 4年前 (2019-01-02) 135℃ 0评论 3喜欢
Python教程Python面向对象 Python从设计之初就已经是一门面向对象的语言，正因为如此，在Python中创建一个类和对象是很容易的。本章节我们将详细介绍Python的面向对象编程。 如果你以前没有接触过面向对象的编程语言，那你可能需要先了解一些面向对象语言的一... 4年前 (2019-01-01) 196℃ 0评论 3喜欢
SQLAlchemy教程SQLAlchemy多对多关联 创建多对多表结构 from sqlalchemy import create_engine from sqlalchemy.ext.declarative import declarative_base from sqlalchemy.... 4年前 (2018-12-30) 197℃ 0评论 7喜欢
SQLAlchemy教程SQLAlchemy一对多关联 创建一对多表结构 import sqlalchemy from sqlalchemy import create_engine from sqlalchemy.ext.declarative import declarative_bas... 4年前 (2018-12-30) 237℃ 0评论 6喜欢
SQLAlchemy教程SQLAlchemy基本操作 连接数据库 首先要创建engine，它代表一种数据库连接资源。可以通过engine船舰connect和session完成事务的提交。对于使用os.fork或者multiprocessing的多进程应用来说,通常需要为紫禁城提供单独的e... 4年前 (2018-12-30) 171℃ 0评论 6喜欢
SQLAlchemy教程SQLAlchemy生成Model 方法一： 自己根据SQLAlchemy的docs写model 比如一对多，多对一等复杂的表模型。(SQLAlchemy的文档非常详细，就跟天书一样，真心懒得看。还是flask-sqlalchemy的文档简洁明了，可以参考的) 方法... 4年前 (2018-12-30) 173℃ 0评论 6喜欢
SQLAlchemy教程SQLAlchemy执行原生SQL 安装 pip3 install sqlalchemy 数据库连接 sqlalchemy可以支持多种数据库的连接使用：下面是常用的几种 MySQL-Python（2.x）mysql+mysqldb://<user>... 4年前 (2018-12-30) 179℃ 0评论 7喜欢
SQLAlchemy教程SQLAlchemy简介 SQLAlchemy是Python编程语言下的一款开源软件。提供了SQL工具包及对象关系映射（ORM）工具，使用MIT许可证发行。 SQLAlchemy“采用简单的Python语言，为高效和高性能的数据库访问设计，实现了完整的企业级持久模... 4年前 (2018-12-30) 237℃ 0评论 7喜欢
Python教程Python Mongodb Mongodb 是目前最流行的 NoSQL 数据库之一，使用的数据类型 BSON（类似 JSON）。 MongoDB 数据库安装与介绍可以查看菜鸟的 MongoDB 教程。 1、PyMongo Python 要连接 M... 4年前 (2018-12-30) 265℃ 0评论 8喜欢
Python教程Python MySQL MySQL 是最流行的关系型数据库管理系统。 PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库，Python2中则使用mysqldb。 PyMySQL 遵循 Python 数据库 API v2.... 4年前 (2018-12-30) 234℃ 0评论 5喜欢
Python教程Python OS和File OS 对象 os 模块提供了非常丰富的方法用来处理文件和目录。常用的方法如下表所示： 序号 方法及描述 1 os.access(path, mode)检验权限模式 2 os.chdir(path)改变当前工作目录 3 ... 4年前 (2018-12-30) 256℃ 0评论 5喜欢
Python教程Python标准库 操作系统接口 os模块提供了不少与操作系统相关联的函数。 >>> import os >>> os.getcwd() # 返回当前的工作目录 'C:\\Python34' >>>... 4年前 (2018-12-30) 167℃ 0评论 5喜欢
Python教程Python错误和异常 作为Python初学者，在刚学习Python编程时，经常会看到一些报错信息，在前面我们没有提及，这章节我们会专门介绍。 Python有两种错误很容易辨认：语法错误和异常。 语法错误 Python 的语法错误或者称之为解析错，是... 4年前 (2018-12-30) 168℃ 0评论 3喜欢
Python教程Python输入和输出 在前面几个章节中，我们其实已经接触了 Python 的输入输出的功能。本章节我们将具体介绍 Python 的输入输出。 输出格式美化 Python两种输出值的方式: 表达式语句和 print() 函数。 第三种方式是使用文件对... 4年前 (2018-12-30) 143℃ 0评论 3喜欢