基于 Python Web Scraping Forms 的网站

在上一章中，我们已经看到了抓取动态网站。在本章中，让我们了解基于用户输入的网站抓取，即基于表单的网站。

介绍

如今，WWW(万维网)正朝着社交媒体和用户生成内容的方向发展。那么问题来了，我们如何才能访问登录屏幕之外的此类信息？为此，我们需要处理表单和登录。

在前面的章节中，我们使用 HTTP GET 方法来请求信息，但在本章中，我们将使用 HTTP POST 方法将信息推送到 Web 服务器进行存储和分析。

与登录表单交互

在 Internet 上工作时，你必须与登录表单进行过多次交互。它们可能非常简单，例如只包含很少的 HTML 字段、提交按钮和操作页面，或者它们可能很复杂并且有一些额外的字段，例如电子邮件、出于安全原因留下消息和验证码。

在本节中，我们将在 Python requests 库的帮助下处理一个简单的提交表单。

首先，我们需要导入 requests 库，如下：

import requests

现在，我们需要提供登录表单字段的信息。

parameters = {‘Name’:’Enter your name’, ‘Email-id’:’Your Emailid’,’Message’:’Type your message here’}

在下一行代码中，我们需要提供表单动作发生的 URL。

r = requests.post(“enter the URL”, data = parameters)
print(r.text)

运行脚本后，它将返回发生操作的页面的内容。

假设如果你想用表单提交任何图像，那么使用 requests.post() 就很容易了。你可以借助以下 Python 脚本来理解它：

import requests
file = {‘Uploadfile’: open(’C:\Usres\desktop\123.png’,‘rb’)}
r = requests.post(“enter the URL”, files = file)
print(r.text)

从 Web 服务器加载 Cookie

cookie，有时称为网络 cookie 或互联网 cookie，是从网站发送的一小段数据，我们的计算机将其存储在位于我们网络浏览器内的文件中。

在处理登录表单的上下文中，cookie 可以有两种类型。第一，我们在上一节中处理过，它允许我们向网站提交信息，第二，它让我们在访问网站期间保持永久“登录”状态。对于第二种形式，网站使用 cookie 来跟踪谁登录和谁没有登录。

饼干有什么作用？

如今，大多数网站都使用 cookie 进行跟踪。我们可以通过以下步骤了解cookies的工作原理：

步骤 1 ： 首先，网站会验证我们的登录凭据，并将其存储在我们浏览器的 cookie 中。此 cookie 通常包含服务器生成的令牌、超时和跟踪信息。

步骤 2 ： 接下来，网站将使用cookie作为身份验证的证明。每当我们访问该网站时，始终会显示此身份验证。

Cookie 对于网络爬虫来说是非常有问题的，因为如果网络爬虫不跟踪 cookie，提交的表单会被发回，并且在下一页似乎他们从未登录过。借助Python requests 库，如下图：

import requests
parameters = {‘Name’:’Enter your name’, ‘Email-id’:’Your Emailid’,’Message’:’Type your message here’}
r = requests.post(“enter the URL”, data = parameters)

在上面的代码行中，URL 是作为登录表单处理器的页面。

print(‘The cookie is:’)
print(r.cookies.get_dict())
print(r.text)

运行上述脚本后，我们将从上次请求的结果中检索 cookie。

Cookie 的另一个问题是，有时网站会在没有警告的情况下频繁修改 Cookie。这种情况可以处理 请求.Session() 如下：

import requests
session = requests.Session()
parameters = {‘Name’:’Enter your name’, ‘Email-id’:’Your Emailid’,’Message’:’Type your message here’}
r = session.post(“enter the URL”, data = parameters)

在上面的代码行中，URL 是作为登录表单处理器的页面。

print(‘The cookie is:’)
print(r.cookies.get_dict())
print(r.text)

请注意，你可以轻松理解带有会话和不带有会话的脚本之间的区别。

使用 Python 自动化表单

在本节中，我们将处理一个名为 Mechanize 的 Python 模块，它将减少我们的工作并自动化填写表格的过程。

机械化模块

Mechanize 模块为我们提供了与表单交互的高级接口。在开始使用它之前，我们需要使用以下命令安装它：

pip install mechanize

请注意，它仅适用于 Python 2.x。

例子

在这个例子中，我们将自动化填写登录表单的过程，该表单包含两个字段，即电子邮件和密码：

import mechanize
brwsr = mechanize.Browser()
brwsr.open(Enter the URL of login)
brwsr.select_form(nr = 0)
brwsr['email'] = ‘Enter email’
brwsr['password'] = ‘Enter password’
response = brwsr.submit()
brwsr.submit()

上面的代码很容易理解。首先，我们导入了 mechanize 模块。然后创建了一个 Mechanize 浏览器对象。然后，我们导航到登录 URL 并选择表单。之后，名称和值直接传递给浏览器对象。