Python 文本处理


一般来说,Munging 意味着通过改造任何杂乱的东西来清理它们。在我们的例子中,我们将看到如何转换文本以获得一些结果,从而对数据进行一些理想的更改。在简单的层面上,它只是关于转换我们正在处理的文本。

例子


在下面的示例中,我们计划打乱并重新排列句子中除第一个和最后一个之外的所有字母,以获得可能的替代词,这些替代词可能会在人类写作过程中生成为拼写错误的单词。这种重新排列有助于我们

import random

import re

def replace(t):
    inner_word = list(t.group(2))
    random.shuffle(inner_word)
    return t.group(1) + "".join(inner_word) + t.group(3)
text = "Hello, You should reach the finish line."
print re.sub(r"(\w)(\w+)(\w)", replace, text)

print re.sub(r"(\w)(\w+)(\w)", replace, text)

当我们运行上述程序时,我们得到以下输出:

Hlleo, You slouhd raech the fsiinh lnie.
Hlleo, You suolhd raceh the fniish line.

在这里,你可以看到除了第一个和最后一个字母之外的单词是如何混乱的。通过对错误拼写采取统计方法,我们可以确定常见的拼写错误单词是什么,并为它们提供正确的拼写。