正则表达式

什么是正则表达式？

　　正则表达式是对字符串（包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为“元字符”））操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式，该模式描述在搜索文本时要匹配的一个或多个字符串。

正则表达式可以干什么?

• 快速高效的查找与分析字符串
• 进行有规律查找比对字符串，也叫：模式匹配
• 具有查找、比对、匹配、替换、插入、添加、删除等能力。

　　字符串是编程时涉及到的最多的一种数据结构，对字符串进行操作的需求几乎无处不在。比如我们编写爬虫收集数据，首先都得到网页源码，但是我们要如何提取有效数据呢，这时候我们就需要使用正则表达式来进行匹配了

re模块

正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。re 模块使 Python 语言拥有全部的正则表达式功能。

由于Python的字符串本身也用\转义，所以要特别注意：

s = \'ABC\\-001\' # Python的字符串
# 对应的正则表达式字符串变成：
# \'ABC\-001\'

因此建议使用Python的r前缀，就不用考虑转义的问题了：

s = r\'ABC\-001\' # Python的字符串
# 对应的正则表达式字符串不变：
# \'ABC\-001\'

re模块符号大全

正则表达式模式

模式字符串使用特殊的语法来表示一个正则表达式：

字母和数字表示他们自身。一个正则表达式模式中的字母和数字匹配同样的字符串。

多数字母和数字前加一个反斜杠时会拥有不同的含义。

标点符号只有被转义时才匹配自身，否则它们表示特殊的含义。

反斜杠本身需要使用反斜杠转义。

由于正则表达式通常都包含反斜杠，所以你最好使用原始字符串来表示它们。模式元素(如 r\’\t\’，等价于 \\t )匹配相应的特殊字符。

下表列出了正则表达式模式语法中的特殊元素。如果你使用模式的同时提供了可选的标志参数，某些模式元素的含义会改变。

注意：表中re指的是表达式而不是字面的re这两个字母

正则表达式修饰符 – 可选标志

正则表达式可以包含一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。多个标志可以通过按位 OR(|) 它们来指定。如 re.I | re.M 被设置成 I 和 M 标志：

正则表达式对象

re.RegexObject

re.compile() 返回 RegexObject 对象。

re.MatchObject

group() 返回被 RE 匹配的字符串。

• start() 返回匹配开始的位置
• end() 返回匹配结束的位置
• span() 返回一个元组包含匹配 (开始,结束) 的位置

准备知识

我们先来看看廖雪峰老师讲解的正则表达式：

正则表达式是用字符串表示的，所以，我们要首先了解如何用字符来描述字符。

在正则表达式中，如果直接给出字符，就是精确匹配。

使用特殊符号表示字符：用\d可以匹配一个数字，\w可以匹配一个字母或数字，例如：

• \'00\d\'可以匹配\'007\'，但无法匹配\'00A\'；

• \'\d\d\d\'可以匹配\'010\'；

• \'\w\w\d\'可以匹配\'py3\'。

\'.\'可以匹配任意字符，所以：

• \'py.\'可以匹配\'pyc\'、\'py3\'、\'py!\'等等。

要匹配变长的字符，在正则表达式中，用*表示任意个字符（包括0个），用+表示至少一个字符，用?表示0个或1个字符，用{n}表示n个字符，用{n,m}表示n-m个字符。

来看一个复杂的例子：\d{3}\s+\d{3,8}。

我们来从左到右解读一下：

1. \d{3}表示匹配3个数字，例如\'010\'；

2. \s可以匹配一个空格（也包括Tab等空白符），所以\s+表示至少有一个空格，例如匹配\' \'，\' \'等；

3. \d{3,8}表示3-8个数字，例如\'1234567\'。

综合起来，上面的正则表达式可以匹配以任意个空格隔开的带区号的电话号码。

如果要匹配\'010-12345\'这样的号码呢？由于\'-\'是特殊字符，在正则表达式中，要用\'\\'转义，所以，上面的正则是\d{3}\-\d{3,8}。

但是，仍然无法匹配\'010 - 12345\'，因为带有空格。所以我们需要更复杂的匹配方式。

进阶

要做更精确地匹配，可以用[]表示范围，比如：

• [0-9a-zA-Z\_]可以匹配一个数字、字母或者下划线；

• [0-9a-zA-Z\_]+可以匹配至少由一个数字、字母或者下划线组成的字符串，比如\'a100\'，\'0_Z\'，\'Py3000\'等等；

• [a-zA-Z\_][0-9a-zA-Z\_]*可以匹配由字母或下划线开头，后接任意个由一个数字、字母或者下划线组成的字符串，也就是Python合法的变量；

• [a-zA-Z\_][0-9a-zA-Z\_]{0, 19}更精确地限制了变量的长度是1-20个字符（前面1个字符+后面最多19个字符）。

A|B可以匹配A或B，所以(P|p)ython可以匹配\'Python\'或者\'python\'。

^表示行的开头，^\d表示必须以数字开头。

$表示行的结束，\d$表示必须以数字结束。

py也可以匹配\'python\'，但是加上^py$就变成了整行匹配，就只能匹配\'py\'了。

re模常用方法

re.match()

re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。

函数语法：

re.match(pattern, string, flags=0)

函数参数说明：

匹配成功re.match方法返回一个匹配的对象，否则返回None。

实例：

import re

print(re.match(\'www\',\'www.baidu.com\').span())
print(re.match(\'baidu\',\'www.baidu.com\'))

输出：

(0, 3)
None

第一个匹配成功，第二个则失败

re.search()

re.search 扫描整个字符串并返回第一个成功的匹配。

函数语法：

re.search(pattern, string, flags=0)

函数参数说明：

匹配成功re.search方法返回一个匹配的对象，否则返回None。

实例：

import re

print(re.search(\'www\',\'www.baidu.com\'))
print(re.search(\'baidu\',\'www.baidu.com\'))

输出：

<_sre.SRE_Match object; span=(0, 3), match=\'www\'>
<_sre.SRE_Match object; span=(4, 9), match=\'baidu\'>

compile 函数

compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，re函数使用。

提前编译可减少多次正则匹配的运行时间

语法格式为：

re.compile(pattern[, flags])

参数：

• pattern : 一个字符串形式的正则表达式
• flags 可选，表示匹配模式

re.findall()

在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。

注意： match 和 search 是匹配一次 findall 匹配所有。

用法1

直接使用的语法格式为：

re.findall(pattern, string, flags)

参数：

• pattern 正则表达式
• string 待匹配的字符串
• flags re的一些flag，可不写

实例：

print(re.findall(pattern=\'\d+\', string=\'abafa 124ddwa56\'))

输出：

[\'124\', \'56\']

用法2

compile后使用findall的语法格式为：

re.findall(string, pos, endpos)

参数：

• string 待匹配的字符串。
• pos 可选参数，指定字符串的起始位置，默认为 0。
• endpos 可选参数，指定字符串的结束位置，默认为字符串的长度。

实例：

import re

mat=re.compile(r\'\d+\')#匹配数字

print(mat.findall(\'abafa 124ddwa56\'))
print(mat.findall(\'abafa 124ddwa56\',0,7))#匹配从0位开始，到7位结束

输出：

[\'124\', \'56\']
[\'1\']

re.finditer

和 findall 类似，在字符串中找到正则表达式所匹配的所有子串，并把它们作为一个迭代器返回。

re.finditer(pattern, string, flags=0)

实例：

import re

it = re.finditer(r"\d+", "12a32bc43jf3")
for match in it:
    print(match.group())

输出：

12
32
43
3

re.split

split 方法按照能够匹配的子串将字符串分割后返回列表，它的使用形式如下：

re.split(pattern, string[, maxsplit=0, flags=0])

参数：

实例：

用正则表达式切分字符串比用固定的字符更灵活，请看正常的切分代码：

>>> \'a b   c\'.split(\' \')
[\'a\', \'b\', \'\', \'\', \'c\']

发现无法识别连续的空格，用正则表达式试试：

>>> re.split(r\'\s+\', \'a b   c\')
[\'a\', \'b\', \'c\']

无论多少个空格都可以正常分割。加入,试试：

>>> re.split(r\'[\s\,]+\', \'a,b, c  d\')
[\'a\', \'b\', \'c\', \'d\']

再加入;试试：

>>> re.split(r\'[\s\,\;]+\', \'a,b;; c  d\')
[\'a\', \'b\', \'c\', \'d\']

groups()

我们可以使用group(num) 或 groups() 匹配对象函数来获取匹配表达式。

实例：

import re

m = re.match(r\'^(\d{3})-(\d{3,8})$\', \'010-12345\')
print(m.group(0))
print(m.group(1))
print(m.group(2))
print(m.groups())

输出：

010-12345
010
12345
(\'010\', \'12345\')

re.sub

Python 的re模块提供了re.sub用于替换字符串中的匹配项。

语法：

re.sub(pattern, repl, string, count=0, flags=0)

参数：

• pattern : 正则中的模式字符串。
• repl : 替换的字符串，也可为一个函数。
• string : 要被查找替换的原始字符串。
• count : 模式匹配后替换的最大次数，默认 0 表示替换所有的匹配。
• flags : 编译时用的匹配模式，数字形式。

前三个为必选参数，后两个为可选参数。

实例：

import re

phone = "2004-959-559 # 这是一个电话号码"

# 删除注释
num = re.sub(r\'#.*$\', "", phone)
print("电话号码 : ", num)

# 移除非数字的内容
num = re.sub(r\'\D\', "", phone)
print("电话号码 : ", num)

repl 参数可以是一个函数

以下实例中将字符串中的匹配的数字乘于 2：

import re
 
# 将匹配的数字乘于 2
def double(matched):
    value = int(matched.group(\'value\'))
    return str(value * 2)
 
s = \'A23G4HFD567\'
print(re.sub(\'(?P<value>\d+)\', double, s))

A46G8HFD1134

贪婪匹配

需要特别指出的是，正则匹配默认是贪婪匹配，也就是匹配尽可能多的字符。举例如下，匹配出数字后面的0：

>>> re.match(r\'^(\d+)(0*)$\', \'102300\').groups()
(\'102300\', \'\')

由于\d+采用贪婪匹配，直接把后面的0全部匹配了，结果0*只能匹配空字符串了。

必须让\d+采用非贪婪匹配（也就是尽可能少匹配），才能把后面的0匹配出来，加个?就可以让\d+采用非贪婪匹配：

>>> re.match(r\'^(\d+?)(0*)$\', \'102300\').groups()
(\'1023\', \'00\')

正则表达式实例

字符匹配

字符类

特殊字符类