1. 从“找东西”到“模式匹配”为什么你需要正则表达式如果你用过电脑里的“查找”功能或者在任何编辑器里按过CtrlF那你已经体验过最简单的文本匹配了。但想象一下这个场景你需要从一个混乱的日志文件里找出所有格式为2024-05-20 14:30:22 ERROR [ModuleA]这样的错误行或者你想从一堆用户输入的手机号里快速筛选出所有有效的11位数字又或者你需要把一篇文档里所有“http://”开头的链接批量替换成“https://”。这时候普通的“查找”就力不从心了因为它只能处理完全固定的字符串。正则表达式就是为解决这类“模式匹配”问题而生的超级瑞士军刀。它不是Python独有的但Python的re模块让它变得异常强大和易用。简单说正则表达式就是用一串特殊的字符定义出一个“文本模式”。然后你可以用这个模式去搜索、匹配、替换、分割任何符合这个模式的文本。对于数据分析、日志处理、文本清洗、网络爬虫甚至是表单验证它都是不可或缺的核心技能。很多人觉得正则表达式符号古怪像天书但其实它的核心思想非常直观用规则描述文本而不是死记硬背文本本身。接下来我会带你绕过那些让人望而生畏的符号堆砌直接从解决问题的角度手把手让你掌握这门“文本处理魔法”。2. 初识元字符构建模式的基本积木正则表达式的力量来自于一组被称为“元字符”的特殊符号。它们就像乐高积木不同的组合能构建出千变万化的模式。我们先从最常用、最核心的几个开始避免一开始就被庞大的规则表吓退。2.1 匹配单个字符.、[]、\d、\w、\s首先忘掉“匹配确切字符”的想法。元字符让我们能匹配一类字符。点号.这是最常用的元字符之一它匹配除了换行符\n以外的任意一个字符。注意是一个字符不是多个。示例模式a.c可以匹配abc、a c、ac。中间的.代表了那个位置可以是任何非换行字符。注意在Python的re模块中默认模式下.不匹配换行符。如果需要匹配包括换行符在内的所有字符可以使用re.DOTALL标志。字符集[]当你需要匹配的字符来自一个特定的可选集合时就用方括号。[aeiou]匹配任意一个英文元音字母。[a-z]匹配任意一个小写字母。[A-Za-z0-9]匹配任意一个字母或数字。[^0-9]这里的^在方括号内表示“非”所以这个模式匹配任意一个非数字字符。预定义字符集因为某些字符集太常用了所以有了简写。\d匹配任意一个数字。等价于[0-9]。\D匹配任意一个非数字字符。等价于[^0-9]。\w匹配任意一个单词字符字母、数字、下划线。等价于[A-Za-z0-9_]。注意通常不包括中文等非ASCII字符。\W匹配任意一个非单词字符。\s匹配任意一个空白字符空格、制表符\t、换行符\n、回车符\r等。\S匹配任意一个非空白字符。实操心得在匹配电话号码、身份证号时\d是你的好朋友。在分割单词或清理文本时\w和\W组合非常好用。记住这些带反斜杠的元字符是单个整体代表一个字符类别。2.2 控制匹配次数*、、?、{}只会匹配一个字符不够我们需要控制它出现多少次。星号*匹配前面的子表达式零次或多次尽可能多即“贪婪”匹配。ab*a后面跟着零个或多个b。能匹配a、ab、abb...加号匹配前面的子表达式一次或多次至少一次。aba后面跟着至少一个b。能匹配ab、abb... 但不能匹配a。问号?匹配前面的子表达式零次或一次表示可选。colou?r可以匹配英式colour和美式color。u出现0次或1次。花括号{m,n}匹配前面的子表达式m 到 n 次。\d{3}匹配恰好3个数字。\d{3,5}匹配3到5个数字。\d{3,}匹配至少3个数字。为什么这样设计这四种量词构成了一个完整的“次数”逻辑体系可有可无?、任意多次*、至少一次、精确范围{}。几乎所有的重复匹配需求都能被覆盖。2.3 匹配位置^、$、\b有时我们不仅关心匹配什么还关心它在哪匹配。脱字符^匹配字符串的开始位置。注意当它在方括号[]内时含义是“非”在方括号外时才是“开始”。^Hello匹配以Hello开头的字符串。美元符$匹配字符串的结束位置。world$匹配以world结尾的字符串。^\d$匹配整个字符串全部由数字组成。这是一个非常常用的验证格式。单词边界\b匹配一个单词的边界即\w和\W之间的位置。它不消耗任何字符只表示一个位置。\bcat\b匹配独立的单词cat而不会匹配catalog或scatter中的cat。这在搜索完整单词时极其有用。踩坑提醒很多新手会忘记^和$导致匹配到字符串中间的部分。比如你想验证一个字符串是不是纯数字用\d会匹配abc123def中的123而^\d$才会对123返回匹配对abc123def返回不匹配。这是表单验证类任务的关键区别。3. 在Python中实战re模块核心四板斧理解了元字符我们来看看如何在Python里用它。Python的re模块提供了几个核心函数对应着最常用的四种操作查找、匹配、替换、分割。3.1 搜索与匹配re.search()vsre.match()这是最容易混淆的两个函数它们的区别在于起始位置的限制。re.search(pattern, string)扫描整个字符串返回第一个匹配到的结果一个匹配对象。只要字符串中包含模式就能匹配成功。re.match(pattern, string)只从字符串的起始位置开始检查。如果字符串开头不符合模式则立即返回None不会继续扫描。import re text 今天的日期是2024-05-20明天是2024-05-21。 # 使用 search可以在字符串中间找到日期 match re.search(r\d{4}-\d{2}-\d{2}, text) if match: print(fsearch 找到: {match.group()}) # 输出: search 找到: 2024-05-20 # 使用 match因为字符串不是以日期开头所以匹配失败 match re.match(r\d{4}-\d{2}-\d{2}, text) if match: print(fmatch 找到: {match.group()}) else: print(match 未找到匹配) # 输出: match 未找到匹配 # 如果字符串以日期开头match就能成功 text2 2024-05-20 是个好日子。 match re.match(r\d{4}-\d{2}-\d{2}, text2) if match: print(fmatch 找到: {match.group()}) # 输出: match 找到: 2024-05-20经验法则除非你非常确定并且只需要检查字符串开头否则优先使用re.search()。re.match()的使用场景相对较少。3.2 查找所有re.findall()与re.finditer()当我们需要找到所有匹配项而不是第一个时就用这两个函数。re.findall(pattern, string)以列表形式返回字符串中所有非重叠的匹配。如果模式中有分组则返回分组元组的列表。re.finditer(pattern, string)返回一个迭代器其中每个元素都是一个匹配对象。当你需要获取每个匹配的详细信息如位置时用它更高效。import re text 苹果价格是5元香蕉价格是3元橙子价格是4元。 # 使用 findall 提取所有价格数字 prices re.findall(r(\d)元, text) # 注意这里用了分组 () print(prices) # 输出: [5, 3, 4] 是一个字符串列表 # 使用 finditer 获取每个匹配的详细信息 for match in re.finditer(r(\d)元, text): print(f商品价格: {match.group(1)} 元, 位置: {match.start()}-{match.end()}) # 输出: # 商品价格: 5 元, 位置: 5-7 # 商品价格: 3 元, 位置: 14-16 # 商品价格: 4 元, 位置: 23-25关键细节注意上面模式中的括号(\d)。这创建了一个“分组”。在findall中如果模式包含分组它返回的是分组的内容而不是整个匹配。如果我想用findall获取完整的“5元”应该用r\d元无分组或者r((\d)元)外层分组。这是findall一个常见的“坑”。3.3 替换与分割re.sub()与re.split()文本处理中替换和分割是家常便饭。re.sub(pattern, repl, string, count0)将字符串中所有匹配模式的部分替换为repl。count参数可以限制替换次数。repl可以是一个字符串也可以是一个函数。如果是函数它接收一个匹配对象作为参数返回替换字符串。re.split(pattern, string, maxsplit0)用模式匹配到的部分作为分隔符来分割字符串。比普通的str.split()强大得多因为分隔符可以是一个复杂的模式。import re # 替换将手机号中间4位打码 text 联系方式13812345678 另一个是15987654321。 masked_text re.sub(r(\d{3})\d{4}(\d{4}), r\1****\2, text) print(masked_text) # 输出: 联系方式138****5678 另一个是159****4321。 # 解释模式 (\d{3})\d{4}(\d{4}) 匹配11位手机号并分成3个分组。 # 替换字符串 r\1****\2 中\1 代表第一个分组前3位\2 代表第三个分组后4位中间用 **** 替换。 # 分割用多种标点或空白分割句子 text 这是一个句子。这是另一个还有这个最后这个。 parts re.split(r[。\.\s], text) # 匹配中文句号、感叹号、问号、英文句点、空白字符一次或多次 print(parts) # 输出: [这是一个句子, 这是另一个, 还有这个, 最后这个, ] # 注意末尾可能产生空字符串通常需要过滤掉 parts [p for p in parts if p] print(parts) # 输出: [这是一个句子, 这是另一个, 还有这个, 最后这个]高级技巧re.sub()的回调函数功能非常强大。例如将匹配到的所有数字都转换为其平方值def square(match): num int(match.group()) return str(num * num) text 数字有1, 23, 456。 result re.sub(r\d, square, text) print(result) # 输出: 数字有1, 529, 207936。4. 贪婪与非贪婪匹配策略的核心陷阱这是正则表达式中最容易出错的概念之一理解了它很多奇怪的匹配结果就迎刃而解了。默认情况下量词*,,?,{}是“贪婪”的。这意味着它们会尽可能多地匹配字符同时仍允许整个模式匹配成功。看一个经典例子import re text titlePython正则表达式/title body内容/body # 贪婪匹配默认 greedy_match re.search(r.*, text) print(f贪婪匹配: {greedy_match.group()}) # 输出: 贪婪匹配: titlePython正则表达式/title body内容/body # 它从第一个 开始一直匹配到最后一个 # 非贪婪匹配在量词后加 ? lazy_match re.search(r.*?, text) # 注意 *? print(f非贪婪匹配: {lazy_match.group()}) # 输出: 非贪婪匹配: title # 它匹配到第一个 就结束了实现了“最小匹配”。发生了什么模式r.*.可以匹配任何非换行符*是贪婪的。引擎看到这个模式会尝试用.*吞掉尽可能多的字符直到字符串末尾。然后它再回溯尝试让后面的匹配直到找到最后一个使得整个模式成立。模式r.*?.*?中的?改变了*的“性格”让它变成“非贪婪”或“懒惰”的。引擎会用.*?匹配尽可能少的字符这里是0个然后立刻尝试匹配后面的。如果失败比如当前位置是t引擎会勉强地让.*?多“吃”一个字符然后再尝试匹配如此反复直到第一次成功匹配为止。哪些量词可以变非贪婪*?、?、??、{m,n}?。实战场景在解析HTML、XML虽然不建议用正则表达式完整解析或提取引号内内容时非贪婪匹配是必须的。例如提取双引号内的内容text 他说你好。然后她说再见。 # 错误贪婪 print(re.findall(r\(.*)\, text)) # 输出: [你好。然后她说再见。] # 正确非贪婪 print(re.findall(r\(.*?)\, text)) # 输出: [你好。, 再见。]注意处理嵌套结构如divptext/p/div是正则表达式的弱项贪婪或非贪婪都难以完美处理。对于复杂的结构化文本应使用专门的解析器如html.parserlxml。5. 分组与捕获组织与复用匹配内容括号()在正则表达式中除了用于改变运算优先级最重要的功能就是分组并且默认会捕获分组匹配到的内容供后续使用。5.1 基础分组与引用import re # 分组用于提取特定部分 text 2024-05-20 match re.search(r(\d{4})-(\d{2})-(\d{2}), text) if match: print(f整个匹配: {match.group(0)}) # group(0) 永远是整个匹配的字符串 print(f年: {match.group(1)}) # 第一个括号分组 print(f月: {match.group(2)}) # 第二个括号分组 print(f日: {match.group(3)}) # 第三个括号分组 print(f所有分组: {match.groups()}) # 返回一个包含所有分组内容的元组 # 输出: # 整个匹配: 2024-05-20 # 年: 2024 # 月: 05 # 日: 20 # 所有分组: (2024, 05, 20) # 在同一个正则表达式中用 \1, \2, ... 引用前面的分组反向引用 # 匹配重复的单词例如 the the cat cat text This is is a test test sentence. duplicates re.findall(r\b(\w)\s\1\b, text) # \1 必须匹配和第一个分组完全相同的单词 print(duplicates) # 输出: [(is,), (test,)] findall返回分组元组列表 # 匹配对象是 (is,) 和 (test,)因为模式中只有一对括号。5.2 非捕获分组(?:...)有时我们只想用括号来分组比如应用量词但不想捕获它来消耗group的编号或用于反向引用。这时使用非捕获分组。import re text abcabc abc123abc # 捕获分组 match_capturing re.search(r(abc){2}, text) # 匹配连续两个abc print(match_capturing.groups()) # 输出: (abc,) 它捕获了最后一个abc # 非捕获分组 match_non_capturing re.search(r(?:abc){2}, text) print(match_non_capturing.groups()) # 输出: () 空元组没有捕获任何内容 # 复杂例子匹配 img.jpg 或 img.png并提取文件名 # 我们想用括号把 jpg|png 括起来作为一个整体但不想捕获这个后缀 match re.search(r(\w)\.(?:jpg|png), image1.png) if match: print(f文件名: {match.group(1)}) # group(1) 是文件名后缀没有被捕获所以没有group(2) # 输出: 文件名: image1使用非捕获分组(?:...)可以使你的正则表达式更高效因为引擎不需要存储捕获内容并且能避免分组编号混乱在复杂的模式中非常有用。6. 编译与标志提升性能与改变行为6.1 编译正则表达式对象如果你需要多次使用同一个正则表达式模式最佳实践是使用re.compile()将其预编译成一个正则表达式对象。import re # 未编译每次调用都需解析模式 pattern_string r\d{3}-\d{4}-\d{4} texts [电话1: 138-1234-5678, 电话2: 159-8765-4321, 无效: 123-456] for text in texts: if re.search(pattern_string, text): print(f找到: {text}) # 编译后模式只解析一次效率更高 pattern_obj re.compile(r\d{3}-\d{4}-\d{4}) for text in texts: if pattern_obj.search(text): # 在对象上调用方法 print(f找到(编译后): {text})性能差异对于在循环中或需要频繁调用的模式编译可以带来显著的性能提升因为省去了重复解析模式字符串的开销。6.2 常用匹配标志标志可以改变正则表达式引擎的某些默认行为通过re.compile()的第二个参数或直接内嵌在模式中(?iLmsux)语法传入。re.IGNORECASE(re.I)忽略大小写。re.search(rhello, HELLO World, re.I) # 可以匹配re.MULTILINE(re.M)改变^和$的行为。默认下它们匹配整个字符串的开头和结尾。在MULTILINE模式下它们匹配每一行的开头和结尾。text 第一行\n第二行\n第三行 # 默认模式^只匹配字符串开头 print(re.findall(r^\w, text)) # 输出: [第一行] # MULTILINE 模式^匹配每行开头 print(re.findall(r^\w, text, re.M)) # 输出: [第一行, 第二行, 第三行]re.DOTALL(re.S)使点号.匹配包括换行符在内的所有字符。默认情况下.不匹配换行符\n。text start\nend # 默认模式.不匹配\n print(re.search(rstart.*end, text)) # 输出: None # DOTALL 模式.匹配\n print(re.search(rstart.*end, text, re.S)) # 输出: re.Match object; ...re.VERBOSE(re.X)允许你在正则表达式中添加空白和注释使其更易读。非常适用于复杂的模式。phone_regex re.compile(r (\d{3}) # 区号3位数字 \D* # 可选的分隔符非数字 (\d{4}) # 前4位 \D* # 可选的分隔符 (\d{4}) # 后4位 , re.VERBOSE)标志组合可以使用|运算符组合多个标志例如re.I | re.M。7. 综合实战从日志中提取结构化错误信息让我们用一个接近真实的例子把前面所有知识串联起来。假设我们有一个应用日志文件app.log内容如下[INFO] 2024-05-20 10:00:01,234 - UserService - User alice logged in from 192.168.1.100. [ERROR] 2024-05-20 10:00:02,345 - DatabaseService - Connection timeout to mysql://prod-db:3306. Retrying... [WARN] 2024-05-20 10:00:03,456 - CacheService - Memory usage at 85%. [ERROR] 2024-05-20 10:00:05,678 - PaymentService - Failed to charge user bob for order #1001. Reason: Insufficient funds. [INFO] 2024-05-20 10:00:10,000 - OrderService - Order #1002 placed successfully.目标提取所有ERROR级别的日志并结构化地获取其时间戳、服务名和错误信息。import re log_content [INFO] 2024-05-20 10:00:01,234 - UserService - User alice logged in from 192.168.1.100. [ERROR] 2024-05-20 10:00:02,345 - DatabaseService - Connection timeout to mysql://prod-db:3306. Retrying... [WARN] 2024-05-20 10:00:03,456 - CacheService - Memory usage at 85%. [ERROR] 2024-05-20 10:00:05,678 - PaymentService - Failed to charge user bob for order #1001. Reason: Insufficient funds. [INFO] 2024-05-20 10:00:10,000 - OrderService - Order #1002 placed successfully. # 步骤1设计正则表达式模式 # 我们需要匹配 # 1. 以 [ERROR] 开头 # 2. 日期时间YYYY-MM-DD HH:MM:SS,SSS # 3. 服务名- SomeService - # 4. 错误信息直到行尾 # 使用 re.VERBOSE 让模式更清晰 pattern re.compile(r ^\[ERROR\]\s # 行首的[ERROR]标签 (\d{4}-\d{2}-\d{2}\s # 日期YYYY-MM-DD \d{2}:\d{2}:\d{2},\d{3})\s# 时间HH:MM:SS,SSS -\s # 分隔符 (\w)\s # 服务名单词字符 -\s # 分隔符 (.?) # 错误信息非贪婪匹配直到行尾 $ # 行尾 , re.MULTILINE | re.VERBOSE) # 需要 re.MULTILINE 让 ^ 和 $ 匹配每行 # 步骤2使用 finditer 进行匹配和提取 errors [] for match in pattern.finditer(log_content): timestamp match.group(1) service match.group(2) message match.group(3) errors.append({ timestamp: timestamp, service: service, message: message }) # 步骤3输出结果 print(f共找到 {len(errors)} 条错误日志) for i, err in enumerate(errors, 1): print(f\n错误 #{i}:) print(f 时间: {err[timestamp]}) print(f 服务: {err[service]}) print(f 信息: {err[message]}) # 输出 # 共找到 2 条错误日志 # # 错误 #1: # 时间: 2024-05-20 10:00:02,345 # 服务: DatabaseService # 信息: Connection timeout to mysql://prod-db:3306. Retrying... # # 错误 #2: # 时间: 2024-05-20 10:00:05,678 # 服务: PaymentService # 信息: Failed to charge user bob for order #1001. Reason: Insufficient funds.这个实战案例的关键点模式设计我们使用了^和$并配合re.MULTILINE来确保模式精确匹配每一行。分组捕获用()精确捕获了我们需要的三个部分时间戳、服务名、错误信息。非贪婪匹配在捕获错误信息(.?)时使用了非贪婪量词?虽然这里因为$的存在贪婪匹配.也能工作但使用非贪婪是更严谨的习惯防止模式扩展时出问题。编译与标志我们编译了正则表达式对象并组合使用了re.MULTILINE和re.VERBOSE标志使代码更高效、更易读。结构化输出将提取的数据存入字典列表便于后续处理如写入数据库、生成报告等。8. 调试与优化让正则表达式更可靠写正则表达式就像写代码也需要调试和优化。以下是一些实用技巧1. 使用在线工具辅助构建和调试在编写复杂正则时不要硬猜。利用像regex101.com或regexr.com这样的在线工具。它们可以高亮显示匹配部分、解释每个元字符的含义、显示分组信息并且支持多种编程语言包括Python的语法。你可以把样例文本贴进去实时调整模式看到匹配结果极大提升效率。2. 从简单到复杂逐步构建不要试图一口气写出完美的复杂正则。先写核心部分匹配最简单的案例然后逐步添加边界条件、处理异常情况。例如匹配邮箱地址先匹配xxxxxx.xxx再考虑用户名中的点号、域名中的多级子域等。3. 警惕“灾难性回溯”这是性能杀手。当模式中存在模糊的量词嵌套并且字符串不匹配时引擎可能会尝试所有可能的分支导致指数级的时间复杂度。坏例子(a)b去匹配aaaaaaaaaaaaaaaaaaaaac。引擎会尝试无数种a的组合方式最终超时。优化尽量避免嵌套的、模糊的量词。使用更精确的字符集和范围。对于上面的例子ab就足够了。4. 尽量具体避免过度使用.*.*虽然方便但它是“贪婪”且“模糊”的容易匹配到意想不到的内容也容易引发回溯。尽可能用更具体的模式代替它。例如匹配双引号内的内容用\[^\]*\匹配非双引号字符通常比\.*?\更高效、更不易出错。5. 在Python中利用re.DEBUG标志re.compile()时传入re.DEBUG标志可以打印出引擎将模式转换成的内部指令序列对于理解复杂模式和调试有一定帮助但输出比较底层。re.compile(r\d{3}-\d{4}, re.DEBUG)6. 编写单元测试为正则表达式编写测试用例覆盖正常情况、边界情况和应该不匹配的情况。这能确保你的模式在修改后依然正确。正则表达式是一门实践性极强的技能。最好的学习方法就是多写、多练、多调试。从简单的文本提取开始逐步挑战更复杂的解析任务。当你能够熟练地用它解决日常工作中的文本处理难题时你会发现自己多了一件无比趁手的利器。
1. 从“找东西”到“模式匹配”为什么你需要正则表达式如果你用过电脑里的“查找”功能或者在任何编辑器里按过CtrlF那你已经体验过最简单的文本匹配了。但想象一下这个场景你需要从一个混乱的日志文件里找出所有格式为2024-05-20 14:30:22 ERROR [ModuleA]这样的错误行或者你想从一堆用户输入的手机号里快速筛选出所有有效的11位数字又或者你需要把一篇文档里所有“http://”开头的链接批量替换成“https://”。这时候普通的“查找”就力不从心了因为它只能处理完全固定的字符串。正则表达式就是为解决这类“模式匹配”问题而生的超级瑞士军刀。它不是Python独有的但Python的re模块让它变得异常强大和易用。简单说正则表达式就是用一串特殊的字符定义出一个“文本模式”。然后你可以用这个模式去搜索、匹配、替换、分割任何符合这个模式的文本。对于数据分析、日志处理、文本清洗、网络爬虫甚至是表单验证它都是不可或缺的核心技能。很多人觉得正则表达式符号古怪像天书但其实它的核心思想非常直观用规则描述文本而不是死记硬背文本本身。接下来我会带你绕过那些让人望而生畏的符号堆砌直接从解决问题的角度手把手让你掌握这门“文本处理魔法”。2. 初识元字符构建模式的基本积木正则表达式的力量来自于一组被称为“元字符”的特殊符号。它们就像乐高积木不同的组合能构建出千变万化的模式。我们先从最常用、最核心的几个开始避免一开始就被庞大的规则表吓退。2.1 匹配单个字符.、[]、\d、\w、\s首先忘掉“匹配确切字符”的想法。元字符让我们能匹配一类字符。点号.这是最常用的元字符之一它匹配除了换行符\n以外的任意一个字符。注意是一个字符不是多个。示例模式a.c可以匹配abc、a c、ac。中间的.代表了那个位置可以是任何非换行字符。注意在Python的re模块中默认模式下.不匹配换行符。如果需要匹配包括换行符在内的所有字符可以使用re.DOTALL标志。字符集[]当你需要匹配的字符来自一个特定的可选集合时就用方括号。[aeiou]匹配任意一个英文元音字母。[a-z]匹配任意一个小写字母。[A-Za-z0-9]匹配任意一个字母或数字。[^0-9]这里的^在方括号内表示“非”所以这个模式匹配任意一个非数字字符。预定义字符集因为某些字符集太常用了所以有了简写。\d匹配任意一个数字。等价于[0-9]。\D匹配任意一个非数字字符。等价于[^0-9]。\w匹配任意一个单词字符字母、数字、下划线。等价于[A-Za-z0-9_]。注意通常不包括中文等非ASCII字符。\W匹配任意一个非单词字符。\s匹配任意一个空白字符空格、制表符\t、换行符\n、回车符\r等。\S匹配任意一个非空白字符。实操心得在匹配电话号码、身份证号时\d是你的好朋友。在分割单词或清理文本时\w和\W组合非常好用。记住这些带反斜杠的元字符是单个整体代表一个字符类别。2.2 控制匹配次数*、、?、{}只会匹配一个字符不够我们需要控制它出现多少次。星号*匹配前面的子表达式零次或多次尽可能多即“贪婪”匹配。ab*a后面跟着零个或多个b。能匹配a、ab、abb...加号匹配前面的子表达式一次或多次至少一次。aba后面跟着至少一个b。能匹配ab、abb... 但不能匹配a。问号?匹配前面的子表达式零次或一次表示可选。colou?r可以匹配英式colour和美式color。u出现0次或1次。花括号{m,n}匹配前面的子表达式m 到 n 次。\d{3}匹配恰好3个数字。\d{3,5}匹配3到5个数字。\d{3,}匹配至少3个数字。为什么这样设计这四种量词构成了一个完整的“次数”逻辑体系可有可无?、任意多次*、至少一次、精确范围{}。几乎所有的重复匹配需求都能被覆盖。2.3 匹配位置^、$、\b有时我们不仅关心匹配什么还关心它在哪匹配。脱字符^匹配字符串的开始位置。注意当它在方括号[]内时含义是“非”在方括号外时才是“开始”。^Hello匹配以Hello开头的字符串。美元符$匹配字符串的结束位置。world$匹配以world结尾的字符串。^\d$匹配整个字符串全部由数字组成。这是一个非常常用的验证格式。单词边界\b匹配一个单词的边界即\w和\W之间的位置。它不消耗任何字符只表示一个位置。\bcat\b匹配独立的单词cat而不会匹配catalog或scatter中的cat。这在搜索完整单词时极其有用。踩坑提醒很多新手会忘记^和$导致匹配到字符串中间的部分。比如你想验证一个字符串是不是纯数字用\d会匹配abc123def中的123而^\d$才会对123返回匹配对abc123def返回不匹配。这是表单验证类任务的关键区别。3. 在Python中实战re模块核心四板斧理解了元字符我们来看看如何在Python里用它。Python的re模块提供了几个核心函数对应着最常用的四种操作查找、匹配、替换、分割。3.1 搜索与匹配re.search()vsre.match()这是最容易混淆的两个函数它们的区别在于起始位置的限制。re.search(pattern, string)扫描整个字符串返回第一个匹配到的结果一个匹配对象。只要字符串中包含模式就能匹配成功。re.match(pattern, string)只从字符串的起始位置开始检查。如果字符串开头不符合模式则立即返回None不会继续扫描。import re text 今天的日期是2024-05-20明天是2024-05-21。 # 使用 search可以在字符串中间找到日期 match re.search(r\d{4}-\d{2}-\d{2}, text) if match: print(fsearch 找到: {match.group()}) # 输出: search 找到: 2024-05-20 # 使用 match因为字符串不是以日期开头所以匹配失败 match re.match(r\d{4}-\d{2}-\d{2}, text) if match: print(fmatch 找到: {match.group()}) else: print(match 未找到匹配) # 输出: match 未找到匹配 # 如果字符串以日期开头match就能成功 text2 2024-05-20 是个好日子。 match re.match(r\d{4}-\d{2}-\d{2}, text2) if match: print(fmatch 找到: {match.group()}) # 输出: match 找到: 2024-05-20经验法则除非你非常确定并且只需要检查字符串开头否则优先使用re.search()。re.match()的使用场景相对较少。3.2 查找所有re.findall()与re.finditer()当我们需要找到所有匹配项而不是第一个时就用这两个函数。re.findall(pattern, string)以列表形式返回字符串中所有非重叠的匹配。如果模式中有分组则返回分组元组的列表。re.finditer(pattern, string)返回一个迭代器其中每个元素都是一个匹配对象。当你需要获取每个匹配的详细信息如位置时用它更高效。import re text 苹果价格是5元香蕉价格是3元橙子价格是4元。 # 使用 findall 提取所有价格数字 prices re.findall(r(\d)元, text) # 注意这里用了分组 () print(prices) # 输出: [5, 3, 4] 是一个字符串列表 # 使用 finditer 获取每个匹配的详细信息 for match in re.finditer(r(\d)元, text): print(f商品价格: {match.group(1)} 元, 位置: {match.start()}-{match.end()}) # 输出: # 商品价格: 5 元, 位置: 5-7 # 商品价格: 3 元, 位置: 14-16 # 商品价格: 4 元, 位置: 23-25关键细节注意上面模式中的括号(\d)。这创建了一个“分组”。在findall中如果模式包含分组它返回的是分组的内容而不是整个匹配。如果我想用findall获取完整的“5元”应该用r\d元无分组或者r((\d)元)外层分组。这是findall一个常见的“坑”。3.3 替换与分割re.sub()与re.split()文本处理中替换和分割是家常便饭。re.sub(pattern, repl, string, count0)将字符串中所有匹配模式的部分替换为repl。count参数可以限制替换次数。repl可以是一个字符串也可以是一个函数。如果是函数它接收一个匹配对象作为参数返回替换字符串。re.split(pattern, string, maxsplit0)用模式匹配到的部分作为分隔符来分割字符串。比普通的str.split()强大得多因为分隔符可以是一个复杂的模式。import re # 替换将手机号中间4位打码 text 联系方式13812345678 另一个是15987654321。 masked_text re.sub(r(\d{3})\d{4}(\d{4}), r\1****\2, text) print(masked_text) # 输出: 联系方式138****5678 另一个是159****4321。 # 解释模式 (\d{3})\d{4}(\d{4}) 匹配11位手机号并分成3个分组。 # 替换字符串 r\1****\2 中\1 代表第一个分组前3位\2 代表第三个分组后4位中间用 **** 替换。 # 分割用多种标点或空白分割句子 text 这是一个句子。这是另一个还有这个最后这个。 parts re.split(r[。\.\s], text) # 匹配中文句号、感叹号、问号、英文句点、空白字符一次或多次 print(parts) # 输出: [这是一个句子, 这是另一个, 还有这个, 最后这个, ] # 注意末尾可能产生空字符串通常需要过滤掉 parts [p for p in parts if p] print(parts) # 输出: [这是一个句子, 这是另一个, 还有这个, 最后这个]高级技巧re.sub()的回调函数功能非常强大。例如将匹配到的所有数字都转换为其平方值def square(match): num int(match.group()) return str(num * num) text 数字有1, 23, 456。 result re.sub(r\d, square, text) print(result) # 输出: 数字有1, 529, 207936。4. 贪婪与非贪婪匹配策略的核心陷阱这是正则表达式中最容易出错的概念之一理解了它很多奇怪的匹配结果就迎刃而解了。默认情况下量词*,,?,{}是“贪婪”的。这意味着它们会尽可能多地匹配字符同时仍允许整个模式匹配成功。看一个经典例子import re text titlePython正则表达式/title body内容/body # 贪婪匹配默认 greedy_match re.search(r.*, text) print(f贪婪匹配: {greedy_match.group()}) # 输出: 贪婪匹配: titlePython正则表达式/title body内容/body # 它从第一个 开始一直匹配到最后一个 # 非贪婪匹配在量词后加 ? lazy_match re.search(r.*?, text) # 注意 *? print(f非贪婪匹配: {lazy_match.group()}) # 输出: 非贪婪匹配: title # 它匹配到第一个 就结束了实现了“最小匹配”。发生了什么模式r.*.可以匹配任何非换行符*是贪婪的。引擎看到这个模式会尝试用.*吞掉尽可能多的字符直到字符串末尾。然后它再回溯尝试让后面的匹配直到找到最后一个使得整个模式成立。模式r.*?.*?中的?改变了*的“性格”让它变成“非贪婪”或“懒惰”的。引擎会用.*?匹配尽可能少的字符这里是0个然后立刻尝试匹配后面的。如果失败比如当前位置是t引擎会勉强地让.*?多“吃”一个字符然后再尝试匹配如此反复直到第一次成功匹配为止。哪些量词可以变非贪婪*?、?、??、{m,n}?。实战场景在解析HTML、XML虽然不建议用正则表达式完整解析或提取引号内内容时非贪婪匹配是必须的。例如提取双引号内的内容text 他说你好。然后她说再见。 # 错误贪婪 print(re.findall(r\(.*)\, text)) # 输出: [你好。然后她说再见。] # 正确非贪婪 print(re.findall(r\(.*?)\, text)) # 输出: [你好。, 再见。]注意处理嵌套结构如divptext/p/div是正则表达式的弱项贪婪或非贪婪都难以完美处理。对于复杂的结构化文本应使用专门的解析器如html.parserlxml。5. 分组与捕获组织与复用匹配内容括号()在正则表达式中除了用于改变运算优先级最重要的功能就是分组并且默认会捕获分组匹配到的内容供后续使用。5.1 基础分组与引用import re # 分组用于提取特定部分 text 2024-05-20 match re.search(r(\d{4})-(\d{2})-(\d{2}), text) if match: print(f整个匹配: {match.group(0)}) # group(0) 永远是整个匹配的字符串 print(f年: {match.group(1)}) # 第一个括号分组 print(f月: {match.group(2)}) # 第二个括号分组 print(f日: {match.group(3)}) # 第三个括号分组 print(f所有分组: {match.groups()}) # 返回一个包含所有分组内容的元组 # 输出: # 整个匹配: 2024-05-20 # 年: 2024 # 月: 05 # 日: 20 # 所有分组: (2024, 05, 20) # 在同一个正则表达式中用 \1, \2, ... 引用前面的分组反向引用 # 匹配重复的单词例如 the the cat cat text This is is a test test sentence. duplicates re.findall(r\b(\w)\s\1\b, text) # \1 必须匹配和第一个分组完全相同的单词 print(duplicates) # 输出: [(is,), (test,)] findall返回分组元组列表 # 匹配对象是 (is,) 和 (test,)因为模式中只有一对括号。5.2 非捕获分组(?:...)有时我们只想用括号来分组比如应用量词但不想捕获它来消耗group的编号或用于反向引用。这时使用非捕获分组。import re text abcabc abc123abc # 捕获分组 match_capturing re.search(r(abc){2}, text) # 匹配连续两个abc print(match_capturing.groups()) # 输出: (abc,) 它捕获了最后一个abc # 非捕获分组 match_non_capturing re.search(r(?:abc){2}, text) print(match_non_capturing.groups()) # 输出: () 空元组没有捕获任何内容 # 复杂例子匹配 img.jpg 或 img.png并提取文件名 # 我们想用括号把 jpg|png 括起来作为一个整体但不想捕获这个后缀 match re.search(r(\w)\.(?:jpg|png), image1.png) if match: print(f文件名: {match.group(1)}) # group(1) 是文件名后缀没有被捕获所以没有group(2) # 输出: 文件名: image1使用非捕获分组(?:...)可以使你的正则表达式更高效因为引擎不需要存储捕获内容并且能避免分组编号混乱在复杂的模式中非常有用。6. 编译与标志提升性能与改变行为6.1 编译正则表达式对象如果你需要多次使用同一个正则表达式模式最佳实践是使用re.compile()将其预编译成一个正则表达式对象。import re # 未编译每次调用都需解析模式 pattern_string r\d{3}-\d{4}-\d{4} texts [电话1: 138-1234-5678, 电话2: 159-8765-4321, 无效: 123-456] for text in texts: if re.search(pattern_string, text): print(f找到: {text}) # 编译后模式只解析一次效率更高 pattern_obj re.compile(r\d{3}-\d{4}-\d{4}) for text in texts: if pattern_obj.search(text): # 在对象上调用方法 print(f找到(编译后): {text})性能差异对于在循环中或需要频繁调用的模式编译可以带来显著的性能提升因为省去了重复解析模式字符串的开销。6.2 常用匹配标志标志可以改变正则表达式引擎的某些默认行为通过re.compile()的第二个参数或直接内嵌在模式中(?iLmsux)语法传入。re.IGNORECASE(re.I)忽略大小写。re.search(rhello, HELLO World, re.I) # 可以匹配re.MULTILINE(re.M)改变^和$的行为。默认下它们匹配整个字符串的开头和结尾。在MULTILINE模式下它们匹配每一行的开头和结尾。text 第一行\n第二行\n第三行 # 默认模式^只匹配字符串开头 print(re.findall(r^\w, text)) # 输出: [第一行] # MULTILINE 模式^匹配每行开头 print(re.findall(r^\w, text, re.M)) # 输出: [第一行, 第二行, 第三行]re.DOTALL(re.S)使点号.匹配包括换行符在内的所有字符。默认情况下.不匹配换行符\n。text start\nend # 默认模式.不匹配\n print(re.search(rstart.*end, text)) # 输出: None # DOTALL 模式.匹配\n print(re.search(rstart.*end, text, re.S)) # 输出: re.Match object; ...re.VERBOSE(re.X)允许你在正则表达式中添加空白和注释使其更易读。非常适用于复杂的模式。phone_regex re.compile(r (\d{3}) # 区号3位数字 \D* # 可选的分隔符非数字 (\d{4}) # 前4位 \D* # 可选的分隔符 (\d{4}) # 后4位 , re.VERBOSE)标志组合可以使用|运算符组合多个标志例如re.I | re.M。7. 综合实战从日志中提取结构化错误信息让我们用一个接近真实的例子把前面所有知识串联起来。假设我们有一个应用日志文件app.log内容如下[INFO] 2024-05-20 10:00:01,234 - UserService - User alice logged in from 192.168.1.100. [ERROR] 2024-05-20 10:00:02,345 - DatabaseService - Connection timeout to mysql://prod-db:3306. Retrying... [WARN] 2024-05-20 10:00:03,456 - CacheService - Memory usage at 85%. [ERROR] 2024-05-20 10:00:05,678 - PaymentService - Failed to charge user bob for order #1001. Reason: Insufficient funds. [INFO] 2024-05-20 10:00:10,000 - OrderService - Order #1002 placed successfully.目标提取所有ERROR级别的日志并结构化地获取其时间戳、服务名和错误信息。import re log_content [INFO] 2024-05-20 10:00:01,234 - UserService - User alice logged in from 192.168.1.100. [ERROR] 2024-05-20 10:00:02,345 - DatabaseService - Connection timeout to mysql://prod-db:3306. Retrying... [WARN] 2024-05-20 10:00:03,456 - CacheService - Memory usage at 85%. [ERROR] 2024-05-20 10:00:05,678 - PaymentService - Failed to charge user bob for order #1001. Reason: Insufficient funds. [INFO] 2024-05-20 10:00:10,000 - OrderService - Order #1002 placed successfully. # 步骤1设计正则表达式模式 # 我们需要匹配 # 1. 以 [ERROR] 开头 # 2. 日期时间YYYY-MM-DD HH:MM:SS,SSS # 3. 服务名- SomeService - # 4. 错误信息直到行尾 # 使用 re.VERBOSE 让模式更清晰 pattern re.compile(r ^\[ERROR\]\s # 行首的[ERROR]标签 (\d{4}-\d{2}-\d{2}\s # 日期YYYY-MM-DD \d{2}:\d{2}:\d{2},\d{3})\s# 时间HH:MM:SS,SSS -\s # 分隔符 (\w)\s # 服务名单词字符 -\s # 分隔符 (.?) # 错误信息非贪婪匹配直到行尾 $ # 行尾 , re.MULTILINE | re.VERBOSE) # 需要 re.MULTILINE 让 ^ 和 $ 匹配每行 # 步骤2使用 finditer 进行匹配和提取 errors [] for match in pattern.finditer(log_content): timestamp match.group(1) service match.group(2) message match.group(3) errors.append({ timestamp: timestamp, service: service, message: message }) # 步骤3输出结果 print(f共找到 {len(errors)} 条错误日志) for i, err in enumerate(errors, 1): print(f\n错误 #{i}:) print(f 时间: {err[timestamp]}) print(f 服务: {err[service]}) print(f 信息: {err[message]}) # 输出 # 共找到 2 条错误日志 # # 错误 #1: # 时间: 2024-05-20 10:00:02,345 # 服务: DatabaseService # 信息: Connection timeout to mysql://prod-db:3306. Retrying... # # 错误 #2: # 时间: 2024-05-20 10:00:05,678 # 服务: PaymentService # 信息: Failed to charge user bob for order #1001. Reason: Insufficient funds.这个实战案例的关键点模式设计我们使用了^和$并配合re.MULTILINE来确保模式精确匹配每一行。分组捕获用()精确捕获了我们需要的三个部分时间戳、服务名、错误信息。非贪婪匹配在捕获错误信息(.?)时使用了非贪婪量词?虽然这里因为$的存在贪婪匹配.也能工作但使用非贪婪是更严谨的习惯防止模式扩展时出问题。编译与标志我们编译了正则表达式对象并组合使用了re.MULTILINE和re.VERBOSE标志使代码更高效、更易读。结构化输出将提取的数据存入字典列表便于后续处理如写入数据库、生成报告等。8. 调试与优化让正则表达式更可靠写正则表达式就像写代码也需要调试和优化。以下是一些实用技巧1. 使用在线工具辅助构建和调试在编写复杂正则时不要硬猜。利用像regex101.com或regexr.com这样的在线工具。它们可以高亮显示匹配部分、解释每个元字符的含义、显示分组信息并且支持多种编程语言包括Python的语法。你可以把样例文本贴进去实时调整模式看到匹配结果极大提升效率。2. 从简单到复杂逐步构建不要试图一口气写出完美的复杂正则。先写核心部分匹配最简单的案例然后逐步添加边界条件、处理异常情况。例如匹配邮箱地址先匹配xxxxxx.xxx再考虑用户名中的点号、域名中的多级子域等。3. 警惕“灾难性回溯”这是性能杀手。当模式中存在模糊的量词嵌套并且字符串不匹配时引擎可能会尝试所有可能的分支导致指数级的时间复杂度。坏例子(a)b去匹配aaaaaaaaaaaaaaaaaaaaac。引擎会尝试无数种a的组合方式最终超时。优化尽量避免嵌套的、模糊的量词。使用更精确的字符集和范围。对于上面的例子ab就足够了。4. 尽量具体避免过度使用.*.*虽然方便但它是“贪婪”且“模糊”的容易匹配到意想不到的内容也容易引发回溯。尽可能用更具体的模式代替它。例如匹配双引号内的内容用\[^\]*\匹配非双引号字符通常比\.*?\更高效、更不易出错。5. 在Python中利用re.DEBUG标志re.compile()时传入re.DEBUG标志可以打印出引擎将模式转换成的内部指令序列对于理解复杂模式和调试有一定帮助但输出比较底层。re.compile(r\d{3}-\d{4}, re.DEBUG)6. 编写单元测试为正则表达式编写测试用例覆盖正常情况、边界情况和应该不匹配的情况。这能确保你的模式在修改后依然正确。正则表达式是一门实践性极强的技能。最好的学习方法就是多写、多练、多调试。从简单的文本提取开始逐步挑战更复杂的解析任务。当你能够熟练地用它解决日常工作中的文本处理难题时你会发现自己多了一件无比趁手的利器。
