如何从地址中清理邮政编码？使用 Spark regexp_extract 函数

2024-03-11 04:20:07

从地址中清理邮政编码：使用 Spark regexp_extract 函数

问题陈述

在数据处理中，经常需要从地址中提取邮政编码。然而，地址中可能包含额外的信息，例如公寓号或楼层号，这些信息会干扰邮政编码的提取。本文将指导您如何使用 Apache Spark 的 regexp_extract 函数从包含额外信息的地址中清理邮政编码。

解决方法：regexp_extract 函数

Apache Spark 提供的 regexp_extract 函数可以使用正则表达式从字符串中提取子字符串。要清理地址，我们可以使用以下正则表达式：

^([0-9 ]*[^(0-9| appartement | escalier )]*)([0-9]| appartement | escalier )?.*$

正则表达式详解：

^：字符串开头
([0-9 ]*[^(0-9| appartement | escalier )]*：捕获数字和空格，直到遇到数字、"appartement" 或 "escalier"
([0-9]| appartement | escalier )?：捕获可选的数字、"appartement" 或 "escalier"
.*: 匹配剩余的字符串，直到结尾

示例代码

以下示例代码演示如何使用 regexp_extract 函数从地址中清理邮政编码：

import org.apache.spark.sql.functions._

val df = spark.createDataFrame(
  Seq(
    ("1 rue de l'église"),
    ("2 rue de la poste appartement B"),
    ("3 4 rue de la mairie 2eme étage")
  )
).toDF("adresse_rue")

val cleanedAddresses = df.select(
  regexp_extract($"adresse_rue", "^([0-9 ]*[^(0-9| appartement | escalier )]*)([0-9]| appartement | escalier )?.*import org.apache.spark.sql.functions._

val df = spark.createDataFrame(
  Seq(
    ("1 rue de l'église"),
    ("2 rue de la poste appartement B"),
    ("3 4 rue de la mairie 2eme étage")
  )
).toDF("adresse_rue")

val cleanedAddresses = df.select(
  regexp_extract($"adresse_rue", "^([0-9 ]*[^(0-9| appartement | escalier )]*)([0-9]| appartement | escalier )?.*$", 0)
)

cleanedAddresses.show(false)
quot;, 0)
)

cleanedAddresses.show(false)

输出：

+--------------------+
|adresse_rue        |
+--------------------+
|1 rue de l'église   |
|2 rue de la poste   |
|3 4 rue de la mairie|
+--------------------+