从不同文件中比较两列并打印第二文件输出：Bash 解决方案

使用 Bash 从不同文件中比较两列并打印第二文件输出

简介

在数据处理中，经常需要比较不同文件中两列并从第二文件中打印输出。本文将向您展示如何使用 Bash 轻松地完成这项任务。

使用 awk 读入文件

首先，使用 awk 读入两个文件，将它们存储在两个数组中。awk 是一种文本处理语言，非常适合此类任务。

awk -F, 'NR>1 {a[$1]=$2}' file1.csv > file1.txt
awk -F, 'NR>1 {b[$1]=$2","$3}' file2.csv > file2.txt

在上面命令中：

• -F, 选项将逗号指定为字段分隔符。
• NR>1 选项跳过文件中的第一行，因为它是标题行。
• a[$1]=$2 将第一个文件中的第一列的值存储在数组 a 中，第二列的值存储在数组 b 中。
• b[$1]=$2","$3 将第二个文件中的第一列的值存储在数组 b 中，第二列和第三列的值附加为一个字符串。

使用 join 连接数组

现在，使用 join 命令将两个数组连接起来，匹配第一列。

join file1.txt file2.txt > joined.txt

join 命令将两个文件中的相同行合并到一个输出文件中。

打印输出

最后，使用 awk 打印连接后的数组。

awk -F, '{print $1","$2","$3","$4}' joined.txt

在上面命令中：

• -F, 选项将逗号指定为字段分隔符。
• print $1","$2","$3","$4 打印连接后的数组中的四个字段。

结论

通过遵循这些步骤，您可以轻松地从不同文件中比较两列并打印第二文件中的输出。此方法适用于广泛的数据处理任务，例如合并数据、查找重复项和提取特定信息。

常见问题解答

1. 我可以使用不同的分隔符吗？

是的，您可以使用 -t 选项指定不同的分隔符到 awk 命令中。例如，要使用制表符，可以使用 -t \t。

2. 我可以连接不同的字段吗？

是的，您可以通过调整 print 语句中的字段号来连接不同的字段。例如，要打印第一个文件中的第二列和第二个文件中的第三列，可以使用 print $2","$3。

3. 如何跳过标题行？

可以使用 NR>1 选项跳过文件中的标题行。例如，要跳过两个文件中的标题行，可以使用以下命令：

awk -F, 'NR>1 {a[$1]=$2}' file1.csv > file1.txt
awk -F, 'NR>1 {b[$1]=$2","$3}' file2.csv > file2.txt

4. 如何处理缺失值？

您可以使用 if 语句处理缺失值。例如，要替换第一个文件中的缺失值以 "NA"，可以使用以下命令：

awk -F, '{if ($2=="") $2="NA"; a[$1]=$2}' file1.csv > file1.txt

5. 我可以在循环中使用此方法吗？

是的，您可以通过使用 while 或 for 循环将此方法应用于多个文件。例如，以下命令将从目录中的所有 csv 文件中打印数据：

for file in *.csv; do
  awk -F, 'NR>1 {a[$1]=$2}' "$file" > "${file}.txt"
done