如何高效处理重复的关联数组数据？

2024-03-31 23:47:16

如何处理重复的关联数组数据

简介

在处理数据时，我们经常会遇到重复的数据，这可能会给我们带来麻烦。本文将介绍一个处理重复关联数组数据的有效方法，并使用 Laravel 和 Goutte 库提供一个示例代码。

步骤一：创建关联数组

首先，创建一个包含重复数据的关联数组。关联数组中的键通常表示唯一标识符，而值包含相关数据。

$allOrders = [
    1 => [
        "order" => "PEDIDO#20002",
        "order_name" => "",
        "post_url" => "",
        "anchor_text" => "",
        "url" => "",
        "type_link" => ""
    ],
];

步骤二：逐个处理 URL

接下来，逐个遍历关联数组中的 URL，并为每个 URL 执行以下步骤：

创建一个新的 Goutte 客户端
发送一个 GET 请求以获取 URL 的内容
过滤响应中所有链接 ( 元素)

步骤三：比较锚文本

对于每个链接，将锚文本与从关联数组中检索的锚文本进行比较。如果匹配，则将以下数据添加到关联数组中：

订单号
文章名称
URL
锚文本
链接类型
链接文本（通过网页抓取获得）
链接关系（通过网页抓取获得）

步骤四：存储结果

将匹配的链接数据存储在关联数组 $result_ok 中，将不匹配的链接数据存储在关联数组 $result_ko 中。

示例代码

for($i=1; $i<count($allOrders); $i++){
    $this->url = $allOrders[$i]["post_url"];
    $this->anchor_text = $allOrders[$i]["anchor_text"];
    $this->order = $allOrders[$i]["order"];
    $this->order_name = $allOrders[$i]["order_name"];
    $this->type_link = $allOrders[$i]["type_link"];

    if(isset($allOrders[$i]["post_url"])){
        $client = new Client();
        try{
            $website = $client->request('GET', $this->url);
            $website->filter('a')->each(function ($node) {
                if($node->text() === $this->anchor_text){
                    $data = [
                        'pedido' => $this->order,
                        'articulo'  => $this->order_name,
                        'url' => $this->url,
                        'anchor_text' => $this->anchor_text,
                        'tipo'  => $this->type_link,
                        // scraping web result
                        'result_test' => $node->text(),
                        'link_rel'  => $node->attr('rel'),
                    ];
                        
                    array_push($this->result_ok, $data);
                }else{
                    $data = [
                        'pedido' => $this->order,
                        'articulo'  => $this->order_name,
                        'url' => $this->url,
                        'anchor_text' => $this->anchor_text,
                        'tipo'  => $this->type_link,
                        // scraping web result
                        'result_test' => $node->text(),
                        'link_rel'  => $node->attr('rel'),
                    ];
                        
                    array_push($this->result_ko, $data);
                }
            });
                
        }catch(\Exception $e){
            echo $e->getMessage();
        }
    }
}