抓取手机

# Web 开发# API# Dev Challenge

我建造了什么

我开发了一个脚本来从 Carphone 仓库中提取手机计划，我获取了手机、其颜色和可用容量等数据，我将这些数据存储在 s3 中并使用我的 Laravel 项目显示它。

我使用 Bright Data 的浏览器来避免任何阻止，因为电信网站通常会在一定时间后阻止。

为了提取数据，我必须通过单击来打开下一页结果，与页面交互，我发现Bright Data 的速度和稳定性非常好。

演示

查看演示

Home pageMobile plans

如何使用 Bright Data

我使用了 Bright Data 抓取浏览器工具，它非常有助于让我的代码变得轻量，因为我在 docker 中打包了脚本，所以我不必包含我自己的浏览器，此外，我很高兴知道我有内置的验证码处理和代理。

我遇到了一个挑战，即每个会话只能导航一次。我通过为每个页面导航请求一个新会话来解决这个问题。虽然解决方案很简单，但它确实需要对代码进行一些重组。

微粒体/ BrandComplianceMVP

品牌合规应用程序

BrightData 挑战 - 月度电话套餐聚合器

该项目是 BrightData Web Scraper Challenge 的一部分，旨在汇总 Carphone Warehouse 的月度电话套餐，包括 Vodafone 和 ID Mobile 的套餐。目标是高效地抓取详细数据并以用户友好的格式呈现

🚀 挑战提示

Use a Web Scraper API to tackle common business challenges like aggregating product prices, monitoring competitors, or collecting reviews across platforms. Use Bright Data’s Web Scraper API for efficient and scalable data collection

🌟 项目概述

客观的

Scrape and aggregate Carphone Warehouse's monthly phone plans.
Collect details such as:
    Phone models
    Storage capacities
    Available colors
    Associated monthly plans

解决方案亮点

Scrape the entire selection of phones and plans available on Carphone Warehouse.
Schedule scraping jobs to run daily or weekly to save costs and keep data fresh.
Use Bright Data’s browser-based scraper to bypass blocking mechanisms.

🛠️ 使用的技术…

在 GitHub 上查看

概括

我感谢 Bright Data 激励我最终探索 Bright Data，这是一种乐趣，我希望在不久的将来继续使用它！

DEV 挑战现已开始！

DEV Challenges Hub

查看所有参与方式、证明您的技能并赢取奖品。

访问挑战中心