科技新闻 抓取工具

# Web 开发# API# Dev Challenge

我建造了什么

该项目从提供最新技术新闻和更新的网站上抓取数据。它使用 JavaScript 和 Node.js，以及 Puppeteer 和 Bright Data Scraping Browser 来处理动态内容。它从两个主要网站抓取数据：

  • 人工智能新闻
  • 黑客新闻

    • 演示

    您可以在 GitHub 上查看该项目的源代码和运行说明。

    Articles display webpage

    如何使用 Bright Data

    我利用 Bright Data 的 Scraping Browser 来处理需要动态内容加载的 JavaScript 密集型和交互式网站。该项目抓取实时数据，包括标题、描述、URL、图像和发布日期。Bright Data 的浏览器提供了一种流畅的解决方案，可以维护抓取过程而无需额外开销。

    **挑战提示：** Bright Data Web Scraping Challenge

    安装

  • 克隆存储库
    • git clone https://github.com/chethanyadav456/Scraping_Master.git
  • 安装依赖项
    • npm install
  • 运行项目
    • node master.js
  • 创建一个 .env 文件并添加：
    • MONGO_URI=
BROWSER_WS=

    执照

    该项目采用 MIT 许可证 - 有关详细信息，请参阅 LICENSE 文件

    DEV 挑战现已开始！

    DEV Challenges Hub

    查看所有参与方式、证明您的技能并赢取奖品。

    访问挑战中心