ScrapFly 回顾：数据收集 API 提供商分析

Scrapfly：一般信息

ScrapFly 专门为开发人员提供数据收集 API。其背后的公司是 Joam Intelligence, LLC，一家位于特拉华州米德尔敦的美国企业。

在 LinkedIn 上，该公司员工人数在 11-50 人之间，总部正式注册在法国巴黎，成立于 2021 年。这表明，ScrapFly 是一家规模较小、相对年轻且不断发展壮大的企业。

尽管公司规模庞大，但它仍设法通过一套三种不同的数据收集应用程序接口实现了产品多样化，而大多数竞争对手通常只专注于单一产品。

公司制定了严格的 KYC 程序，防止技术被滥用，使负责任地使用技术成为公司的核心价值观。

👍 优点：

• 与数据中心和住宅代理的内置集成
• 提供多种数据采集 API 产品
• 涵盖广泛的使用案例
• 严格的 KYC 道德使用程序
• 可免费试用
• 广泛的集成指南、教程和学习学院
• 文档齐全的应用程序接口
• 用于测试请求的可视化 API 游戏场

👎 Cons：

• 不支持移动代理
• 有限退款政策
• 没有完全灵活的现收现付计划

数据采集 API：产品和功能

在本节中，您将了解提供商提供的不同数据收集 API 及其功能。

网络抓取 API

网络抓取 API，可从大多数网页（包括受高级反抓取措施保护的网页）中抓取原始 HTML 代码。

特点

• 可扩展的搜索：通过久经考验的 API，实现较高的刮擦成功率，该 API 可根据您的需求轻松扩展。
• 自定义请求的任何部分：全面控制请求组件，包括标题、cookie、数据有效载荷，甚至操作系统。
• 自动绕过搜索器拦截：避开反僵尸挑战和基于 JavaScript 的障碍，实现不间断刮擦。
• 自动代理轮换：来自 120 多个国家的 1.3 亿多个代理服务器，这些代理服务器来自庞大的住宅或数据中心代理服务器池。
• 持久代理服务器会话：为住宅和数据中心代理服务器维护持久会话，确保不间断的数据搜刮。
• 支持真实网络浏览器：抓取 JavaScript 驱动的网站，使用可配置指纹的真实网络浏览器自动加载所有元素。
• 发送浏览器命令：执行实时浏览器命令，实现与动态网页内容的交互，如填写表格、点击按钮和滚动。
• 访问浏览器数据：直接捕获浏览器的后台请求、隐藏数据和延迟元素，以进行更全面的搜索。
• 在浏览器和非浏览器请求之间切换会话：在浏览器和非浏览器会话之间无缝切换，实现灵活的刮擦设置。

人工智能网络抓取应用程序接口

该应用程序接口使用人工智能模型，通过 LLM 提示自动进行网络搜索。

特点

• 自动识别数据对象：提取产品、评论和文章等常见数据对象，无需额外输入。
• 利用强大的模式提供可预测的输出：根据强大的模式模型提供结构化输出，确保每次刮擦调用都能获得一致、可靠的结果。
• 支持任何 LLM 提示，以查询刮擦数据：利用针对刮擦优化的 LLM 引擎，允许对刮擦数据进行自由格式查询。
• 提示准确的数据结构和格式：要求特定的输出格式，如 Markdown、JSON、CSV 或任何其他适合其需求的结构。
• 相同的网络抓取 API 浏览器相关功能

提取应用程序接口

该应用程序接口利用人工智能的力量，自动从任何文档中提取数据。

特点

• 利用 LLM 提示了解数据：使用 LLM 提示询问自由格式问题或发出特定命令，提供灵活直观的数据查询。
• 使用 LLM 提取结构化数据：利用 LLM 从任何文档中提取干净的结构化数据（如 JSON 或 CSV）。
• 支持几乎所有数据格式：支持多种格式，包括 HTML、PDF、JSON、CSV 等。
• 自动提取对象：使用可预测的模式格式，以人工智能驱动的精准度自动提取产品和评论等结构化数据。
• 质量自我报告：每次提取都包括一份关于所提取数据的覆盖范围和质量的报告。
• 定义自己的提取规则：通过使用 XPath/CSS 选择器和内置处理器创建模板，自定义提取流程，确保准确提取所需内容。模板允许进行微调，以满足特定的数据提取需求。

截图 API

用于无中断地捕获高质量网页截图的应用程序接口。该解决方案使用真实浏览器，以确保准确渲染。

特点

• 截取干净的屏幕截图阻止广告、cookie 弹出窗口和其他页面干扰，确保截图干净准确。
• 锁定整个页面或特定区域捕捉整个网页或特定区域，实现更精确的控制。
• 更改视口分辨率：调整视口分辨率，以适应设备要求或目标显示设置。
• 控制截图流程管理整个截图流程，从等待元素加载到滚动和执行 JavaScript。
• 使用服务器端缓存加速：在 ScrapFly 服务器上缓存截取的屏幕截图，以便更轻松地与实时工具集成。
• 导出为不同的截图格式以 JPG、PNG、WebP 或 GIF 等格式导出屏幕截图。
• 与 Web Scraping API 相同的反僵尸绕过功能

定价

ScrapFly 采用基于信用的系统。每个计划都为您提供一些信用点数，然后您可以使用这些信用点数购买任何数据收集 API 产品。

以下是可用定价计划汇总表：

请注意，订购计划后，您每月会收到一个预付的 API 点数配额。配额用完后，就会转为现收现付模式，根据定价表中的 “额外 API “列收取额外使用费。

为了更好地了解 API 信用点的使用情况，请考虑一下使用数据中心代理而不使用 JavaScript 渲染的基本刮擦请求需要花费1 个信用点。而使用住宅代理和浏览器呈现的请求则需要30 个信用点。

以下是 Web Scraping API 产品积分分配的详细情况：

总体而言，ScrapFly 的定价很有竞争力，符合数据收集 API 解决方案的行业标准。所有新注册用户均可免费试用，并可获得 1,000 个免费 API 点数。

主要缺点是缺乏真正灵活的即用即付选项，与订阅计划无关。此外，虽然 30 美元/月的入门价格低于许多竞争对手，但对于只需要不到 20 万信用点数的个人开发者来说可能还是太高了。

特点

这些是 ScrapFly 提供的所有刮削 API 的共同功能：

• 99.99% 正常运行时间
• 支持使用 Zapier、Make 和 N8N 等无代码平台实现工作流程自动化
• 支持使用 LlamaIndex 和 LangChain 构建 LLM 和 RAG 应用程序
• 官方 Python SDK、TypeScript SDK 和 Scrapy SDK
• 专用的 Web UI 平台，用于实时配置、控制和监控所有 ScrapFly 项目

使用案例

这些都是数据收集 API 提供商正式支持的用例：

• 人工智能训练：收集最新的图片、视频和用户生成的内容，用于人工智能模型训练。
• 合规性和安全性：搜索在线情况，验证合规性和安全措施。
• 电子商务：提取产品详细信息、评论和定价，提高品牌知名度。
• 金融服务：收集股市、航运和金融数据，改进数据集。
• 欺诈检测：监控产品列表，检测欺诈和伪造活动。
• 工作数据：抓取职位列表、薪资数据和公司评论，深入了解就业市场。
• 潜在客户生成：提取在线资料和详细联系方式，改进潜在客户生成策略。
• 物流：收集运输、跟踪和集装箱价格数据，优化交付。
• 新闻和媒体：抓取最新文章、头条新闻和媒体内容，随时了解最新信息。
• 房地产：收集房产列表、代理详情和销售历史，以便做出更好的决策。
• SERP 和搜索引擎优化：抓取搜索引擎结果、关键词和排名，完善搜索引擎优化策略。
• 社交媒体：提取个人资料、帖子和评论，提升在线影响力和潜在客户生成。
• 旅游和酒店业：抓取酒店列表、评论和价格，以改进旅游和预订服务。

特别是，支持网络搜刮的网站列表包括 Aliexpress、Amazon、BestBuy、Bing、Booking、Crunchbase、Domain.com.au、eBay、Etsy、Fashionphile、Glassdoor、Goat、Google、Homegate、Idealista、Immobilienscout24、Immoscout24、Immowelt、Indeed、Instagram、Leboncoin、Nordstrom、Realestate、Realtor、Reddit、Redfin、Rightmove、Seloger、Similarweb、StockX、Threads、TikTok、TripAdvisor、Trustpilot、Twitter (X)、Vestiaire Collective、G2、沃尔玛、Wellfound、LinkedIn、YellowPages、Yelp、YouTube、Zillow、ZoomInfo 和 Zoopla。

用户评论

ScrapFly 的官方网站声称，该公司受到 30,000 多名开发人员的信任。虽然这个数字很难核实，但衡量一家公司服务质量的更可靠方法是查看在线评论。

这个行业有时就是这样，ScrapFly 似乎把评论工作集中在一个平台上。这肯定是 G2 和 Trustpilot 没有评论的原因。相反，Capterra 列出了 138 条评论，平均评分高达 4.9/5，令人印象深刻。

绝大多数评论都是五星级的，这表明用户满意度非常高。唯一值得注意的批评是，反抓取引擎在处理某些受 Cloudflare 保护的网页时似乎存在一些问题。

道德与隐私

ScrapFly 在通过 API 进行数据处理和处理用户数据时均遵守 GDPR 法规。但是，没有提及 CCPA 合规性。

为了以负责任和合乎道德的方式使用其数据收集 API，所有用户都必须通过全面的 KYC（了解您的客户）流程。这一验证步骤有助于限制对符合市场道德规范的授权业务案例的访问。

在注册过程中，用户需要提供详细信息并验证电话号码。这一过程可有效防止大多数机器人和恶意行为者访问数据收集产品。

此外，ScrapFly 的服务条款还包括一份严格的违禁使用情况列表，以确保合法、合乎道德地使用该平台。用户还必须确认他们已获得必要的权限，才能对目标网站或其他数据源进行搜刮。

不那么光明的一面是，订阅费和额外使用费一般不予退还。退款选择有限：

• 如果订购的 API 点数使用不足 10%。
• 在遗忘运行订阅的情况下。

其他工具和服务

ScrapFly 是一家专注于提供数据收集 API 的公司，除了网络搜刮工具外，没有其他产品或服务。

不过，它还是提供了一系列辅助网络搜索的实用工具，包括

• Base64 编码器/解码器：将文本或文件转换为 Base64 格式或从 Base64 格式转换为文本或文件。
• URL Prettier：将 URL 解析为结构化、易读的格式。
• URL 编码器/解码器：编码或解码 URL，以实现网络兼容性。
• XPath 和 CSS 选择器测试器：测试并改进 XPath 和 CSS 选择器，以便进行网络搜刮。
• cURL 至 Python 转换器：将 cURL 命令转换为等效的 Python 代码。
• 指纹测试工具：测试 JA3、HTTP/2、IP 信息、画布、WebGL、音频、屏幕和浏览器指纹的专用页面。

最终结论

ScrapFly 是一家数据收集 API 提供商，致力于提供可靠、值得信赖的服务，并通过严格的 KYC 程序提供支持。该公司显然对自己的业务充满热情，因为其开发团队为多个在线开源库做出了贡献。

该公司通过其学院、博客文章、文档和 GitHub 页面提供了丰富的资源。它提供的数据收集 API 种类繁多，涵盖了从传统的刮擦任务到更高级的人工智能集成等各种用户需求。

其中一个突出的元素是 Extract API，它允许从文档而不仅仅是从网页中抓取数据。这使得ScrapFly有别于市场上的其他供应商。用户的在线评论并不多，但都非常正面。

其主要缺点是没有灵活的现收现付计划，退款政策也存在一些问题。

总之，ScrapFly 是一家出色的数据收集提供商，价格合理、注重道德并支持开源项目。它提供的各种产品涵盖了大多数用户需求，是开发人员的可靠选择。

最终结论：3.9/5

常见问题