为什么代理是自动化和数字经济的关键

API 调用在现代经济中无处不在

大多数在线服务都有应用程序编程接口（或 API），允许外部客户和设备以最有效的方式访问数据——通常是 JSON 响应。

这意味着你可以向 Facebook 或你最喜欢的航空公司网站发送轻量级请求，并从平台获取精确数据。

例如，航空公司可以发送机票价格更新，而 Facebook 可以向你发送带有特定主题标签的新发布。

如果你选择在线购买任何东西，商家将向你的银行或信用卡公司发送 API 请求以处理付款。银行的 API 将在购买成功后发送轻量级响应。如你所见，API 调用是普遍可用的，并为无数新业务创造了环境。

数据收集和数据商家——人人都在做

尽管大多数人是通过 Facebook 丑闻和其他隐私危机了解到数据收集的，但数字企业并不总是追求私人数据。随着越来越多的政府采用开放数据政策，可供使用的有价值数据绰绰有余。

就目前而言，无数企业是在其所有者分析了公共数据之后成立的。很明显，公开可用的数据足以找到无人迎合的细分市场。例如，如果你分析了 Google 地图中有关咖啡店位置的数据并找到了一个附近没有其他咖啡店的好地方，你就可以开一家实体咖啡店。

手动执行此操作是一项艰巨的任务，尤其是如果你想将咖啡店的集中度与有关该地区居民数量及其大致消费习惯的公开数据进行比较时。

人们不是点击成千上万的页面并记下每个数据点，而是使用数据收集脚本或网络爬虫，它们连接到一个页面（或者，在某些情况下，一个 API）并收集这些数据点。

这就是在线业务如此受数据驱动和高效的原因——一位老派的数据分析师一个月的工作量，一个软件脚本仅需要几分钟的时间。目前，数十亿台设备正在在线收集各种数据点。

一些数据收集者从他们收集的数据中赚取了一笔独家收益。各种营销工具就是一个很好的例子——它们收集、汇总并向其他公司提供数据。他们的搜索引擎优化 (SEO) 工具以其庞大的数据聚合功能而闻名。然而，收集所有这些数据很困难。

数字经济的意外瓶颈

API 调用和数据收集连接都使用互联网连接到另一台服务器并检索数据。不幸的是，随着这些连接数量的增加，服务器实现了一个至关重要的瓶颈，几十年来一直让在线世界免于崩溃。

连接限制 - 或 IP 地址屏蔽 - 是基本的服务器保护功能，管理员用它来保护他们的网站。任何给定的服务器都有其局限性，如果你尝试每秒连接一百万次，它就会过载并崩溃。

数十年来，黑客一直在使用批量连接请求，即所谓的拒绝服务 (DoS) 攻击。

这就是为什么任何服务器都会严格限制任何单个 IP 地址可以建立的连接数，以保护服务器免受滥用，并让任何服务不间断地运行。

DoS 保护带来了一个难题：如此多的工具和企业如何大规模连接到其他站点？如果任何工具会因为这样做而被阻止，它怎么能每分钟获取数千次数据？想一想，如果这个瓶颈没有解决方案，我们每天使用的大部分服务都会离线，或者像人一样缓慢地运作。

有些解决方案不能解决问题

所有需要避免 DoS 攻击保护的主要数字企业都必须使用一些变通办法。本质上，所有这些解决方法都会更改其设备的 IP 地址。由于 IP 地址是在线识别任何人的主要因素，因此你可以根据使用的 IP 地址数量来调整发送的连接请求数量。

可悲的是，如果你正在大规模地进行数据收集，为你的工作网络购买一台新计算机并将其用于数据收集脚本是不够的。同一网络上的每台计算机都将共享一个子网，该子网在其 IP 地址中可见。服务器还限制来自相同子网的连接，因为这是攻击者使用的下一级 DoS 攻击——分布式拒绝服务攻击（或 DDoS 攻击）。

那么无数机票公司、搜索引擎优化工具、广告验证公司和其他企业使用了什么解决方案？

让网络经济繁荣发展

我们已经讨论过更改 IP 地址是企业的救星，但除了获得新的互联网服务提供商 (ISP) 之外，重要的方法是使用具有自己 IP 地址的设备作为连接的中间人 。这些设备称为 Internet 代理，被大规模使用，以使 Internet 能够像今天一样运行。

一个强大的代理网络可能托管数百万个代理，这意味着他们的客户可以发送几乎无限的 API 调用或数据收集工作，并避免任何 DoS 或 DDoS 保护。由于这些企业无意破坏或扰乱它们所连接的服务，因此它们对数字经济没有真正的负面影响。

随着数字经济的发展，代理网络帮助各种企业的方式也在不断发展。

• 包括亚马逊在内的所有主要电子商务平台都在收集竞争对手平台上的数据，以提供最具吸引力的价格、产品介绍和库存。
• 数字营销机构每天都使用代理网络为其客户管理数千个社交媒体帐户。
• 整个 SEO 行业都依赖代理来收集搜索引擎结果数据并提供排名跟踪服务或汇总搜索查询建议。
• 国际企业使用其他国家的代理来获取新鲜、最准确和高质量的信息。

试想一下，如果没有真正的数据聚合工具，没有办法查看另一个国家的本地化信息，没有机票搜索引擎，没有真正的市场分析，也没有办法找出缺少什么产品，等等。今天的世界会是什么样子。对我们所有人来说，这肯定是一个更加黯淡的世界，而且数字经济只扮演次要角色。

这就是为什么你应该感谢你当地的代理提供商，感谢他们为促进和振兴我们的经济所做的工作。