据Cloudflare称，超过 40% 的互联网流量被认为是由机器人驱动的，而恶意机器人占了这一份额的很大一部分。
在本文中，我们将深入探讨此问题的原因，以了解存在哪些类型的机器人流量类型以及可以使用哪些反欺诈工具来保护自己的广告平台（尤其是广告交易平台）。
什么是机器人流量？
Bot 是“机器人”的缩写——一种执行简单和重复性任务的程序。而且它比人类快得多（因为它是机器人，对吗？），因此使用机器人自动化可以实现很多好处（或坏处）。与任何技术一样，机器人的有用或有害取决于其背后的意图。
并非所有这些机器人流量都有恶意，但您如何分辨哪些是好是坏？
好机器人
好人是无私的英雄，他们无论如何都会帮助处于困境中的人。他们是公正的，所以别想贿赂他们。来自 Google、Yandex 或 Bing 等搜索引擎的机器人抓取工具可帮助您的网站内容被那些可能对其感兴趣的人注意到，这就是您获得流量的方式。
机器人还可以做很多其他很酷的事情，比如强制执行您的版权内容，甚至与您的网站访问者交谈！
坏机器人
这些冒充真人是为了实现特定目的——例如，模仿广告浏览和点击（通常被不道德的发布者用来从他们库存中产生的每次展示和点击中获得更多报酬）。
不良机器人还会主动从网站窃取信息、发布垃圾评论并耗尽广告商的按点击付费 (PPC)预算。
出于各种原因使用恶意机器人——它们可以是复杂营销策略的一部分，以获得竞争优势，或者像获取个人银行信息一样简单。
流量机器人如何工作？
机器人本质上是一种算法，旨在处理特定的动作序列。它可以使用预定义的规则运行，利用机器学习 (ML)和人工智能 (AI)或将它们结合起来。机器人的算法越复杂，就需要越先进的保护手段来对付它们。
研究表明，一个网站可能会暴露于每小时多达 120,000 次的爬虫程序流量（这个数字高得惊人，具体取决于网站每月的总访问次数）。但这应该让您了解在短短一个月内可以获得多少机器人流量。
知道几乎一半的网站访问是机器人流量，想想有多少服务器资源被浪费了，这对发布者的网站性能有多大的负面影响。
即使机器人流量攻击没有达到预期目标，它仍然会耗尽服务器，以至于实际访问者无法访问该网站。
所以，这实际上是关于保持在线形象，这是保持出版商一方讨价还价的关键因素。
如何识别机器人流量
一些机器人流量可能相对无害（即扰乱您的网站统计数据），而其他机器人流量会对您的业务造成实际损害。理想情况下，您希望能够处理前面提到的所有问题。
出版商可以使用以下内容来识别其网站上的机器人流量：
- 异常低的页面加载速度。这表明服务器正忙于执行机器人流量生成的 HTTPS 请求，这会影响网站性能。网站通常应该能够承受突然的峰值（假设托管服务提供商足够可靠），因此少量的机器人流量不会产生很大的影响。但是，大量的第 7 层 DDoS 攻击可能会使整个网站瘫痪。
- 高跳出率和每次会话的页面。一些机器人可以被编程为点击一个页面并立即离开，而其他机器人可以爬过整个网站。第一个会产生异常高的跳出率，而后者会导致每个会话的页面增加。
- 网站流量来自意想不到的地点。除非应用某些位置限制，否则无法控制网站访问者的来源。然而，突然从意想不到的地点涌入的访问者可能清楚地表明网站正受到机器人流量攻击。
- 网站内容被抄袭。未经许可出现在陌生网站上的重复内容可能是抓取机器人流量活动的结果。
在程序化广告中对抗机器人流量的挑战
恶意机器人正在变得非常擅长他们所做的事情。然而，程序化广告中存在广告欺诈的主要原因是通过扰乱媒体交易流程来获取经济利益。
这可以通过多种方式完成：
印象欺诈
在以每千次展示成本 (CPM)为基础进行媒体购买时，展示次数是关键指标。然而，很难说有效印象是否发生了。
有时，发布商可以故意让他们的广告出现在低流量网站上以产生过多的展示次数，从而获得额外费用。印象欺诈的主要问题是它很难被发现。
点击欺诈
这可以说是大多数广告商至少遇到过一次的最常见威胁之一。据Pixalate统计，点击欺诈位居 2017 年广告欺诈榜首。
几年后，广告技术生态系统学会了如何处理此类欺诈（多亏了 IAB 开发的卖家和授权标准以及新的点击欺诈扫描技术）。
转换欺诈
就在线广告而言，转化是大多数广告商想要的。每次操作成本 (CPA)模型允许根据用户在网站上的有价值操作进行媒体交易。
CPA 模型的成本往往比 CPM 和 CPC 略高，使垃圾转化更具破坏性。不诚实的出版商可以为此目的利用机器人流量，因为训练机器人在网站上采取特定行动相对简单。
如何对抗机器人流量？
区分简单和高级机器人流量很重要，因为处理它们可能需要不同的策略。
对抗简单的机器人流量非常简单，因此每个发布商都应该了解这些基本规则以保护他们的库存。这些卖家和库存授权标准由互动广告局 (IAB)制定。如今，它们属于您可以在广告平台中实施的最可行的机制。
下面是每个数字出版商都应该了解的IAB 标准的名称和描述：
广告.txt
该标准是一种常见但有效的打击库存套利和域欺骗的方法。此文件包含一份经批准的经销商列表，使欺诈者难以操纵广告印象和网站 URL，以使用机器人流量进行未经授权的有限库存转售。
应用广告.txt
这个标准类似于ads.txt——唯一的区别是这个标准保护移动生态系统免受机器人流量的影响。
卖家.json
就ads.txt和app-ads.txt 的任务是保护发布商而言，seller.json 的目标是保护供应商免受机器人流量的侵害。Seller.json包含授权发布者列表，无需直接联系每个发布者。
总而言之，使用这三个 IAB 标准是为供应链生态系统带来透明度的可靠方法。广告交易所有者应将它们整合到他们的广告交易中，因为它将为参与媒体交易的每一方提供额外的安全级别。
如果流量是您业务的基础，而您的广告交易平台的参与者依赖于付费流量，那么额外保护您的生态系统以使其保持健康和盈利就很重要。
哪些扫描仪可以保护您的广告交易平台？
广告技术行业处理非常具体的欺诈类型：点击机器人、域欺骗和安装劫持（仅举几例）。广告欺诈在不断演变，主要专业不是网络安全的企业无法跟上欺诈者的步伐。
出于这个原因，广告技术平台与流量安全提供商合作成为一种普遍做法，因为他们的工具和反欺诈机制是最敏捷和更新的。
这些安全提供商中有许多都提供专门的扫描仪，可以集成到广告交易平台和任何其他类型的广告平台中。激活后，此类扫描仪将在印象发生或出价发生之前自动防止欺诈性流量。其他在投标后工作的扫描仪专注于发现欺诈源的来源。
让我们以SmartHub（白标广告交换）为例，回顾一下最受欢迎的广告交换扫描仪的候选名单。借助 SmartHub 的预建平台，您可以创建自己的自有品牌广告交易平台并集成最具优势的反欺诈扫描仪，如下所示：
媒体信托 (TMT)
该工具主要可用于验证广告创意。TMT 有一个数据库，其中包含批准用于广告交易的广告列表，因此它禁止出现潜在的恶意横幅和原生创意。
TMT 是 SmartHub 上的附加选项，其集成可以在广告交换部署阶段协商。在您的仪表板上可以访问它后，您可以在方便时配置 API 和每日扫描限制。
法医扫描仪
只要满足质量流量要求，此工具就可以进行广告展示。具体来说，Forensiq 扫描仪会检查欺诈分数等级，以检查广告是否符合展示条件，或者它是否是机器人流量攻击的另一种表现形式。
您可以在 SmartHub 仪表板的扫描仪部分访问 Forensiq。设置非常简单——只需确保定义每天的扫描次数，Forensiq 扫描系统将完成剩下的工作。
受保护媒体
Protect Media 是著名的耗材扫描工具（默认情况下在 SmartHub 上可用），其核心是 AI 和 ML。它提供实时购买 (RTB)功能来检测广告拍卖前后的机器人流量。
您还可以获得所有参与拍卖的广告的详细统计数据，因此您可以通过查看流量来源来检查它们的可信度。该工具非常适合检测视频、图像和 CTV 机器人流量欺诈。
像素化
Pixalate 是另一种高级扫描仪，您可以在 SmartHub 等广告交易平台中找到它。它看起来很像受保护的媒体，但它还可以检测 OTT 和应用内机器人流量欺诈。设置 Pixalate 时，您可以选择是否应用 macroses 或 IMG 像素作为您的监控方法。
正如我们之前提到的，通过观察您网站上机器人活动的确定迹象来检测机器人流量的主要问题是它发生得太晚了。Pixalate 通过在最早阶段检测任何可能的威胁来自动检测欺诈。
地理边缘
GeoEdge 有助于打击包含重定向链接的广告。当您的广告交易平台中的 SSP 获得响应时，GeoEdge 会自动将这些响应包装在<header>和<footer>标签中。
配置 GedEdge 后，您将开始收到有关重定向广告的警报通知，并且机器人流量将立即被阻止——无需进行任何编码。该扫描仪将自动与您的广告交易平台合作，非常方便。
机器人
Botman 的一个好处是它可以识别和阻止一般无效流量 (GIVT)和复杂无效流量 (SIVT)机器人流量。GIVT 由网络爬虫组成，虽然通常无害，但可能会对您的统计数据构成危险。SIVT 是欺诈性的机器人流量。
幸运的是，Botman 也能处理这个问题。在 SmartHub 仪表板中，很容易设置 Botman 出价前集成，因为所有扫描仪都可以在扫描仪部分轻松配置。
人类安全
该工具的扫描功能旨在检测和阻止机器人流量，包括单个机器人和整个僵尸网络。它会在这些不良行为者中的任何一个参与 RTB 拍卖之前就这样做了。HumanSecurity 支持的环境包括桌面、移动和 CTV。
把它包起来
一些机器人相对容易检测和阻止。同时，高级机器人擅长模仿优质流量，需要更高级的策略和反欺诈技术，例如专业的扫描仪。
如果您计划创建一个设计安全的广告市场，SmartHub 可能是正确的选择。像 SmartHub 这样的白标广告交易平台是高度可配置的，因此您可以集成扫描器并实施 IAB 授权标准，以始终验证您生态系统中的库存和卖家。