作者 | AV-Comparatives
译者 | 谭开朗
责编 | 屠敏
出品 | CSDN（ID：CSDNNews）
以下为译文：
引言
2017年，国外知名的杀毒软件测试公司AV-Comparatives对Android杀毒应用进行了测试，该项测试的契机是：一款名为VirusShield的Android应用程序，声称可以扫描移动设备上的恶意软件，但事实并非如此。实际上，运行该应用程序只简单的显示了一个代表扫描进度的进度条，然后在“扫描”结束时宣布该设备没有恶意应用程序。令人担忧的是，这款应用程序已经在Google应用商店上架，并且有成千上万的用户为此付费（尽管最终Google把钱退回给他们了）。
去年的测试结果显示，一些应用程序不但不能保护设备免受恶意软件的攻击，甚至有的还启用了可疑的监测机制。由此发现，除了在白名单中的软件包，其他大多杀毒软件都潜在危害。鉴于用户界面可能是由几个模板生成的，这些杀毒应用的主要作用似乎就是给它们的开发人员轻松的创造收入—而非真正的在保护用户设备。
除了这些可疑的应用之外，我们还发现测试中近四成的Android AV应用对防范恶意软件是无效的。
为了帮助安Android用户区分真正有效与可疑无效的安卓杀毒软件，AV-Comparatives在2019的Android测试中，对Android杀毒应用的有效性又进行了一次测试。
测试对象
在这项测试中，我们从Google应用商店中搜索并下载了250款来自不同开发团队的防病毒安全软件。
以下的80款应用程序能检出超三成的恶意软件，且没有任何虚假警报：
不过还有138个品牌的杀毒软件能检出的安卓恶意软件样本不足30%，且对谷歌应用商店中受欢迎的清洁文件有较高的误报率。
我们认为以上这些应用程序是有风险的，即它们是无用的或不可靠的。它们中的一些是单纯的出bug了，比如使用了不太好的第三方引擎。另一些则能检出屈指可数的几个古老的安卓恶意软件样本，同时允许任何包含特定字符串的应用程序，以便通过一些快速的核查而被应用商店接受。
与此同时，以上应用程序中的某些也被几款知名的移动安全应用程序检测出是木马，可疑/虚假AV，或潜在的无用应用。希望在未来的时间里，谷歌能将它们从谷歌应用商店中下架（并期望谷歌加强对证书的核查力度，以避免这些应用上架）。我们也建议各品牌商家自觉下架应用，直到他们能提供真正有效的防护服务。
在过去的两个月时间里，以下32个品牌的防病毒应用程序已从谷歌应用商店中下架：
antisecurity.inc, AppLocker Cleaner Booster, AppsNewLook, AVC Security, Bastiv, Big Fun Free Apps, Birina Industries, Cooler Technologies, Document Viewer 2019, Erus IT, GearMedia, Himlamo, koala security studio, LA Antivirus Lab, Mobile Antivirus Lab, Mobile Tools, NCK Corp, Ocean Developers, PICOO Design, Protection & Security for Mobile Lab, Rivalab, Secure Performance Dev, Smart bapp, Taobao, Top Maxi Group, TrustPort, Vasa Pvt, Vasonomics, Vitekco, wallpaperdus, Weather Radar Forecast, and zeeworkers
以上大多数的应用或已提过的高风险应用，似乎都是由业余开发者或非专业的安全软件开发商开发的。非专业的安全软件开发商研发各式各样的应用，他们从事广告/货币化的业务，可能出于宣传的目的就希望有一款自己品牌的安卓防护应用。谷歌应用商店中业余开发者开发的应用，可通过查看作者信息识别出来。通常来说，业余爱好开发者不会提供网站地址，而只提供电子邮件地址（通常是Gmail，Yahoo等）。此外，这类应用大都不会提供任何隐私政策。谷歌试图从应用商店中清除所有缺乏隐私政策的应用，这有助于清理低质量的应用程序。当然，并非所有业余开发者开发的应用就都是无用的。
测试流程
测试系统介绍
我们通过对2018年最常见的2000种安卓恶意软件的防护效果来验证安卓安全应用程序的有效性。人为的手动测试250款杀毒软件对2000种病毒的防护效果是不切实际的。因此，该项测试是在自动化的安卓测试框架上进行的。
虽然测试过程是自动化的，但这框架可以模拟真实环境的情景。包括在物理安卓设备（与模拟机不同）上测试，以及模拟真实设备的使用模式。
这框架由两个组件组成：每台测试设备上的客户应用程序和服务器应用程序。客户应用程序监测设备的状态，并在一个测试案例结束时将结果发送至服务器以记录测试过程。客户应用程序检控文件和过程的变化、新安装的应用程序及其权限，并监控已安装的安全软件对设备上的恶意行为的反应。服务器应用程序通过Wi-Fi远程控制测试设备，并组织接收由客户应用程序发来的测试结果。
该系统能很好的测量已连接客户应用的数量。这就提供了能平行测试大量安全应用的条件。为确保所有待测应用的机会均等、能同步连接客户应用，我们在同一时间执行同一测试案例。这对于测试最新的恶意软件样本尤为重要，这些样本可能安全开发商也都没遇见过。
测试原理
该项测试开展的时间是2019年1月，主要采用三星Galaxy S9手机的安卓8.0系统（即‘Oreo’）。鉴于某些安全应用程序不能在安卓8.0系统下正常工作，取而代之采用了Nexus 5手机的安卓6.01操作系统（详情请见后文）。将每种安全应用程序都安装在各个单独的物理测试设备上。测试开始前，所有测试设备的测试床（安卓系统本身，待测的安卓应用程序，以及明确测试的第三方应用程序）更新至最新版本。然后，关闭自动更新以稳定测试系统的状态。接着，将待测的应用程序安装在特定的设备上并运行，在适用情况下更新至最新版本，同时恶意软件的定义也实现了完全更新。
如果安全应用鼓励用户执行某些特定的操作以确保设备安全，比如初始化扫描，则照做。如果应用程序提供激活附加的防护功能，如安装时扫描、云保护或检测潜在的无用应用（PUA），这些功能也会被激活。
一旦执行了这些步骤，就会给每个设备的存储创建干净的快照并开始测试。
每个测试案例由同一步骤生成：
1. 打开谷歌浏览器并下载恶意样本；
2．用file explorer打开下载的.apk文件；
3．安装恶意软件；
4．执行待测应用程序。
在完成上述的每个步骤过程中，安装好的待测应用程序都有足够的时间来分析恶意样本，并将设备上的恶意行为告知用户。
在测试案例执行的过程中，如果杀毒应用监测到并阻止了恶意样本，则认为 “检测到” 该样本并终止该测试案例。
在每个测试案例结束时，设备的状态也将会被重置。如果设备上的恶意样本没有执行，则将样本从设备内存中卸载或删除。如果恶意样本已经执行，则在执行下一测试案例时恢复干净的设备快照。
在评定每款应用的防护效果时，我们不考虑恶意样本是在哪个阶段被拦截的，即不区分下载、安装或执行过程。影响防护率的唯一因素是安全应用程序是否保护了设备免受恶意样本的伤害。
为了验证杀毒软件是否简单的将所有的应用程序视为恶意程序来“保护”系统，我们进行了基本的虚假警报测试。
测试用例
该项测试采用了2018年最常见的2000个安卓恶意软件。对真正有效的杀毒应用来说，对这些样本的检出率达到90%-100%是轻而易举的。
此次测试项目总计执行了50多万次的测试操作。
测试结果
上表显示了对样本的防护率超过30%的80款应用。对于安卓恶意样本的防护率低于30%的AV应用程序，则认为它们是为无效的/不安全的。
对2000款恶意安卓应用程序的检出率低于30%的杀毒软件并没有在上表体现出来。一是表格的篇幅有限，二是它们被认为是无效的/不安全的。
测试记录
有些应用程序使用其他开发商的引擎（参见以下示例）。同一开发商的引擎产品有的大体相同，但有的却未必。根据持证开发者的说法，这可能是由几个因素造成的，比如第三方应用程序使用了不同的内部设置，使用了旧的引擎或不同的辅助引擎，引擎的启用与报错。
由APUS Group,Asuizksidev, Bit Inception, CAP Lab, Clean Boost+ Studio, Fotoable, HyperSpeed, IOBit, LBE, ONE App, Phone Clean Apps, Power Tools Apps, Smooth AppsStudio Super Cleaner Studio, Super Security Studio，We Make It Appen 开发团队开发的应用使用了Antiy的OpenAVL扫描引擎。Max Dev Labs使用Tencent的扫描引擎。Hi Security使用 McAfee的扫描引擎。Brainiacs, BSafe Labs和MyMobile Security使用Ikarus的扫描引擎。AVG和PSafe使用Avast，因为AVG和Avast归属于同一家公司，它们移动应用程序的外观和感觉都非常相似：
Chili Security、Emsisoft、eScan、REVE、STOPzilla、Total Defense和VIPRE都使用Bitdefender公司开发的引擎。Chili Security、Emsisoft和Total Defense的应用程序与Bitdefender的手机产品基本相同。参见下面的截图：
MalwareFox, MyData, Watchdog Development使用了Zemana的扫描引擎。他们的应用界面看起来也非常相似。
在测试过程中，我们发现许多应用程序似乎是由同一个事物演变而来的、有密切联系的关联体，或是使用了同一个的“AV应用程序模板”。某些情况下，它们的区别只是名称、商标和配色的不同。如下：
Best HD Wallpapers APPS, Booster studio和Media Master MD
Asuizksidev, Bit Inception, Brainiacs，My Android Antivirus，Pro Tool Apps，Set Max和We Make It Appen
Amigos Key，Bulletproof AV, Cloud 7 Services,Main Source 365, Mobile Tools Plus和ShieldApps
Big Fun Free Apps和Xtechnoz Apps
Amantechnoapps、fluer-apps、Kolony Cleaner、NCN-NetConsulting和Vainfotech
AZ Super Tools和DreamBig Studios
危险的安全应用程序
正如上面在测试对象部分提到的，一些应用程序因有风险而不能在结果列表中体现出来。而它们中的一半又是因为对恶意软件的检出率太低而被排除在外。另一半虽在测试中检出了很多恶意样本，但仍被认为是有风险的；我们将在下一部分对此结论作出阐述。
在打开这些应用程序的文件包时，我们可以在“assets”子文件夹中找到名为“whiteList .json”的可疑文本文件。下图显示了这类文件的部分内容：
{ "data": [ { "packageName": "com.google.android.*" }, { "packageName": "com.adobe.*" }, { "packageName": "com.booking" }, { "packageName": "com.facebook.*" }, { "packageName": "com.instagram.*" }, { "packageName": "com.twitter.*" }, { "packageName": "com.whatsapp" }, [...] ]}“whiteList .json”文件的内容与在虚假警报测试中发现的结果一致：包名与白名单列表匹配的应用程序都被“AV应用程序”视为“受信任的应用”。例如，包名为“com.adobe.*” 的白名单匹配所有包名以“com.adobe.”开头的应用程序。这意味着真正由Adobe开发的应用程序（比如Acrobat Reader）都被视为是安全的，这种机制也允许任何恶意应用通过使用“com.adobe.”这一包名来绕过安全扫描。
除了各自白名单上的应用程序之外，高风险的“AV应用程序”几乎屏蔽了所有其他应用程序，无论这些应用程序是否是从官方的谷歌应用商店里安装的。而他们中的一些甚至懒得在白名单中添加包名，导致将他们自己的程序警告了出来。因为AV应用程序的这种“排除白名单”政策，导致使用AV应用程序的用户无法确定他们设备上的其他应用程序是否是恶意的。因此，我们认为这些应用程序的防护能力是有限的。
除了使用相同的“检测”机制之外，这些应用程序的用户界面看起来也非常相似。通常只是颜色不同，这类应用程序主要采用了几种不同布局中的一种:
我们认为上面这些应用程序都是有风险的，它们均由以下61个开发团队开发：
1Machine System Sdn Bhd, actionappsgamesstudio, Antivirus Mobile Lab, appflozen, AppLocker Cleaner Booster, AppsNewLook, appsshow, AS team security phone Lab, AVC Security Joint Stock Company, Ayogames, azemoji studio, bESapp, Best Battery Apps, brouno, Caltonfuny Antivirus Phone, Chromia, Core Antivirus Lab, CPCORP TEAM, CreativeStudioApps, electro dev, Fast n Clean, FrouZa, GameXpZeroo, GlobalsApps, handy tools apps, jixic, lempea, MAN Studio, Marsolis Tech, MaxVV, Mobile Antivirus Lab, Mobtari, Mond Corey, Mondev44, MSolutions, MSYSOFT APPS, My Android Antivirus, Niulaty, NPC Studios, Ocean Developers, Omha, Oxic Studio, Pix2Pic Studio, playyourapp, prote apps, Protector & Security for Mobile, Radial Apps 2018, Security and Antivirus for Android solutions, Security Apps Team, SecurityApplock, Smart bapp, Smart Battery Solution & Creative Screen Lock, stmdefender, Tokyo Tokyo, Tools dev, tools for android, Utilitarian Tools, Virtues Media & Applications, Wingle Apps, XZ Game, 和 zeeworkers。
Android 8的实时保护功能
从安卓8版本（“Oreo”）开始，安卓对后台运行的应用程序实施了更严格的限制。根据官方的最新日志，这种做法是为了防止过度使用设备资源，如RAM。
此次更新也做了一些改变，要求应用程序为安卓Oreo系统变更对操作系统发出系统事件的响应方式（“隐式广播”）。这一变化也对安卓AV应用程序的实时保护功能有影响，因为它们取决于接收了哪一个系统事件。AV应用程序使用“添加包”广播模式来检查和扫描新安装的应用程序。
一些AV应用程序开发人员(包括一些“大师级”的开发者)似乎忽略了这项变化。这就导致应用程序的实时保护功能错过了新安装的应用程序，而使得该功能毫无用处。不恰当的操作可以在安卓日志工具logcat中看到:
W BroadcastQueue: Background execution not allowed: receiving Intent { act=android.intent.action.PACKAGE_ADDED […]}
以下开发团队没有将他们的应用程序正确的迁移到安卓Oreo系统：AZ Tools, CHOMAR, Defenx, GOMO Apps, IObit, eScan, PSafe, REVEAntivirus, supermobilesafe, Systweak, TG Soft, Trustlook, Trustwave,Vainfotech, VHSTUDIO, Z Team Pro。
起初(1-2月)，奇虎360应用也存在这个问题。但在3月份发表这份报告时，他们已经解决了。
这个问题不影响应用程序按需扫描的防护功能。但因为我们的测试是聚焦于实时检测，故决定在安卓6上测试这些应用。
结论
在我们的测试中，一些安卓安全应用拦截到的恶意样本非常少——在某些情况下根本没有——因此不能名正言顺地将它们视为防病毒应用程序。与去年相比，今年更多的应用程序只使用黑/白名单作为检测机制。事实上，尽管我们今年又多测试了46款应用程序，但被认为是“可用”的应用程序数量却保持不变。被测应用程序中的55%对恶意软件的防护都是无效的。此外，我们还发现有16款应用程序没有正确的迁移到Android 8上，这就降低了它们在新安卓版本上的防护功能。
测试中有23款应用程序对恶意样本的检出率达到100%，鉴于这采用的都是2018年最常见的安卓恶意软件，达到此效果本是理所应当。大多数经常参加独立测试的开发商的分值都很高，因为他们的应用产品会定期的接受审查，因此他们也会积极的开发以确保产品的有效性。
在选择安卓安全应用程序时，我们建议考虑以下因素。参考用户的评分显然是不行的，因为绝大多数用户只会根据用户体验来进行评分，而不确定应用程序是否提供了真正有效的防护。而其他的一些评论也只是开发人员伪造的。我们研究的250款应用程序中，在谷歌应用商店上的评分大都不低于4分。同样的，下载量也是一个非常不靠谱的参考；成功的虚假应用可能是在被下载很多次之后才发现是一个坑。“最后更新”日期应该也不是一个好的指标，因为许多得分低的应用程序也都有相对较新的更新日期。
出于以上的考虑，我们建议只使用知名度高、认证通过且信誉良好的开发商的应用程序。他们除了会参加独立测试机构的测试，还会开放包含联系信息与隐私政策内容的专业网站。在购买之前，用户可以获得该款应用程序几周的试用时间。然后，用户评估产品的可用性及其任何附加功能。许多开发商提供了非常实用的免费版本；但通常来说，这些免费版比付费版更有可能出现广告，但情况也并非总是如此。
其他关于安卓安全应用程序的测试和评论，请参见:https://www.av-comparatives.org/testmethod/mobile-security-reviews/
声明：本报告版权归AV-Comparatives所有。