¿Son eficaces las soluciones antivirus? (I)

El aviso de VirusTotal

Lo cierto es que los propios responsables de VirusTotal advierten en la presentación del servicio colgada en su página web que esta herramienta no debería ser empleada para evaluar la eficacia del software, so riesgo de caer en inexactitudes. “En VirusTotal estamos cansados de repetir que el servicio no fue diseñado como un instrumento para realizar análisis comparativos de antivirus, sino como una herramienta que comprueba muestras sospechosas con varias soluciones y ayuda a laboratorios enseñándoles el malware que ellos no logran detectar. Aquellos que usan VirusTotal para realizar análisis comparativos de antivirus deben saber que están introduciendo muchos errores implícitos en su metodología”, advierte el capítulo titulado como Mala Idea. “Por lo tanto, decir que al subir ‘algunas’ muestras a la página web de VirusTotal se puede evaluar un producto es, o bien estúpido, o bien una mentira absoluta”, remacha Jindrich Kubec, director de Inteligencia de Amenazas de avast!.

Además de denunciar que Imperva no valoró los productos sino que simplemente cargó las muestras en una plataforma online, Kubec aduce que la selección de malware fue “dudosa” y que el número de muestras era “demasiado bajo”. En el mismo sentido se pronuncia Luis Corrons, director técnico de PandaLabs, que considera ridículo el hecho de mandar “unas docenas de muestras” a VirusTotal, sobre todo “teniendo en cuenta que cada día detectamos 74.000 nuevas muestras de malware”. Además, “si en las pruebas alguna compañía antivirus (o todas) hubiera detectado el 100% de las muestras enviadas, tampoco significaría nada”, dice el directivo. “Este es un test, si se le puede llegar a llamar así, con tantos fallos en su metodología que cualquiera que sea la conclusión a la que llegue no debe ser tenida en cuenta”.

Ambas críticas, la que deja en entredicho la selección de muestras de malware y la que descarta el método de evaluación de tal muestra, se reiteran de unas a otras compañía cuyos productos antivirus han sido analizados en “Assessing the Effectiveness of Antivirus Solutions” y con las que ha hablado Silicon Week. Sin embargo, el CTO de Imperva, tiene otra forma de ver las cosas. “Incluso entre los que han cuestionado nuestra metodología, parece haber un consenso en torno a nuestras conclusiones: que las soluciones antivirus estándar han llegado al punto de un rendimiento o utilidad decreciente y que las organizaciones deben virar sus inversiones hacia otras soluciones que protejan a las organizaciones frente a los efectos de la infección”, escribe Shulman en un post titulado “¿Todavía no les gusta nuestro estudio sobre soluciones AV? Una respuesta a los críticos”. “Tengo que asumir”, continúa,  “que si nuestra metodología nos lleva de manera lógica a conclusiones que son tan ampliamente aceptables, no puede ser tan mala”.

La defensa de Imperva

“Un muestreo malo sería un argumento justo si hubiésemos usado una técnica misteriosa de recogida de malware que sólo puede ser aplicada a las bandas criminales de alta gama. Éste, por supuesto, no es el caso”, se defiende Imperva, que aprovecha para sugerir que en realidad las argumentaciones de los fabricantes de antivirus respecto a lo que se puede considerar un conjunto idóneo de ejemplares de software malicioso dan la razón a su empresa. Éstas afirman que, si se toma el tamaño de la muestra con la que trabajan, unos100.000 ejemplares por día, logran un ratio de acierto de más del 90%. “Es decir, pierden 2.000 ejemplares de cada 100.000”, calculan Shulman. “¿Qué tan difícil creéis que es para un atacante (intencionalmente no he agregado el término “experto”) poner sus manos en un par de esas 2.000 muestras no detectadas?”, pregunta, añadiendo que todas las muestras incluidas en sus estadísticas fueron finalmente detectadas por una porción notable de productos antivirus, aunque ninguna de ellas era código malicioso de reciente creación, sino “más bien variaciones e instancias de malware existente”.

“Somos conscientes de las limitaciones del uso de VirusTotal, y describimos dichas limitaciones en nuestra investigación”, sigue justificando. “Sin embargo, no somos los primeros en publicar estudios comparativos de eficacia antivirus basados en VT, diversos informes recientes han estado utilizándolo para el mismo propósito. Sé que no se define como una herramienta de detección anti-malware y que no está diseñado para ser utilizado como reemplazo de los antivirus, pero tampoco se puede sostener que es sólo una herramienta de recolección para la industria con unos resultados por muestra completamente sin sentido”. Es más, en la firma estadounidense insisten que han utilizado este servicio de una manera “prudente y cortés”: sin hacer uso de funciones no documentadas, sin subvertir la API y sin alimentarla con datos para alterar los resultados de las decisiones de los proveedores. “Así que, básicamente, nuestro delito es la forma en la que interpretamos los resultados y las conclusiones que sacamos de ellos. Ir en contra de esto no tiene ningún otro término que ‘policía del pensamiento’”.

Otra premisa en contra de la validez del estudio de Imperva sobre la efectividad de los antivirus es que recurre a la versión de línea de comandos, por lo que su configuración no es la ideal. “Esto  afecta al contexto de ejecución, lo que quiere decir que un producto podría fallar en la detección de algo que sería capaz de detectar en condiciones normales de funcionamiento”, concreta el investigador David Harley en el blog oficial de ESET NOD32. ¿La contestación de Shulman? “Me encantaría ver a los vendedores de antivirus explicar qué tipos de malware no se detectan por su versión de línea de comandos y sí se detectan con la otra versión, y por qué. Ciertamente estoy dispuesto a aceptar que nuestros resultados habrían sido algo diferentes si hubiésemos probado una versión instalada del producto que no fuese la versión de línea de comandos, aunque creo que es una buena aproximación”.

** Este informe sigue en la segunda parte.