Postoje dva osnovna "mehanizma" koje AV koristi za detektovanje virusa, heuristikom ili uporedjivanjem fajla sa virus signaturima iz baze. Heuristikom AV analizira & emulira kod virusa i trazi sumnjive patterne koda, dok je ovaj drugi nacin malo specificniji - AV ima bazu sa gotovim signatureima iz raznih malicioznih programa, pa uporedjuje sumnjivi fajl sa njima. Elem, ovaj nacin se moze vrlo lako zaobici, jer se virus uvek moze obsfukirati tako da opet ostane undetectable za signature engine.
I ako taj isti signature engine ne nadje nista sumnjivo prilikom skeniranja fajla, AV uvek moze da pomocu dobrog heuristic algoritma nadje jos neotkrivene viruse. (sto je verovatno i slucaj kod tvog trojanca - verovatno imas neki deo koda koji se moze okarakterisati kao maliciozan, recimo keylogger, manipulacija procesima etc etc)
Evo ti neki linkovi:
http://en.wikipedia.org/wiki/Heuristic_analysis
http://www.securityfocus.com/infocus/1542
http://www.net-security.org/article.php?id=485&p=2
http://www.itdefensemag.com/articles1.php
http://wiki.castlecops.com/AntiVirus_features