Strasno sta god mi stigne sa drenika pise da je spam ;)

:) ovo sto si dao kao primer i jeste bio mail u formi spam-a, ali za sve registrovane igrace na netgames-u, posle je poslat plain text bez formi, i prosao je kao normalan mail.

Postoji problem sto gomila "standardnih" korisnika Interneta
koristi razne mail klijente koji po Default-u salju mail u html obliku.

Da ne pominjem Incredi Mail koji cak sam dodaje na kraju svake
poruke gif.

U svakom slucaju pojava bilo kakvog anti-spam server software-a
je pozitivna i za svaku pohvalu jer je jedan od najvecih problema na
Internetu Spam (i normalono virusi, crvi ..).

P.S> Vrlo je interesantan sistem bodovanja.

http://spamassassin.org/ ;-)

Pohvalno u svakom slucaju.


Marko.

A po kom to kriterijumu html poruke moraju biti spam?

Pa zavisi sve. Moze da se poveca broj bodova koji je neophodan da bi spamassasin proglasio mail spamom i samim tim samo to sto je poruka u htmlu ne bi bilo dovoljno itd itd ... tako da poigraj se malo sa time stingeru.

BTW niste prvi.

"0.8 HTML_30_40 BODY: Message is 30% to 40% HTML"

Ne pa stvarno šta ako je 100% html, a sasvim legitiman newsletter na koji sam se pretplatio ili šta već?

Interesantno je da neki nasi provajderi kada uvedu anti-spam metode onda to rade drasticno tako da zaista ometaju normalnu komunikaciju.

Spam je vrlo siroka pojava i u mnogim elementima ju je tesko definisati jasnim pravilima. Automatsko ciscenje mora da se drzi podalje od svega to je nejasno i treba da cisti samo ono sto je siguno prepoznatljivo kao spam.

Takodje, provajderi bi trebali da moguce korisnicima da aktiviraju automatsko brisanje spama a ne samo oznacavanje. Danas vec postoje sasvim dobri alati koji samom korisniku omogucavaju automatsko prepoznavanje spama tako da je usluga prepoznavanja i oznacavanja spama nepotrebna i stavise, samo dodatno povecava nepotrebni protok poste.

Najkorisnije je da server provajdera sam pobrise ono sto zasigurno prepozna kao spam.

Oznacavanje moze da bude korisno ali samo ako je izvedeno na primeren nacin: a to nije ovo sto radi Drenik, da na svaki iole sumnjivji email, na osnovu vrlo sumnjivih kriteirjuma korisniku spuca obavestenje u formi koja ce neukog korisnika cak i dobrano da isprepada.

Dovoljno je u subject dodati naznaku da se radi o sumnjivoj poruci i eventualno u prvoj ili drugoj liniji poruke staviti slicnu naznaku.

Najinteresantnije je a Drenikov filter obavestava korisnike drugih provajdera da su korisnici Drenika pokusali da im posalju spam. To je odavno besmislen pristup. Ili terba pustiti takvu poruku kakva je da je i ostaviti serveru provajedera (ili samom korisniku) koji tu poruku prima da je prepozna kao spam ili je treba vratiti posiljaocu i obavestiti ga da mu poruka nije poslata zbog sumnjivog sadrzaja.

Ovako, ispada da Drenikov server prepozna spam pa onda zrtvi (koja nije njegov korisnik) posalje dodatni spam sa upozorenjem kako je prikacena poruka u
stvari spam.

Stavise, provajderi ne bi tebali da uopste salju obavestenja o prepoznatom ili odbijenom spamu (sto ukljucuje i viruse) osim mozda (ali veliko mozda) svojim korisnicima. U praksi, 99% podataka u email porukama je lazirano i obavestenja obicno stizu na pogresne adrese predstavljajuci tako cist spam i nista vise.

Dakle, najbolje je, on osto j esasvim pouzdano spam, obrisati bez ikakvih komentara a ono sto nije pustiti korisnicima da se sami snadju.

Kao što vidiš, to nosi 0.8 poena. Isto kao što nije svaka poruka koja u subjectu ima "free sex" SPAM, nije ni HTML. Statistički posmatrano, poruke koje u subjectu imaju one dve reči, imaju veliki deo u HTML-u, nisu poslate sa stanardnog mail klijenta, u tekstu spominju vijagru -- su SPAM. Spamassassin upravo tako analizira sadržaj poruka. Za gomilu sitnica dodeljuje poene. Ako broj poena pređe određeni prag, poruka je SPAM.

Na drugu stranu što je Drenik stavio prag od 3.2. 4-5 za direktno odbacivanje i 3.5 za markiranje je SASVIM OK. Po koji SPAM se provuče, al' može da se živi.

Marko.

Ovde mozes da vidis listu standardnih pravila i njihovo bodovanje,
http://spamassassin.rediris.es/tests.html

kod nas je bodovanje malo drugacije, i stalno ce se menjati, ocekujem da ce mi trebati oko mesec dana da fino podesim pravila za nase uslove.

da, ali daleko od toga da se svaki html mail oznacava kao spam, poruka o kojoj ti konkretno pricas je oznacena kao spam jer:

1. poslata preko bcc polja na vise od 5 adresa
2. slata preko neregularnog e-mail klijenta (programa)
3. sadrzala html kod
4. sadrzala link ka formi za prijavljivanje/odjavljivanje
5. sadrzala pogresan content-type koji je greskom kreirao program za slanje.

to su sve kriterijumi koje je spamassasin prepoznao i na osnovu toga bodovao poruku. Ista poruka poslata kasnije iz obicnog OutlookExpress-a, sa normalnim zaglavljem prosla je bez problema kao sto si i sam video.

Ja sam stavio kombinaciju amavisd-new, spamassasin i ClamAV, spamassasin sa standardnih 3.0 za obavestenje, a 6.3 za ubijanje, i nijedan jos nije odbijen mail koji nije bio spam (a prolazi "razuman" deo spama kao da nije spam).
Zahvaljujuci ClamAV-u nijedan virus nije dospeo u mailovima.

Ehh.. da se pokrijete usima svi koji furate administraciju u "enterprajz-like" ISP-ovima.
Anti-spam filter je nesto najnormalnije koje svaki ISP mora da ima na svom email serveru.

Ovo spektakularno objavljivanje me podseca na rts dnevnike iz sredine '90-tih, gde je cesta udarna vest; "Prvog maja pocela isplata penzija!"

ps: Luka evo nesto zanimljivo za pogledati: http://tmda.net/
pps: Mogli bi da procaskamo privatno na ovu temu. Potrebno mi je sto vise ljudi koji koriste SA+qmail na izradi extra goodies programcica za ovu skalameriju.


=bc

hahahahahahha, ne znam nisam gledao dnevnike tad, ne gledam nih ni sad tako da nemam pojma da li lici ili ne, samo znam da ovo nije bilo nista "spektakularno" objavio sam to kod mene na sajtu i ovde. A smatram da je to prednost u odnosu na ostale jer koliko znam niko od drugih provajdera ne fura antispam/antivirus na mail serverima.



znam, video sam tnx za link u svakom slucaju, ovo mi se ne dopada:
TMDA Feature Highlights - Written entirely in Python: an interpreted, interactive, object-oriented programming language. Mislim da C i perl imaju bolje performanse od njega. Doduse ovo je interesantna opcija: Use of HMAC (Hashed Message Authentication Codes) for "cookie" generation and verification



nema frke, za saradnju i dobro zezanje sam uvek raspolozen. Ionako sam sam radio vec neke "alatke" za ovo. Trebace neko vreme dok sve ne ustimam da proradi onako kako sam to zeleo. Aj vidjamo se na pivu negde?

Za spam filtriranje nisam siguran ali mislim da sam video par obavestenja od nekih drugih provajdera. Antivirusnu zastitu nasi provajderi rade vec dugo. Siguran sam za Beotel i Eunet.

Antivirusnu zatitu je lakse izvesti. Viruse je lako prepoznati. Spam je vec problem.

Pozdravljam uvodjenje spam assasina na Drenik. Tako i terba dabude, samo spusti loptu i podesi te filtere da ne prepoznaju bas sve kao spam i NEMOJ obavestavti korisnike drugih provajdera da im tvoji korisnici salju spam nego to regulisi interno sa svojim korisnicima.

Ako te interesuje, mozes dobiti od mene poprilicnu arhivu domaceg spama.

Sezam ima anti-spam filtere već duže vreme (aj da lupim, pola godine) i rade prilično dobro, otpadne oko 80% đubreta.
http://www.sezam.com/public/page/?id=21

Tu arhivu bi bilo zgodno provuci kroz pyzor, tako da ce svi imati koristi. :)

Citat sa njihovog sajta:


Kako SezamPro zna šta je SPAM?
Sezam ne analizira sadržaj poruke, već se oslanja na više servisa na Internetu koji prate sisteme sa kojih se masovno šalje spam. Sezam ne može da napravi razliku među korisnicima sistema sa kojih se šalje spam pa je moguće (mada ne i naročito verovatno) da sistem sa koga vam prijatelj šalje poruku dođe na "crnu listu", čime je privremeno onemogućena komunikacija sa svim korisnicima tog sistema. Sezam je obezbedio da sistemi sa dobrom reputacijom sa kojima imamo saradnju nikada ne dođu na našu crnu listu, ali i dalje se može desiti da poneka poruka koju želite da primite bude odbijena.

Koliko vidim oni koriste tudje servise (rbld ili nesto slicno) za indetifikaciju poznatih spamera, ne rade skeniranje poruka. Mi radimo aktivno skeniranje svake poruke :)



Da, znam i tu smo koliko znam bili prvi, pre skoro nepune 3 godine.



Ko sto rekoh, trebace neko vreme da se filteri podese za nase uslove,... :(



Naravno da me interesuje, posalji da pogledam kako izgleda, da pustim kroz par filtera da vidimo sta ce da se desi. Ako neko ima iskustva sa SA, neka mi se javi, da razmenimo iskustva. Ko sto vec rekoh, uvek sam za saradnju :)

Hehehe, evo ja cu da se ogradim od ovoga... samo da bih dao primer da to ne mora samo ISP da uvede: ovo sto sam napisao da sam stavio se nalazi na serveru koji je na server housingu - i nema dial-up korisnike.

Drugim recima, uvesti svuda gde moze ukoliko ne ugrozava slanje i primanje mailova (zbog ogromne kolicine maila npr.)

ovo je NAJGORA stvar koju mogu da urade. gore nego da ne filterišu spam. ali da se ne ponavljam, već je pisano o takvim servisima, potražite...



btw broker, mogao bi tu arhivu i javno da objaviš ;)

Svaka čast. Jedino... ono "prvi" mi bode oči , jer definitivno nije tačna informacija. Čak bi i "među prvima" bilo poprilično tesno.

Izvinjavam se što nisam ispratio temu u kojoj je pisano o tome, da li bi bio ljubazan da mi ukratko objasniš zašto je to loše? Ja nisam upoznat sa detaljima, koji servis koristi Sezam i sl. - mogu samo da pričam kao ZADOVOLJNI KORISNIK. Svaki dan dobiješ mail sa listom svih filtriranih poruka, čisto provere radi. Do sada se samo jednom desilo da filtriraju mail koji nije spam, i to neku mlistu. Dodaš adresu u izuzetke i nastaviš normalno da primaš. Već sam spomenuo da odbije ~80% đubreta. Šta je tu loše?

ma nema potrebe da se izvinjavaš ;)

nego, da me ubiješ ne mogu da nađem ponovo tu temu. inače, nisam znao da ti šalju mail sa obaveštenjem šta su sve blokirali, i to je dobro, ali mi se čini da i dalje ne možeš da povratiš neku legalnu poruku ako i primetiš da je blokirana.

ukratko, problemi počinju ako hostuješ sajt na nekom deljenom serveru, i kojim slučajem neki drugi klijent tvoje hosting kompanije bude markiran kao spamer, i svi mailovi koje ti pošalješ biće isto markirani (zbog iste IP adrese/opsega).

a kada jednom dospeš na takvu listu, teško (ili nikako) se ne izvlačiš sa nje.

onda, poznati su DDOS napadi na takve centralizovane servere (od strane spamera) koji su prouzrokovali da svi klijenti koji koriste te baze budu onesposobljeni.

pa onda sama činjenica da je servis centralizovan olakšava donekle spamerima da ga zajebu. spamer može lako da proba da li neka poruka prolazi ili je blokirana, i ako prolazi, znači da može da je pošalje na milion adresa, proći će svima (dok ga ne stave na crnu listu).

dok kod posebno treniranih bayes filtera to im nije tako lako (svaki server je treniran sa drugim uzorkom spama)


znači, visok nivo false positives, i mnoge druge stvari su veliki NO-NO za ovu vrstu servisa...

Istina. Ali nisam ni imao potrebe.



Može biti. Ali protiv toga nema leka :) Koji softver može da filtrira pola servera? A i zašto? Ako koristiš tako jadan hosting, ko te j*** :)



Može biti. Ipak nisam primetio probleme s filterima.



Mudri sine, u pravu si skroz. Ipak ja imam ~80% manje spama, pa kako god..

Jaooo covece, pa ti stvarno ne znas za blam (bez uvrede).
Pre nego sto pocnes da izbacujes revolucionarne izajave, malo se raspitaj kod starijih kolega koji su 90tih godina imali vise od 9 godina pa su mogli da prate dnevnik (mada to sa dnevnikom i nije tako bitno, ali je fino imati tako nesto za analogiju)

Sto se anti-spama tice, lepo je postaviti takvu uslugu na ISP u svakom slucaju, samo je to trebalo ODAVNO da se uradi i da to bude PODRAZUMEVANA stvar. Sto se tice onoga "prvi" to si prilicno omasio.
Za sigurno anti-spam vec jako dugo (citaj duze od dve godine) imaju Tehnicom na primer, i Teleport (www.teleport.co.yu), SezamPro nisam siguran koliko, ali i oni su daleko pre Drenika.
Ako se vec trudis da izmislis rupu na saksiji, nemoj da ides okolo i pokazujes saksiju svima i od sebe samo napravis ... ajd da ne lajem
Nego lepo koristi to sto si napravio, reci mozda da si postavio, ali bez takvih pretencioznih komentara koji se lako "love".

Ajd da si rekao na primer da ste prvi ISP koji je uveo anti-spam u Afganistanu.. To bi verovatno bilo malo teze da proverimo

Stvarno je sramota doduse da admin, vec matorog ISP-a koji bi trebalo (KAO) da bude model na koji bi se mozda mladji i manji provajderi ugledali, bude toliko NEINFORMISAN o svom poslu na prvom mestu.

Na kraju jedno definitivno ostaje, kad se nesto uradi sa zakasnjenjem, pokrijes se usima, cutis i nadas se da ce sve to da radi kako treba (a koliko sam video i po drugim forumima, to bas i ne radi kako se ocekuje, tj. kako bi trebalo).

Sledeci put ako smisljas nesto 'revolucionarno' pogledaj malo po ostalim sajtovima slicne/iste delatnosti na nasim prostorima, pa se onda oglasi.

jednostavno, ne hostuj na takvom provajderu. inace, da je malo odgovorniji ISP, on moze vrlo lako da prerutira email preko non-rbl listed IP-a.



mislim da mozes relativno lako da se izvuces, ako podmetnes zrtveno jagnje u vidu nekog customer-who-wants-to-play-spammer. jedan email sa cc:-om na vlasnika AS broja i resean stvar. osim naravno ako taj isp stvarno nije spammer.

ddos? yeah right, see ya on court l;)



magic keywords: razor, pyzor, bayes


ps: stop being paranoid.



=bc

Slazem se sa svim prethodno napisanim .. osim sa ps-om

(mada i ono sa sudovima je nezgodno.. sta ako ddos izvrsi neko iz hmm recimo neke vukojebine ko zna odakle, ko ce njega da ulovi, ali to ionako nije tema za ovaj thread :)))

elem, ipak je mnogo pametnije:
Be paranoid - be VERY paranoid :))

pogrešno sam se odrazio u prethodnoj poruci. možeš da imaš i svoj dedicated server kod vrlo kvalitetnog provajdera, pa se opet može desiti da ceo ip opseg tog provajdera dospe na crnu listu zbog nekog drugog klijenta.

a zaboravih da napomenem da se i IP adrese SMTP servera relativno lako mogu lažirati, pa samim tim crne liste postaju potpuno neupotrebljive...


a za keywords, zar nisam i ja pomenuo bayesa (nebitna je konkretna implementacija).


// ps: i da, treba paranoisati. to se dešavalo ljudima, legalnim vlasnicima sajtova koje znam (u americi, znači ne kod naših pilićara, sa svojim serverom, bla bla...) tako se može desiti svakome...