normalno da ti treba mašina sa vise rama i vecom procesorskom snagom da bi to islo glatko, ja na proxy od mikrotika imam puštenu cijelu wirelles mrezu oko 70-ak korisnika i naravno ima i acces lista na kojima su im zabranjene torrent stranice i sve radi bezprijkorno.

za lokalnu mrezu po servisu od 8 kopijutera je namjenjen squid server cisto tako radi fore i radi bezprijekorno.

naravno da je moguce odrediti u mt koji ce dio mreze koristit proxy il ne. mozes i pojedinacnog korisnika da stavis na proxy a mozes i komplet mrezu od korisnika, a mozes i sve mreze u mt sto imaju da koriste proxy. sve zavisi koja ces pravila stavit u fajerwal i koje ces mreze stavit u acces listu za bolokiranje određenih stranica

Sto se tice squida treba reci samo jedno: MAJKA :)

Mi imamo 1300 korisnika koji pristupaju squidu.
Masina je 8GB rama intel core2 quad, 2x250 giga HD. FujicuSiemens Primergy.

Connection information for squid:
Number of clients accessing cache: 853
Number of HTTP requests received: 10446276
Number of ICP messages received: 0
Number of ICP messages sent: 0
Number of queued ICP replies: 0
Number of HTCP messages received: 0
Number of HTCP messages sent: 0
Request failure ratio: 0.00
Average HTTP requests per minute since start: 3659.4
Average ICP messages per minute since start: 0.0
Select loop called: 184828208 times, 0.927 ms avg
Cache information for squid:
Request Hit Ratios: 5min: 10.4%, 60min: 15.0%
Byte Hit Ratios: 5min: 5.7%, 60min: 9.1%
Request Memory Hit Ratios: 5min: 20.3%, 60min: 23.0%
Request Disk Hit Ratios: 5min: 49.6%, 60min: 45.9%
Storage Swap size: 52068836 KB
Storage Mem size: 1073040 KB
Mean Object Size: 22.41 KB
Requests given to unlinkd: 0

Link: 80Mbps.

Nema filterisanja stranica, ali takve stvari su deo osnovne konfiguracije. Squid moze da radi mnogo zajebanih i komplikovanih stvari :) Sto se tice osecaja pri pristupu internetu, sa squidom ti je pristup nekim stranicama i brzin nego sto jeste (jer se podaci vuku iz lokala) tako da nemas sta da brines :)

pozdrav,
Dejan

Kakva je konfiguracija tog dela mreže, ruter, proxy itd.? Ako može i kratko objašnjenje podešavanja, ukratko, najbitnije, na MT, na squid...

ja sam sqid podigo na centos-u prije 8 mjeseci i radio je fenomenalno i ima jako puno opcija koje su korisne. u net klubu je brzina bila 2mbit, nakon squida zaboravio sam sve probleme. :) zato i pitam kakva je situacija kad ga koristi mt.
koliko sam gledo na mt-u nekako mi izgleda vrlo jednostavno postaviti proxy, a i ovi iz mt-a su to nekako jednostavno predstavili.
nasao sam da mt koristi 1 mb rama za 1 gb cash-a na sqiudu,
@zivanicd da to nije malo prejaka masina za squid ;)

Kod mene se saobracaj rutira kroz jedan centos server i tu iptables preusmerava www saboracaj u squid.
Postoje tutorijali i da mikrotik forwarduje www saobracaj na udaljeni proxy (resenje broj 2).
Resenje broj 3 je da na mikrotiku podignes proxy a da na drugom linuxu dignes parent proxy...

Ima raznoraznih kombinacija samo je pitanje sta tebi treba.

Ja imam 3 proxy-a, 2 rade slave round-robin loadbalance a treci je tata koji sve to kontrolise.

SQUID ne zahteva neku jaku masinu ako se ne generise neki nenormalni saobracaj.

Dobro je recimo sto squid moze da kesira i video saobracaj (youtube, google video,...) i moze da ustedi dosta saobracaja.

Radili smo neke analize i nasih 1k korisnika u piku generisu cak do 30Mbps youtube-a :)

pozdrav,

Ima li razloga protiv proxy servera osim dodatne cene za opremu? Znam da ga mnogi ne koriste...

razlog protiv: korisnici izlaze na web sa iste ip adrese (ako ne podesis drugacije) pa je problem sa nekim igricama (recimo ikariam, ogame i slicno).
Ostalo ne vidim razlog zasto ne bi koristio squid....

Cak i veliki provajderi tipa beotel net su instalirali sisteme na bazi proxy-a za kesiranje web saobracaja da bi ustedeli internet link....

kucaj u command promptu:
nslookup proxy.ptt.rs
nslookup proxy.yubc.net
nslookup proxy.eunet.rs
nslookup proxy.sezampro.rs

Uglavnom svi provajderi imaju neku vrstu proxy servera (uglavnom squid) za kesiranje :-)
:D

poz

upravo zato sto ide kroz jednu ip sam i pitao kako to radi na vecem broj korisnika jer ja jos nemam puno korisnika tako da i ne znam :).

medjutim koliko vidim zadovoljan si ;)

P.S.
@zivanicd imas li jos sta na toj masini osim squida ono tipa web,ftp,mail.



_{[Ovu poruku je menjao dualze dana 18.07.2010. u 12:26 GMT+1]}

Nope... na tom serveru radi samo squid :)

Pazi sa povecanjem broja korisnika, broj upisa na disk i "zaposlenost" squida opasno se povecava.
Tako da je potrebna dobra masina (sa SCSCI diskovima najbolje) da uspe da obradi velike I/O zahteve.
Squid nekad barata i sa 3-4k otvorenih fajlova i pitaj boga koliko TCP socketa...

U zavisnosti koj replacement policy koristis za i/o i za memory, CPU zauzece varira.
Cak i na ovoj masini dolazilo je do "zaboda" CPU-a dok sve nismo tuningovali kako treba.

SQUID je single proces aplikacija, tako da na multiple CPU masini mozes da poteras vise squid instanci i da radis loadbalance na jednom racunaru. Ja to nisam radio ali ima tutorijala.

Ovaj squid je podesen da koristi COSS za male fajlove i DISKD za velike fajove.

pogledajte squidov wiki...

pozdrav,

@zivanicd

jel mogu ja kod sebe u mt da ostavim acces listu al da stavim da mi nekešira na disk od mt, u firewall bi mi ostalo ono redirekt 80 na 8080 da mi i dalje ide da tu acces listu . jel onda moram jos jedno pravilo stavljat da mi sa 8080 redirektira na 3128 port?? dali ce se usporiti sta kad ima tako 2 redirekta?

@nino1987 mislim da ti je najbolje da rasteretis mt, i da acl sa mt-a prebacis na squid-u acl. direkt redirekuj port na 3128 ili jednostavno promijeni port squida u configu po zelji. defaultni je 3128. takodjer, u configu squida mozes izabrati i max velicinu fajlova koji ce se cash-i, kao i hdd i ram zauzece.ima jako puno opcija pa najbolje sto @zivanicd kaze pogledat tutorijale.
gledao sam dodatak squidu koji filtrira erotske stranice kao i reklame sa tim sadrzajem, tako da ih squid prilikom otvaranja eliminise i dobijes stranicu bez tih slika i td.


_{[Ovu poruku je menjao dualze dana 18.07.2010. u 18:12 GMT+1]}

ma stvar je u tom sto mi je ovo konf mikrotika

uptime: 3d11h20m7s
version: "4.9"
free-memory: 942928kB
total-memory: 1036068kB
cpu: "Intel(R)"
cpu-count: 4
cpu-frequency: 2658MHz
cpu-load: 12
free-hdd-space: 9436196kB
total-hdd-space: 9606588kB
write-sect-since-reboot: 495986
write-sect-total: 495986
architecture-name: "x86"
board-name: "x86"
platform: "MikroTik"


a komp na cem mi je squid je mali procesor celeron 2.8 i 2 gb ram memorije, sata 500 gb disk

pa ne vidim razloga sto taj comp ne bi mogao glumiti proxy??? to je soldina masina.... najbitnija ti je brzina citanja diska, kad imas mnogo zahtjeva, da to disk moze isporuciti userima bez mnogo cekanja (citaj bez ikakvog cekanja, jer nam proxy i za to sluzi, da neke stvari ubrzamo, jer idu samo lokalno)....

men se sve cini da ce bit red stavit jedan komp zaseban samo za proxy i to stavit diskove u raid stripe mod. i da ide sve preko squid.

pa naravno da ti treba zasebna masina (bolje je naravno ako mogucnosti dozvoljavaju) i to po mogucnosti da ima redudandno napajanje i scsi hdd (dovoljno 2x 146Gb) sa sto vise rama, mozda 6 i vise GB (u sustini squid ti nece puno uzeti al kad je u pitanju velik broj klijenata budi suguran da hoce i te kako)
bez obzira sto je squid single procesorska aplikacija ja je licno nebi stavljo sa mikrotikom zajedno (ono tipa squid cu prebaciti na jedan procesor a tika cu na drugi i td), niti sa bilo kojim drugim serverom. imaj na umu da ce ti kroz tu masinu ici svi klijenti, i nek ti se njoj sta desi (npr lagiranje, a zna se desiti pogotovo ako nije dobro konfigurisan squid kao sto rece zivanicd) svi ce osjetiti.



_{[Ovu poruku je menjao dualze dana 18.07.2010. u 23:28 GMT+1]}

ok hvala na opširnim odgovorima

Da li je ovaj Open source caching server dobar način i dobra topologija? Ja imam upravo ovakvu topologiju i probleme sa squid3 proxy. Da li je greška u samoj topologiji ili može i ovako? Hteo bih da zadržim Simple Queues zbog pregleda protoka i potrošnje.

razlog protiv: korisnici izlaze na web sa proxy List ip adrese (ako ne podesis drugacije) pa je problem sa nekim igricama (recimo ikariam, ogame i slicno).
Ostalo ne vidim razlog zasto ne bi koristio squid....Proxy Gratuit

Stvarno dobar taj Squid...

uuuu vidim da imas super statistiku. kolko ti ustedi oko 35/40% ? najljepsi mi ovaj plavi neboder di pise videos flv :)

Kako kad
Kako i ne bila dobra kad su 4 Squid instance pokrenute, jedna master + 3 Round-robin... Nego mreža mala, nekomercijalna, pa zver ne može da bude ni probudjena, a kamoli iskorišćena...

_{[Ovu poruku je menjao BigFoot dana 09.02.2011. u 21:45 GMT+1]}

nema veze bitno da se vidi na grafikonu da radi kako treba :)

... :)

:) :) :)

:)

:):)

:))))))

Probah UTF-8, razne ISO-8859-x, rusku ćirilicu (KOI8-R), ali ne mogu da dešifrujem. Da se nije tastatura zaglavila na tačkicama i zagradama ili je neki novi Kladovo Encoding izmišljen?

Nego, zna li ko ovo da protumači (sa nekim standardnim Encoding-om):


Koliko čujem, ovo Byte Hit Ratio je bitnije od Request Disk/Memory Hit Ratio?

_{[Ovu poruku je menjao BigFoot dana 10.02.2011. u 10:18 GMT+1]}

:D

Da prevedem..... squid rules... Jedino je malo nezgodno sto ne mozes da napravis tcp_outgoing_address dynamic za potrebe RapidShare-a i slicnih sajtova...

Kažu da i to može, ako iza Squid-a ima neki LB. Medjutim, ja jednom pitah, ali ispade da ni ovo nije moguće...

Moguce je... Ako se ne snadjes u mom odgovoru, poshalji PM pa cu ti poslati step-by-step.

Moras da budes konkretniji sa konfiguracijom... (kolko tikova, kolko linkova i ostalo)...

Sa tikom i squidom mozes da radis loadbalance na N nezavisnih linkova.

Poz

a ja sada imam problem sa squidom. sve radi lijepo, a onda odjednom samo zaglupi i nece da otvori nikakav sajt ili ga otvara 5 min.
znaci nije do opterecenja rama niti hdd-a jer masina ima 6 GB rama a tek manje od 1 GB koristi, takodjer i hdd nije oppterecen.
a sto je najgore nekad radi 30min pa zaglupi a nekad radi 10 sati, nikad ne znam vrijeme kad ce zaglupiti.
pratio sam da nije zbog prevelikog broja zahtjeva, al nije ni to u pitanju.

imal ko kakvu ideju u cemu je kvaka?

P.S.
@zivanicd ja ti slabo mail vezano za squid al ne znam jesil dobio, jer nisam dobio nikakav odgovor :)

da nije cache?

nebi reko, jer zna zablokirat odma nakon 10 min rada, a nekad zna raditi po 10-15 sati bez problema. kao da se desi neki loop ili tako sta.
koristio sam squid 3.0 pa kontam da nije do verzije mada pise da je stable

Proveri DNS. Ja isto imam trenutna usporenja, a još nisam pronašao pravi razlog. Moguće da je i preopterećenje mreže, posebno ako Squid-u nisi pravilno limitirao protok pa uzme max i zakuca link.

Uh... ja se izvinjavam ako nekom nisam odgovorio na mail... jednostavno mi se ponekad desi da mi "izadju iz vidnog polja", tj da nisu u "last 20" pa onda nikad i ne odgovorim...

Tuningovanje squida je opipljiva stvar... i dosta se razlikuje od opterecenosti mreze...

Nasa mreza trenutno propusta nekih 1200 wireless korisnika kroz squid. Saobracaj na squid-u je oko 80-100Mbps u vecernjim satima.

E sad problem da sve stane moze da bude visestruki, pogotovu ako mashina gde je squid sluzi i kao NAT server...

Najbolje je da se provere logovi (syslog, access.log, cache.log).

Moja pretpostavka (ako nije tuningovan linux server) je da je squid ostao bez filedescriptora.

Takodje je pozeljno da se na mashini gde je linux promene timeout vrednosti za connection tracking.

Established connection timeout je 1 dan po defaultu, tako da vremenom squid izgenerise previse konekcija i napuni tcp conntrac table i pojede filedescriptore.

Da napisem u posebnom postu:
Eksperimentisanjem sam utvrdio da je coss storeio type dosta dobar. Problem je sto nije podrzan u 3.0 verzijama. Sa druge strane 3.0 verzije podrzavaju weighed loadbalance parent pa je zaista tesko izabrati koju verziju squida korisititi.

Nas trenutni konf:
Squid Cache: Version 2.7.STABLE9
configure options: '--prefix=/usr' '--localstatedir=/var' '--sysconfdir=/etc/squid' '--with-maxfd=8192' '--enable-removal-policies=heap,lru' '--enable-linux-netfilter' '--enable-storeio=ufs,aufs,null,diskd,coss' '--enable-epoll' '--disable-ident-lookups' '--enable-async-io' '--enable-truncate' '--with-pthreads' '--disable-dlmalloc' '--with-large-files' '--enable-htcp' '--enable-coss-aio-ops' '--enable-large-cache-files'

--with-large-files omogucava logove vece od 2Giga. Squid puca ako logovi dodju na 2Giga. Zato nama logrotate radi svaki dan zip logova.
--with-large-cache-files omogucava skidanje velikih fajlova (veci od 1GB ili 2GB) jer i tu ima squid neki bug.

Do 60Mbps smo koristili coss za fajlove manje od 24k i diskd za fajlove vece od 24k.
SQUID proces smo forsirali na jedno jezgro a diskd proces na drugo.
Eksperimentisali smo i sa vise squid procesa na jednoj mashini i to takodje lepo radi.

Mashina je Xeon E5310 FS Primergy sa 6Giga ECC rama i 2x500 GB raid.

Da li je zbog raida ili zbog velikih IO zahteva na disku, opterecenje mashine na 60Mbps je dostizalo i 90% pri uptime komandi. Pri SNMP merenju opterecenje pokazuje oko 25% CPU.

Trenutno koristimo null storeio i squid sluzi kao loadbalancer. Opterecenje pri 80-100MBps je oko 60-70%.

TIMEOUTS:

# Timeouts
net.ipv4.tcp_keepalive_time = 180
net.ipv4.tcp_keepalive_intvl = 60
net.ipv4.tcp_fin_timeout = 30

# Filedescriptors
fs.file-max = 30000

Broj default filedescriptora je 1024 na linuxu, kao i na squidu kad se kompajlira "po defaultu".

squidclient:
Number of clients accessing cache: 524
Number of HTTP requests received: 367707
Average HTTP requests per minute since start: 9760.3
Cache information for squid:
Request Hit Ratios: 5min: 4.9%, 60min: 4.7%
Byte Hit Ratios: 5min: 3.6%, 60min: 3.9%
Request Memory Hit Ratios: 5min: 67.9%, 60min: 64.7%
Request Disk Hit Ratios: 5min: 0.1%, 60min: 0.0%
CPU Usage: 49.87%
CPU Usage, 5 minute avg: 43.87%
CPU Usage, 60 minute avg: 50.09%
Maximum number of file descriptors: 8192
Largest file desc currently in use: 774
Number of file desc currently in use: 564
Available number of file descriptors: 7628
Reserved number of file descriptors: 100
Store Disk files open: 0
IO loop method: epoll

[root@powerslave accounting]# uptime
22:46:56 up 148 days, 14:56, 3 users, load average: 0.55, 0.53, 0.57

[root@powerslave accounting]# free
total used free shared buffers cached
Mem: 6197132 4468384 1728748 0 375604 2129748
-/+ buffers/cache: 1963032 4234100
Swap: 4112376 9596 4102780

I da napomenem na kraju da su sva podesavanja koja smo radili bila PIG metodom :) Proba i greska... Ovo je konf koji nama trenutno lepo funkcionise. Ostaje da probam da skinem diskove iz raida i da vidim kako ce squid raditi na posebnom disku i da li bi opterecenje mashine bilo manje.

Poz

@BigFoot mislim da je do linka. kod mene je 10mbit link i kad on zakuca squid pobudali.

da li n asquid uticu drugi serveri tima web,ftp,mysql itd. ako su na istoj masini

i nama je link povremeno zakucan pa ne utice to na squid..

sve aplikacije koje rade na toj mashini naravno da uticu, mada smatram da web, ftp i slicni serveri ne opterecuju mnogo procesor, osim ako na toj mashini ne hostujes neki zesci webhosting :)

poz

@zivanicd koji ti je linux na toj m asini. upravo zavrsavam instalaciju 3.1 verzije koja podrzava multiprocesore. staru verziju sam obrisao pa cemo vidjeti kako ce ovo frcerat.

Fedora Core 11.

Potpuno sam zaboravio na Linux connection tracking. Sad sam podesio, ali i dalje imam puno konekcija. Npr.

Da li je ovo ok?

Drugi, možda problem, jeste što imam puno konekcija na MT oblika:

U - Unreplied

Npr.

Kako napraviti neku dijagnostiku ovoga, neki debug ruta, konekcija? Zašto su ove konekcije Unreplied? Da li su ovo možda Related konekcije ili je ovo normalno? Sve ovo je u kombinaciji sa PCC LB.
Konfiguracija je sledeća. Za svaku konekciju van na portu 80, MT radi dstnat <user_IP>:80 na 10.17.0.21:3128, a onda proxy pravi konekciju van <proxy_IP>:3128 -> <van_IP>:80. Možda je problem povratna ruta jer se ne radi NAT prema proxy?

rjesio sam problem sa squidom.
ukratko komplet server sam nanovo odradio, centos 5.5. + SQUID 3.1.

u ovoj verziji su izbacenne neke komandea u odnosu na 2.7 tako da oni primjeri za youtube ne rade.
u odnosu na stare verzija ova verzija ima komandi koje automatski rade, pa je moguce da i youtube tako radi.
uglavnom koliok sam primjetio kesira audio,video fajlove.
sve do sadasnje verzije su singlecore, a u novoj verziji (3.2. koja jos nije stable) najavili su da ce biti multiprocesorska.

Kako moguće da i youtube radi? Testiraj i potvrdi. Za multicore i starije verzije možeš da pokreneš u više instanci, a onda će sistem raspodeljivati zadatke po jezgrima.

Upgradovao sam server na Fedoru 14 x64.

Instalirao sam squid 3.1.11.

Primecuje se razlika u radu (avrage usage je manji) i squid proces uzima preko 3 giga rama sto do sada nije bio slucaj.

Lose je sto u 3.xx nema COSS-a.

Eh da... 3.1.11 koristi multicore... u TOP-u se vidi da squid proces koristi sve procesore uglavnom ravnomerno :)

_{[Ovu poruku je menjao zivanicd dana 19.03.2011. u 17:56 GMT+1]}

@zivanicd imal ta verzija mogucnost da kesira youtube?