Validan je onaj u "doc root-u", taj drugi je moguce slucajno dospeo tu. Na taj "domain" folder svakako ne mozes da pridjes preko http-a nikako.

To znači da ti se robots fajl generiše automatski u cms.
Gore u pravilima koje si naveo imaš veoma konfuznu situaciju.
Pročitaj uputstva za 2016. godinu koju je dao Google, šta i kako.
Ona se prilično razlikuju od pređašnjih uputstava.

Dodatno testiraj u webmaster centrali šta se dešava ali prvo uradi update robots.txt fajla.

Istestirao sam sa Google robot testerom sintaksu i sve je OK.
Ali i dalje sa nekog drugog mesta vuce informaciju....

Kako da vidim gde CMS (Magento u ovom slucaju) smesta robots.txt?

Kako uopste google bot zna koji fajl da procita... mislio sam da je obavezno da bude u root i da se zove robots.txt... Kako CMS hendluje to?

Imaš u centrali u tabu robots.txt u donjem desnom uglu dugme submit (pošalji), potrebno je da povuče tvoj novi fajl i da ažurira taj koji vidiš u centrali.
Ukoliko i dalje bude ista situacija, onda ti se robots.txt generiše on-the-fly prilikom posete sajtu. To obično rade moduli ili dodaci.

Ako mislis u webmaster centrali, to submit ne sluzi tome... Ne moze meni svakako da presnimi preko tog fajla jer je chmod 644. moze samo da ga procita...
Pomenu mi kolega da guglam .htaccess, valjda i tu treba nesto da se "čačne" ta bi mi radio taj robots.txt

Google webmaster centrala sadrži keširani fajl robots.txt sa tvog servera.
Kada napraviš izmene u tom fajlu u centrali ćeš i dalje videti staru verziju fajla sve dok ne klikneš na dugme submit,
zatim odabereš opciju 1. u slici koju si postavio.
"Download updated code", tek onda će ti prikazati taj novi fajl i njega će takođe keširati tako da za buduće izmene imaš
to u vidu. To je standardna procedura kada edituješ robots.txt

Definitivno sam bio nejasan...

U htdocs imam vec robots.txt koji sam izmenio.
Ali kad odem na sajt/robots.txt ne vidim te izmene

Evo kako to izgleda

Vidis URL otvoren u chrome, i robots.txt otvoren u notepad kako bi trebalo da bude...

Dzaba mi bilo sta u webmaster-u da radim, jer to sto sam preko FTP izmenio i dalje se ne vidi kad ukucam url...

http://nekisajt.com/robots.txt vuce info odnekud drugde, ne vuce iz mog robots.txt fajla.

A koliko se secam, i dok nisam imao robots.txt u root-u, mogao sam da otvorim link http://nekisajt.com/robots.txt i da vidim isto ovo...

Hocu da kazem... da upisem peradetlic u taj txt fajl, pretpostavljam da kad ga otvorim iz browsera, to bi trebalo da pise?



_{[Ovu poruku je menjao CoyoteKG dana 08.05.2016. u 17:09 GMT+1]}

probaj sa www i bez www, u pitanju je vreme kesiranja i snimanja, jedan domen uvek radi brze snimanje :)

Isto je...
Koliko god da je sporo, pre 3 dana sam izmenio robots.txt i jos uvek kad otvorim taj link, ne radi :)

Da nema mozda neka druga prepreka?
Da hosting mozda ima negde neki robots.txt, i u appachu podesio za sve sajtove koje hostuju, da otvara taj "neki" drugi robots.txt, umesto ovog sto je u mom root-u?

Da nije nekako u htaccess podeseno?

Okacih moj htaccess kao attach.

Jesi eliminisao dodatke (plugins) kao izvor problema.
Prekontroliši ih da li imaju seo podešavanja.
Ukoliko imaju opciju za podešavanje robots.txt, to znači da se taj fajl generiše.
On nije prisutan na serveru, već se generiše po zadatim pravilima iz konzole.
To proveri obavezno, jer ako je to u pitanju, fajl sigurno nećeš pronaći pregledanjem foldera na serveru.

Nisam ja ucestvovao u pravljenju ovog sajta pa ni ne znam koji plugin cemu sluzi. Prosao sam sa kolegom i nismo nasli bilo sta vezano za robots fajl.

Ali evo, resio sam problem malopre. Ipak je hosting imao neko svoj "global" robots.txt fajl.
Sumnjao sam od pocetka u to, ali nisu znali da mi odgovore :), dok im se kolega jutros nije vratio sa odmora koji je to setovao...