##########robots.txt
#Egy robots.txt feladata abból áll, hogy a keresők spider-jaival 
#szemben bizonyos oldalakhoz vagy jegyzékekhez a hozzáférést megtaga
# Ez nem jelent automatikus védelmet a hozzáférés ellen, sőt m
#inden websurfer, akit érdekel, le tudja hivni egy browser 
#segítségév Egy robots.txt elkészitése nem feltétlenül szükség
# de ajánlatos, hiszen a spider-ek automatikusan keresik őket, és ezör
# ott tudakozódnak. 
#Programozásuk nagyon körűltekintöen végzendő, mert egy túl 
#agresszívan dolgozó spider könnyen túlterheli a szervert, amelyen a 
#letöltött dokumentumok találhatók.
# User-Agent a Spider-re vonatkozik. A * mint egy Joker használandó és 
# azt jelenti, hogy a megadott adatok minden Spider-re érvényesek.
#####################

#minden robot felkérve
#Egy üres fájl ugyanazt a célt zolgálja.
User-agent: *
Disallow:

#Egy bizonyos robotot felkérni (pl. WebCrawler)
#User-agent: Slurp.so
#Disallow:


#google felkérve
User-agent: Mediapartners-Google*
Disallow:

#minden robot kizárva
#User-agent: *
#Disallow: /

#bizonyos jegyzékektöl minden robotot távol tartani
#User-agent: *
#Disallow: /nem fontos
#Disallow: /cgi-bin/

#Egy bizonyos robot kizárva (pl. Scooter)
#User-agent: Scooter
#Disallow: /


#Többféle fájlt kizárni
# az én robotom Info
#User-agent: *
#Disallow: /janos.htm
#Disallow: /abc.htm