# # $Source: /home/abel/c/berland/webroot/RCS/robots.txt,v $ # $NTNU: robots.txt,v 1.4 2004/02/05 13:45:58 berland Exp $ # # Angir hvilke websider vi ikke vil ha indeksert. # # Se http://info.webcrawler.com/mak/projects/robots/norobots.html # for spesifikasjoner. # User-agent: * Disallow: /ukeplan Disallow: /~erikfl/kalender/ Disallow: /scicade/textalk.php # # $Log: robots.txt,v $ # Revision 1.4 2004/02/05 13:45:58 berland # vil ikke ha søkemotorer til å lete gjennom textalks.php, den # genererer pdf eller ps on the fly, tar litt kapasitet og disk # på euler1. # # Revision 1.3 2002/09/12 13:21:12 berland # la til /~erikfl/kalender/ da den også inneholder rekursive lenker # # Revision 1.2 2002/07/18 16:18:22 berland # la til /ukeplan, den inneholder uendelige linker (rekursivt). # # Revision 1.1 2002/07/18 16:18:02 berland # Initial revision #