#####################################
#
# File used by search engine spiders
#
# /members only files are blocked.
# 
#
####################################
User-agent: *
Disallow: /
####################################
# Google only
# Ignore cgi and inc files
####################################
User-agent: googlebot
Disallow: *.cgi
Disallow: *.inc