## robots.txt for Magento Community and Enterprise
##################################################################################################################
## GENERAL SETTINGS
## Enable robots.txt rules for all crawlers
User-agent: *
##################################################################################################################
## Crawl-delay parameter: number of seconds to wait between successive requests to the same server.
## Set a custom crawl rate if you're experiencing traffic problems with your server.
# Crawl-delay: 30
##################################################################################################################
## Magento sitemap: uncomment and replace the URL to your Magento sitemap file
# Sitemap: http://www.example.com/sitemap/sitemap.xml
##################################################################################################################
## Allow something
Allow: /shop/media/
##################################################################################################################
## DEVELOPMENT RELATED SETTINGS
## Do not crawl development files and folders: CVS, svn directories and dump files
Disallow: /shop/CVS
Disallow: /shop/*.svn$
Disallow: /shop/*.idea$
Disallow: /shop/*.sql$
Disallow: /shop/*.tgz$
##################################################################################################################
## GENERAL MAGENTO SETTINGS
## Do not crawl Magento admin page
Disallow: /shop/admin/
##################################################################################################################
## Do not crawl common Magento technical folders
Disallow: /shop/app/
Disallow: /shop/downloader/
Disallow: /shop/errors/
Disallow: /shop/includes/
Disallow: /shop/lib/
Disallow: /shop/pkginfo/
Disallow: /shop/shell/
Disallow: /shop/var/
##################################################################################################################
## Do not crawl common Magento files
Disallow: /shop/api.php
Disallow: /shop/cron.php
Disallow: /shop/cron.sh
Disallow: /shop/error_log
Disallow: /shop/get.php
Disallow: /shop/install.php
Disallow: /shop/LICENSE.html
Disallow: /shop/LICENSE.txt
Disallow: /shop/LICENSE_AFL.txt
Disallow: /shop/README.txt
Disallow: /shop/RELEASE_NOTES.txt
Disallow: /shop/magento-check.php
Disallow: /shop/magento-cleanup.php
Disallow: /shop/package.xml
Disallow: /shop/php.ini.sample
Disallow: /shop/demo.html
Disallow: /shop/index.php.sample
Disallow: /shop/ddd
##################################################################################################################
## Do not crawl custom written files for magento
Disallow: /shop/_image.jpg
##################################################################################################################
## MAGENTO SEO IMPROVEMENTS
## Do not crawl sub category pages that are sorted or filtered.
Disallow: /shop/*?dir*
Disallow: /shop/*?dir=desc
Disallow: /shop/*?dir=asc
Disallow: /shop/*?limit=all
Disallow: /shop/*?mode*
##################################################################################################################
## Do not crawl 2-nd home page copy (example.com/index.php/). Uncomment it only if you activated Magento SEO URLs.
## Disallow: /shop/index.php/
##################################################################################################################
## Do not crawl links with session IDs
Disallow: /*?SID=
Disallow: /?SID=
##################################################################################################################
## Do not crawl checkout and user account pages
Disallow: /shop/checkout/
Disallow: /shop/onestepcheckout/
Disallow: /shop/customer/
Disallow: /shop/customer/account/
Disallow: /shop/customer/account/login/
##################################################################################################################
## Do not crawl search pages and not-SEO optimized catalog links
Disallow: /shop/catalogsearch/
Disallow: /shop/catalog/product_compare/
Disallow: /shop/catalog/category/view/
Disallow: /shop/catalog/product/view/
##################################################################################################################
## SERVER SETTINGS
## Do not crawl common server technical folders and files
Disallow: /shop/cgi-bin/
Disallow: /shop/cleanup.php
Disallow: /shop/apc.php
Disallow: /shop/memcache.php
Disallow: /shop/phpinfo.php
##################################################################################################################
## IMAGE CRAWLERS SETTINGS
## Extra: Uncomment if you do not wish Google and Bing to index your images
# User-agent: Googlebot-Image
# Disallow: /
# User-agent: msnbot-media
# Disallow: /
##################################################################################################################
## robots.txt for TYPO3
##################################################################################################################
## Do not crawl files for typo3
# Exclude only folders with no link from frontend, like templates, css, js.
Disallow: /fileadmin/System/
Disallow: /fileadmin/templates/
Disallow: /fileadmin/ontop-link/
Disallow: /fileadmin/ontop-sofort/
Disallow: /fileadmin/ebook/
Disallow: /t3lib/
Disallow: /typo3/
Disallow: /typo3conf/
Disallow: /typo3temp/
Disallow: /fileadmin/user_upload/
Disallow: /fileadmin/Staude/esv/webplus/ 
#Disallow: /*?id=*
##################################################################################################################
## Do not crawl custom written files for typo3
Disallow: /Backend2/
Disallow: /createsend/
Disallow: /downloads/
Disallow: /fotolia/
Disallow: /FTP/
#Disallow: /js/
Disallow: /newsletter/
#Disallow: /responsive/
Disallow: /tools/