# robots.txt dla asg-reflektory.pl
# Zaktualizowano: 2025-01-27

User-agent: *
Allow: /
Allow: /en/
Allow: /ar/
Allow: /az/
Allow: /be/
Allow: /bn/
Allow: /cs/
Allow: /es/
Allow: /fi/
Allow: /fr/
Allow: /hi/
Allow: /hu/
Allow: /kk/
Allow: /ky/
Allow: /no/
Allow: /pt/
Allow: /ru/
Allow: /ta/
Allow: /tr/
Allow: /uk/
Allow: /ur/
Allow: /uz/
Allow: /terms/
Allow: /privacy/
Allow: /sitemap.html
Allow: /sitemap.xml
Allow: /css/
Allow: /imgs/

# Zablokuj katalogi i pliki, które nie powinny być indeksowane
Disallow: /go/
Disallow: /go/reg/
Disallow: /404.php
Disallow: /index1.html

# Zablokuj pliki systemowe i konfiguracyjne
Disallow: /*.php$
Disallow: /*.log$
Disallow: /*.sql$

# Zablokuj parametry URL (jeśli są używane)
Disallow: /*?*
Disallow: /*&*

# Zezwól na główne pliki sitemap
Sitemap: https://asg-reflektory.pl/sitemap.xml

# Specjalne reguły dla głównych wyszukiwarek
User-agent: Googlebot
Allow: /
Crawl-delay: 1

User-agent: Bingbot
Allow: /
Crawl-delay: 1

User-agent: Slurp
Allow: /
Crawl-delay: 1

# Zablokuj złośliwe boty
User-agent: AhrefsBot
Crawl-delay: 10

User-agent: SemrushBot
Crawl-delay: 10

User-agent: MJ12bot
Crawl-delay: 10