# As a condition of accessing this website, you agree to abide by the following
# content signals:

# (a)  If a Content-Signal = yes, you may collect content for the corresponding
#      use.
# (b)  If a Content-Signal = no, you may not collect content for the
#      corresponding use.
# (c)  If the website operator does not include a Content-Signal for a
#      corresponding use, the website operator neither grants nor restricts
#      permission via Content-Signal with respect to the corresponding use.

# The content signals and their meanings are:

# search:   building a search index and providing search results (e.g., returning
#           hyperlinks and short excerpts from your website's contents). Search does not
#           include providing AI-generated search summaries.
# ai-input: inputting content into one or more AI models (e.g., retrieval
#           augmented generation, grounding, or other real-time taking of content for
#           generative AI search answers).
# ai-train: training or fine-tuning AI models.
# use:      how AI systems may consume the content (immediate, reference, or full).

# ANY RESTRICTIONS EXPRESSED VIA CONTENT SIGNALS ARE EXPRESS RESERVATIONS OF
# RIGHTS UNDER ARTICLE 4 OF THE EUROPEAN UNION DIRECTIVE 2019/790 ON COPYRIGHT
# AND RELATED RIGHTS IN THE DIGITAL SINGLE MARKET.

# BEGIN Cloudflare Managed content

User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /

User-agent: Amazonbot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CloudflareBrowserRenderingCrawler
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: meta-externalagent
Disallow: /

# END Cloudflare Managed Content

# ============================================================
# robots.txt – einsKochbuch (einskochbuch.de)
#
# Grundsatz (Verzahnung Recht <-> Technik):
#  - LESEN durch KI-Assistenten ist erwuenscht: Antwort-/Assistenz-Bots,
#    die auf eine konkrete Nutzerfrage hin einzelne Seiten abrufen und
#    mit Quellenangabe verlinken, duerfen die oeffentlichen Inhalte wie
#    eine normale Suchmaschine lesen (Regeln unter "User-agent: *").
#  - FARMEN von Daten/Rezepten ist untersagt: das massenhafte Ernten des
#    Rezept-, Zutaten-, Naehrwert-, Produkt- und Community-Datenbestandes
#    zum Training generativer Modelle oder zum Aufbau eigener Datensaetze,
#    Suchsysteme oder Dienste ist technisch eingeschraenkt und rechtlich
#    vorbehalten.
#
# Rechtlicher Rahmen:
#  - Nutzungsvorbehalt fuer Text- und Data-Mining gem. § 44b Abs. 3 UrhG,
#    Schutz des Datenbankherstellers gem. §§ 87a ff. UrhG, AGB Ziffer 8 und 14.
#  - Ausfuehrliche, menschen- und maschinenlesbare Regelung:
#    https://einskochbuch.de/ki-und-data-mining/
#  - Maschinenlesbarer TDM-Vorbehalt (W3C TDM Reservation Protocol):
#    https://einskochbuch.de/.well-known/tdmrep.json
#  - Gesetzlich zwingend erlaubte Nutzungen (z. B. Text- und Data-Mining
#    fuer die wissenschaftliche Forschung nach § 60d UrhG) bleiben unberuehrt.
# ============================================================


# ------------------------------------------------------------
# 1) KI-Antwort-/Assistenz-Crawler (On-Demand, mit Quell-Link)
# ------------------------------------------------------------
# ChatGPT-User, OAI-SearchBot, PerplexityBot, Perplexity-User,
# Claude-User, Claude-Web, Claude-SearchBot, Meta-ExternalFetcher,
# DuckAssistBot, Google-CloudVertexBot und vergleichbare Assistenten
# sind hier BEWUSST NICHT gesperrt. Sie fallen unter "User-agent: *"
# (Abschnitt 4) und duerfen daher die oeffentlichen Seiten inklusive
# einzelner Rezepte lesen und zitieren – aber nicht die scraping-
# anfaelligen Massen-, Daten-, Tool- und API-Pfade (siehe Abschnitt 4).


# ------------------------------------------------------------
# 2) Trainings-/Dataset-Crawler grosser KI-Anbieter
#    -> nur Marken-/Informationsseiten, KEIN Rezept-/Datenkorpus.
#    So bleibt die Marke fuer KI sichtbar, das eigentliche
#    Rezept-, Zutaten-, Naehrwert- und Produktkorpus wird aber
#    nicht zum Trainieren abgeerntet.
# ------------------------------------------------------------
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: FacebookBot
User-agent: Meta-ExternalAgent
Allow: /$
Allow: /ueber-uns
Allow: /kontakt
Allow: /warum-einskochbuch
Allow: /fuer-kreatoren
Allow: /fuer-marken
Allow: /naehrwerte-erklaert
Allow: /markenwelt
Allow: /weltreise
Allow: /blog
Allow: /impressum
Allow: /agb
Allow: /datenschutz
Allow: /ki-und-data-mining
Disallow: /


# ------------------------------------------------------------
# 3) Daten-Broker, Dataset-Reseller und aggressive Scraper
#    -> vollstaendig ausgeschlossen (kein Quell-Link, kein Nutzen,
#       hohe Last / bekannte Massen-Abgriffe).
# ------------------------------------------------------------
User-agent: Bytespider
User-agent: cohere-ai
User-agent: Diffbot
User-agent: Omgili
User-agent: Omgilibot
User-agent: ImagesiftBot
User-agent: DataForSeoBot
User-agent: PanguBot
User-agent: Timpibot
User-agent: Webzio-Extended
User-agent: VelenPublicWebCrawler
User-agent: img2dataset
User-agent: iaskspider/2.0
User-agent: Scrapy
Disallow: /


# ------------------------------------------------------------
# 4) Regeln fuer alle uebrigen Crawler
#    (klassische Suchmaschinen UND die On-Demand-KI-Assistenten
#     aus Abschnitt 1): oeffentliche Seiten inkl. einzelner Rezepte
#     erlaubt, Massen-/Daten-/Tool-/API- und private Pfade gesperrt.
# ------------------------------------------------------------
User-agent: *
Allow: /

# --- Interne System- und Verwaltungsordner ---
Disallow: /_main/setup/
Disallow: /_main/includes/
Disallow: /_main/action/
Disallow: /_main/vendor/
Disallow: /_main/user/
Disallow: /_main/admin/
Disallow: /_main/src/
Disallow: /_main/debug/
Disallow: /test/
Disallow: /admin/
Disallow: /controlling/
Disallow: /_shop/

# --- API-Endpunkte (inkl. Bewertungen, Kommentare, Community) ---
Disallow: /api/

# --- Nutzer- und Produktbilder (Uploads) ---
# Hinweis: /_main/uploads/recipes/ ist bewusst NICHT gesperrt – die
# Rezeptbilder werden in og:image und im Recipe-JSON-LD referenziert und
# muessen fuer Bild-Rich-Results/Google Discover/Bildersuche crawlbar sein.
Disallow: /_main/uploads/users/
Disallow: /_main/uploads/products/
Disallow: /_main/uploads/brands/
Disallow: /_main/uploads/temp/
Disallow: /_main/uploads/shop/

# --- Userprofile und persoenliche Bereiche ---
Disallow: /profil/
Disallow: /myarea/
Disallow: /mein-bereich/
Disallow: /meine-daten/
Disallow: /meine-rezepte/
Disallow: /favoriten/
Disallow: /nachrichten/
Disallow: /gruppen/
Disallow: /einstellungen/
Disallow: /einkaufsliste/
Disallow: /vorrat/
Disallow: /wochenplan/
Disallow: /mahlzeit-erfassen/
Disallow: /rezept-erstellen/
Disallow: /kochbuch/
Disallow: /login/

# --- Such-, Listing- und Tool-Pfade (Scraping-anfaellige Massenuebersichten
#     und Datenexporte des Rezept-/Zutaten-/Naehrwertbestandes) ---
Disallow: /suche/
Disallow: /rezept-kompass/
Disallow: /naehrstoff-labor/
Disallow: /naehrwerte/
Disallow: /rezept-kalkulator/
Disallow: /zutaten-kompass/
Disallow: /zutaten-hubs/

# --- URL-Varianten mit Query-Parametern (Duplicate Content & Filter) ---
Disallow: /index.php
Disallow: /*?*recipeSearch=
Disallow: /*?*q=
Disallow: /*?*type=ingredient
Disallow: /*?*mode=
Disallow: /*?*maxTime=
Disallow: /*?*sort=
Disallow: /*?*filter=
Disallow: /*?*seite=
Disallow: /*?*page=
Disallow: /*?*user=
Disallow: /*?*ajax=
Disallow: /*?*utm_
Disallow: /*?*fbclid=
Disallow: /*?*gclid=
Disallow: /*&*

# ------------------------------------------------------------
# Sitemap
# ------------------------------------------------------------
Sitemap: https://einskochbuch.de/sitemap.xml