Unser Crawler.
Was unser Crawler liest, welche Regeln er einhält und wie Sie ihn ausschließen können.
Wer wir sind
moveupjobs ist eine regionale Jobsuche mit Schwerpunkt Kreis Lippe. Unser Crawler meldet sich mit dem User-Agent moveupjobs-bot/1.0 und einem Link auf diese Seite.
Was er liest
Nur öffentliche Stellenanzeigen auf Karriereseiten von Arbeitgebern und deren öffentliche Bewerbungssystem-Feeds, keine Bereiche hinter einem Login. Gespeichert werden ein Textauszug der Anzeige ohne Kontaktdaten und die daraus aufbereiteten Fakten (Titel, Ort, Aufgaben, Bewerbungsweg), keine Bilder, keine Logos, kein HTML. Jede Stelle verlinkt auf Ihre Originalanzeige; Bewerbungen gehen direkt an Sie.
Welche Regeln er einhält
- Er befolgt Ihre robots.txt, auch eine Crawl-Delay-Angabe, und hält zusätzlich Mindestabstände zwischen den Abrufen ein.
- Vor dem ersten Abruf liest er Ihre verlinkten Rechtstexte (Impressum, Nutzungsbedingungen) und einen maschinenlesbaren Vorbehalt gegen Text- und Data-Mining (TDMRep, § 44b UrhG). Steht dort ein Verbot, lädt er nichts weiter.
- Antwortet Ihr Server mit „429“ oder „503“, wartet er wie angegeben; bei „403 Forbidden“ pausiert er einen Tag.
- Jede Prüfung wird mit Zeitpunkt protokolliert.
So schließen Sie ihn aus
Am schnellsten über Ihre robots.txt:
User-agent: moveupjobs-bot
Disallow: /Oder Sie schicken uns einen kurzen Widerspruch: Stellen entfernen lassen. Wir setzen ihn am selben Werktag um, nehmen Ihre Stellen offline und rufen Ihre Website nicht mehr ab.
Kontakt
Fragen zum Crawler beantworten wir über das Kontaktformular.