Telekom blockiert Facebook-Crawler

Webhosting www.3d-bedachungen.de: Meta-Crawler wird serverseitig gedrosselt/geblockt (HTTP 418/429) — Bitte um Freischaltung

Sehr geehrte Damen und Herren,

ich betreue als Webagentur die Domain www.3d-bedachungen.de, die in einem Telekom-Webhosting-Paket gehostet wird.

Problem: Die Meta-Crawler (Facebook/Instagram/WhatsApp) können die Website nicht zuverlĂ€ssig abrufen. Dadurch funktionieren die Link-Vorschauen beim Teilen der Website nicht — fĂŒr unseren Kunden, einen Handwerksbetrieb, ein spĂŒrbarer Nachteil im Marketing.

Belege:

1. Der Meta Sharing Debugger (developers.facebook.com/tools/debug) meldet beim Scrapen der URL https://www.3d-bedachungen.de durchgehend den HTTP-Antwortcode 418 statt 200.

2. Eigene Tests (curl sowie externer HTTP-Client) zeigen eine systematische Sonderbehandlung der Meta-Crawler-Kennungen auf Ihrer Hosting-Plattform:
- Browser-Kennung (Mozilla/5.0): HTTP 200 OK
- User-Agent meta-externalagent/1.1: HTTP 429 Too Many Requests — bereits bei der ersten Anfrage, sowohl von einem Privatanschluss als auch von einer neutralen Server-IP aus
- User-Agent facebookexternalhit/1.1 (Einzelanfrage): HTTP 200 — Metas eigene Crawler-Infrastruktur erhĂ€lt jedoch durchgehend HTTP 418 (siehe Punkt 1)

3. Zum Vergleich: Eine identisch getestete Domain bei einem anderen Hoster beantwortet alle genannten Crawler-Kennungen mit HTTP 200. Die Drosselung ist also eine Konfiguration Ihrer Plattform.

4. Die .htaccess der Website enthÀlt keinerlei User-Agent-Regeln, Blockierungen oder Rate-Limits. Die Sonderbehandlung erfolgt serverseitig auf Plattform-Ebene (Response-Header: "server: IONOS Webserver", Server-IP 80.150.6.143).

Bitte: Nehmen Sie die offiziellen Meta-Crawler fĂŒr diese Domain vom serverseitigen Bot-Schutz bzw. Rate-Limiting aus — konkret die User-Agents facebookexternalhit und meta-externalagent bzw. die offiziellen Meta-Crawler-IP-Bereiche. Ziel ist, dass der Meta Sharing Debugger die Seite zuverlĂ€ssig mit HTTP 200 abrufen kann.

Screenshots des Sharing Debuggers und die vollstÀndigen Testausgaben reiche ich bei Bedarf gerne nach.

Vielen Dank und freundliche GrĂŒĂŸe
Sonja Ruster
ruster.MEDIA
Telefon: 0261 9731702