Screaming Frog SEO Spider

  • Allgemeines
  • Crawl Overview (Report)
  • Titles, Descriptions & DC
  • Weiterleitungen
  • Weiterleitungsketten (Report)
  • Robots, Canonicals, Rel=Next/Prev
  • Canonical Errors (Report)
  • Unsichere Inhalte (Report)
  • Broken-URLs
  • Wortanzahl & Dokumentengröße
  • H1 & H2 Überschriften
  • Alle internen Links (Report)
  • Seitenstruktur & Klicktiefe
  • XML-Sitemap generieren
  • Analytics-Daten importieren
  • Crawl-URLs vs. Analytics-URLs (Report)
  • SERP-Snippets checken & anpassen (Report)
  • Daten aus Websites extrahieren
  • Backlinks überprüfen
  • Broken-Linkbuilding

Allgemeines zum Screaming Frog


  • Der Screaming Frog ist ein Crawler für SEO Analysen
  • Kostenlose Version erlaubt Crawling von bis zu 500 URLs
  • Für Windows, Mac oder Ubuntu verfügbar
  • Installation erfordert mindestens: Java 7 & 512MB RAM
  • User-agent: Screaming Frog SEO Spider
  • Den englischen User-Guide findet ihr hier

Crawl Overview (Report)


  1. Crawl oder Upload einer ULR-Liste durchführen
  2. Menü:ReportsCrawl Overview
    Schnelle Gesamtübersicht über die wichtigsten Onpage-Optimierungs-Daten

Titles, Descriptions & DC


  1. Crawl oder Upload einer ULR-Liste durchführen
  2. Tab:Page Titles oder Tab:Meta DescriptionFilter-Kriterium im Filter-Feld oder rechts im Overview-Tab auswählen.
    Anmerkung: DC lässt sich gut mit dem Filter:Duplicate im Tab:Page Title oder Tab:Meta Description oder Tab:URI identifizieren
    Für Gesamt-Export mit oder ohne Filter-Kriterien
  • Menü:ReportsSERP Summary
  • Der Report kann zudem als Re-Upload Template im SERP-Modus genutzt werden

Weiterleitungen prüfen


  1. Crawl oder Upload einer ULR-Liste durchführen
  2. Tab:Response CodesRedirection (3xx) im Filter-Tab oder rechts im Overview-Tab auswählen
    Wenn man sehen will wo eine Weiterleitung verlinkt wird:
  • Eine URL auswählen und unten auf den Tab:Inlinks gehen oder
  • Menü: Bulk ExportResponse CodesRedirection (3xx) Inlinks

Weiterleitungsketten (Report)


  1. Menü:ConfigurationSpiderAdvancedAlways Follow Redirects
  2. Crawl oder Upload einer ULR-Liste durchführen
  3. Menü: ReportsRedirect Chains

Robots, Canonicals, Rel=Next/Prev


  1. Crawl oder Upload einer ULR-Liste durchführen
  2. Tab:DirectivesFilter-Kriterium im Filter-Feld oder rechts im Overview-Tab auswählen

Canonical Errors (Report)


  1. Crawl oder Upload einer ULR-Liste durchführen
  2. Menü: ReportsCanonical Errors
    Der Report zeigt alle Canonicals, die nicht dem Statuscode 200 entsprechen oder deren URLs nicht verlinkt sind.

Unsichere Inhalte (Report)


  1. Crawl oder Upload einer ULR-Liste durchführen
  2. Menü:ReportsInsecure Content
    Der Report zeigt alle HTTPS-URLs, die nach einer Migration noch auf HTTP-Elemente verweisen. Solche Fälle führen bei Browsern zu den bekannten Meldungen für unsichere Inhalte.

Broken-URLs


  1. Crawl oder Upload einer ULR-Liste durchführen
  2. Tab:Response CodesClient Error (4xx) im Filter-Tab oder rechts im Overview-Tab auswählen
    Wenn man sehen will wo eine Broken-URL verlinkt wird:
  • Eine URL auswählen und unten auf den Tab:Inlinks gehen oder
  • Menü: Bulk ExportResponse CodesClient Error (4xx) Inlinks

Wortanzahl & Dokumentengröße


  1. Crawl oder Upload einer ULR-Liste durchführen
  2. Tab:Internal → Spalte:Word Count oder Spalte:Size
    Word Count zählt alle Worte innerhalb des Body-Tag.
    Size bezieht sich bei HTML-Seiten auf die Größe des unkomprimierten HTML in Bytes.

H1 & H2 Überschriften


  1. Crawl oder Upload einer ULR-Liste durchführen
  2. Tab:H1 oder Tab:H2

Alle internen Links (Report)


  1. Crawl oder Upload einer ULR-Liste durchführen
  2. Menü:Bulk ExportAll Inlinks
    Enthalten sind die Spalten:
    Dokumententyp | Geber-URL | Ziel-URL | AltText | Anchor | Status Code | Follow-Status

Seitenstruktur & Klicktiefe


  1. Crawl oder Upload einer ULR-Liste durchführen
  2. Im rechten Bereich den Tab:Site Structure → Zeigt Ebenenverteilung & Top 20 URIs
  • Wenn für einzelne URLs die Ebene geprüft werden soll:
    Tab:Internal → URL auswählen
  • Wenn man den Crawl-Pfad/Klickpfad für bestimmte URLs einsehen will:
    Rechtsklick auf eine URLExportCrawl Path Report

XML-Sitemap generieren


  1. Crawl oder Upload einer ULR-Liste durchführen
  2. Menü:SitemapsCreate XML Sitemap oder Create Images Sitemap → Auswahl treffen
    In die Sitemap werden automatisch nur HTML-URLs mit Statuscode 200 aufgenommen.
    Mehr Infos gibts auf der Guide-Seite zum XML-Sitemap-Generator.

Analytics-Daten importieren


  1. Menü:ConfigurationAPI AccessGoogle Analytics → Mit gewünschtem Account verknüpfen & bis zu 20 Metriken auswählen
  2. Crawl oder Upload einer ULR-Liste durchführen
  3. Daten sind einsehbar unter Tab:Internal oder Tab:Analytics
    Über die Verknüpfung mit der Analytics-API ist ebenfalls die Abfrage von Adwords und Adsense-Daten möglich.
    Mehr Infos gibts auf der Guide-Seite zur Analytics-Integration.

Crawl-URLs vs. Analytics-URLs (Report)


  1. Analytics sollte verknüpft sein.
  2. Crawl oder Upload einer ULR-Liste durchführen
  3. Menü:ReportsGA & GSC Not Matched
    Findet verweiste Seiten, Fehlerseiten & nicht ans Tracking übergebene Seiten.
    Mehr Infos gibts auf der Guide-Seite zu den Reports.

SERP-Snippets checken & anpassen (Report)


  1. Crawl oder Upload einer ULR-Liste durchführen
  2. Ganz unten Tab:SERP SnippetURL in irgendeinem Tab auswählen
  3. Snippet checken oder anpassen
    Wenn mehrere Snippets angepasst werden sollen, bietet sich ein Bulk-Upload der Änderungen an.
  1. Als Vorlage den SERP Summary Report ziehen und anpassen:
    Menü:ReportsSERP Summary
  2. In den SERP-Mode wechseln & uploaden:
    Menü:ModeSERP → Button:Upload File
    Mehr Infos gibts auf der Guide-Seite zur SERP-Snippet-Funktion.

Daten aus Websites extrahieren


  1. Für die gewünschten Daten den CSSPath oder XPath über die Inspect-Funktion des Firefox oder Chrome kopieren
  2. Menü:ConfigurationCustomExtractionExtractor definieren per Regex, XPath oder CSSPath
  3. Crawl oder Upload einer ULR-Liste durchführen
  4. Tab:Custom → Filter:Extraction
    Beispiele und mehr Infos gibts auf der Guide-Seite zum Web-Scraping


  1. Menü:Mode → Backlinkliste als .txt- oder .csv-Datei hochladen
  2. Menü:ConfigurationCustomSearchFilter does not contain NameDerZieldomain
  3. Crawl durchführen
  4. Tab:Custom → Filter:den definierten Search-Filter auswählen
  5. Wenn hier eine URL auftaucht, dann ist dort der Backlink nicht mehr enthalten
    Beispiele und mehr Infos gibts auf der Guide-Seite zum Backlinks-Audit

Broken-Linkbuilding


  1. Liste erstellen aller URLs, die man auf ausgehende Broken-Links prüfen möchte
  2. Menü:ModeListUpload der Liste
  3. Menü:ConfigurationSpiderLimit Search Depth auf 1 und Check External Links
  4. Crawl durchführen
  5. Menü:Advanced ExportAll Out Links
  6. Im Export nach Statuscode 404 filtern → Zeigt ersten Schwung Broken-Links
  7. Im Export nach Statuscode 3xx filtern → Destination URLs als neue Liste speichern
  8. Menü:ConfigurationSpiderAdvancedAlways Follow Redirects
  9. Crawl der neuen Liste durchführen
  10. Menü:ReportsRedirect Chains → Zeigt zweiten Schwung Broken-Links
    Beispiele und mehr Infos gibts auf der Guide-Seite zum Broken-Linkbuilding