SEO: Crawl Budget Optimierung & Onsite SEO

ÖKONOMIE
DES
CRAWLING
@pip_net
BWL für SEOs
Vorlesung: 101
Dozent:
Dipl.-Kfm.
Philipp Klöckner
mail@pip.net
2016
SLIDES:
bit.ly/pipsmx2016

3/18/2016Philipp Klöckner 2
2005 2010 2015
Philipp Klöckner
Consultant & Angel Investor
Search & Organic Growth*
@pip_net

BWL: Was macht ein Wirtschaftswissenschaftler?
• Denken und Handeln nach dem ökonomischen Prinzip
• Den gleichen Output mit weniger Input erreichen
• Mit gegebenen Mitteln mehr Output erreichen
 Optimierungsprobleme lösen

Ökonomische Entscheidungen basieren auf der Annahme der „Knappheit“

Crawling „BUDGET“? Klingt irgendwie knapp, oder?

Warum ist Crawling budgetiert?

Google Data Center sind groß

Sehr groß…

Und brauchen Wasser zur Kühlung…

Aber Sie sind umweltfreundlich!

Google Data Centers – Sehr teure knappe Ressource
• 7 in North America
• 4 in Europe
• 2 in Asia
• 1 in South America
• +20% „Leased Facilities“
• Highly efficient
• $400-600m each
• 350MW footprint in total
• 10bn+ cost per year

Budget hilft Google knappe Ressourcen effizient zu verwalten
• Crawling kostet Geld. Viel Geld. Geld ist eine knappe Ressource.
• Crawling Ressourcen müssen effizient (wirtschaftlich) genutzt werden
• Webseiten erhalten ein spezifisches „Crawling Budget“, abhängig von:
• PageRank™
• Content Quality (DC, thin content)
• Freshness / Change Frequency
• Relevanz & Nachfrage
• Page Speed? Host Load?
• vermutlich NICHT: n Dokumente pro Host
• SONDERN: „Datacenter Computing-Time“ pro Domain pro Zeiteinheit
• Crawling Budget Optimierung = Google helfen mehr mit weniger zu erreichen

Warum ist das wichtig für GOOGLE?
Maximum-Prinzip
1. Vollständiger Index
2. Maximale Dokumenten-Aktualität
3. Realtime Content Discovery
 Bessere Suchergebnisse
Minimum-Prinzip
1. Ressourcen-Ver(sch)wendung minimieren
2. Webmaster/Server minimal belasten

Maximum Prinzip (Beispiel): Output verdoppeln
Problem
1. Ressource (Server): 1.000.000
2. Dokumente: 50.000.000.000.000 (50 Billionen)
3. Zeit pro Dokument: 2 Sekunden
4. Ein kompletter Durchlauf (1 Indexer CPU) = 3 Mio Jahre
Lösung
1. Server verdoppeln?
2. Hälfte der Dokumente wegschmeißen?
3. Zeit pro Dokument?
Page Speed RANKING BONUS! => nur noch 1 Sekunde pro Doc
Doppelt so viel Dokumente in der gleichen Zeit.

Warum sollte das für WEBMASTER wichtig sein?
• Crawling Budget ist relativ knapp (Fixum für Webmaster)
• Drei Herausforderungen für Webmaster
1. Vollständigkeit (Inventar zu 100% indiziert)
2. Aktualität (Dokumente auf dem neusten Stand)
3. Content Discovery (First Mover Advantage)
4. Priorisierung (Ressourcenallokation = Grenznutzen)
 Effiziente Crawling-Struktur aufbauen

Vollständigkeit & Aktualität
• Generelle Auffindbarkeit aller URLs
• Keine „Orphan Pages“
• Keine „Spider Traps“
• Akzeptable Auslieferung
• Validität des Code
• Paywalls, Interstitials, Redirects
• Page Speed / Host Load
• Korrekte Status Codes

Accessibility Check: Fetch and Render as GoogleBot in GSC

Accessibility Check: Check Crawl Errors in GSC

Accessibility Check: Google Text Cache
„Nur-Text-Version“ oder &strip=1 anhängen

Priorisierung des Crawlings (PageRank™ Sculpting)
SEO nach Pareto Prinzip
1. Manche Dokumente sind wichtiger als andere
2. Die meisten sind ökonomisch komplett nutzlos
3. Warum dann alle gleich crawlen?
4. Warum überhaupt crawlen und indizieren?
5. Beste Priorisierung: Ballast loswerden!

Duplicate Content = Ballast
“Imagine we crawl three pages from a site, and then
we discover that the two other pages were duplicates
of the third page. We’ll drop two out of the three pages
and keep only one, and that’s why it looks like it has
less good content. So we might tend to not crawl quite
as much from that site.”
Matt Cutts, 2010

1. Maßnahme: Panda Diät – Schlank und RANKing!

Panda Diät 101: Was ich immer glaubte… (und predigte)

Typische Umsatz- und Trafficverteilung
1. 5 von 6 Seiten haben in 100 Tagen nicht mal einen Besucher gesehen
2. 60.000 von 360.000 Seiten erhalten 100% des Traffics
3. Von allen Seiten generieren nur 0,5% (1.800) überhaupt Umsatz

Umsatzverteilung auf Pages: Pareto auf Crack

Panda Diät: Weniger ist mehr

Die restlichen 0,3 Prozent

Effizienz: Weniger ist mehr
5x?
0,1% of Pages

„Maximal effiziente Webseiten“

Ballast abwerfen: The Usual Suspects
• No Results Pages
• Thin Pages (few results, single review, out of
stock)
• Duplicate Content (internal & external)
• Detail Pages (SERPs & Catalogue oft bessere UX!)
• eCommerce
• Aggregation
• Classifieds
• Aber mein Longtail? Klasse statt Masse!
• Log File Analyse: GoogleBot Aktivität sehr guter
Qualitäts-Indikator für Dokumente

Effizienz II: Interne Verlinkung
Links aus GSC
oder OnPage.org
oder…

Effizienz II: Interne Verlinkung

Time for more „quick wins“ aka. „low hanging fruits“
Genug Theorie! Jetzt Hands-on!

Interne Verlinkung fixen mit „Bestseller Listen“ & Co.
1. Standard-Sortierung: Popularität
2. Dyn. Bestseller Listen für Priorisierung
3. „Neue Produkte“ für Discovery
4. Related Products für Vollständigkeit
5. Breadcrumb für Bottom Up Prio
6. Prio über Sitemap: You wish!

Make Pagination suck less…
1.Du verkaufst 10.000 Produkte
2.Du zeigst 15 Produkt pro Seite an
3.Also generierst Du mindestens 666 Seiten
4.Zeige 100 Produkte pro Seite an
5.Und Du generierst nur noch 100 Seiten.
6.Du hast jetzt 85% weniger Paginations-Müll

Denk nochmal über Pagination nach
Besser:
Noch besser:
Wer klickt denn bitteschön hierhin?

Brauchst Du die hier auf allen Unterseiten? Wirklich?
1. Oft reicht die Startseite (Klickrate messen)
2. Wenn sie so wichtig wären, wären Sie nicht im Footer, oder?

Wenn Mobile Subdomains nerven…

URLs ranken obwohl sie nicht im Index sind? 
VORSICHT: Advanced

Crawling & User Handling entkoppeln (Amazon.com)
1. BotSwitch aufsetzen
2. Canonical für Erwachsene: Dupe URLs 301en über Lookup
3. Viele Parameter am besten gar nicht mehr ausliefern für Bots
4. Features abspecken (Warenkorb, Login, Lupe, Wishlist, etc)
5. Image Serving
6. File Size
7. Page Speed
 Am besten mal ein Wochenendspaziergang auf Amazon machen.
VORSICHT:
UX nicht signifikant verändern! (Cloaking) – Amazon hilft Google hier nur beim crawlen.

10 Tipps
1. Crawling Budget ist in der Regel kein Hebel für kleine Websites (<1.000 URLs)
2. Crawling Budget Optimierung ist i.d.R. auch gutes „PageRank™ Sculpting“
3. Indexhygiene bzw. die „Panda Diät“ sind hervorragende Mittel zur Optimierung
4. Hör auf den Index zu Verstopfen! Beobachte GoogleBot und findet schwache Seiten!
5. Passe die interne Verlinkung dem Umsatzpotential der URL an (Excel, GSC, Tools)
6. Nutze Breadcrumbs und Bestsellerlisten!
7. Vereinfache Deine Pagination! (mehr Produkte, weniger Links)
8. Räume Deinen Footer auf!
9. Surfe mal als GoogleBot auf Amazon und vergleiche ;)
10: Finger weg von robots.txt wenn möglich.

Vielen Dank!
Twitter: @pip_net
LinkedIn: linkedin.com/in/kloeckner
Slides: bit.ly/pipsmx2016
Mail: mail@pip.net

SEO: Crawl Budget Optimierung & Onsite SEO

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Andere mochten auch

Andere mochten auch (20)

Ähnlich wie SEO: Crawl Budget Optimierung & Onsite SEO

Ähnlich wie SEO: Crawl Budget Optimierung & Onsite SEO (20)

SEO: Crawl Budget Optimierung & Onsite SEO