Teilweise lassen wir uns von hübschen Diagrammen täuschen und gelegentlich belügen wir uns selbst. In dieser Präsentation geht es um Online-KPIs und wie man mit vollkommen korrekten Zahlen trotzdem zu falschen Ergebnissen kommen kann.
Den Abschluss bilden 10 Punkte, wie man Statistik-Manipulationen erkennen kann.
Lassen Sie Sich von hübschen Grafiken belügen? Finden Sie es heraus!
1. Lügen meine Leistungskennzahlen?
Niels Dahnke
Madsack Market Solutions GmbH
Belügen wir uns selbst?
Was sind die relevanten Zahlen?
Wie erkennt man Manipulationen?
2. Niels Dahnke
Folie: 2
• Seit 2011 bei Madsack
• Vorher 10 Jahre heise online
• EDV-Beratung seit 1997
• Erste kommerzielle
Online-Projekte 1995
• Veröffentlichungen in
Fachzeitschriften
• Redner auf Fachkonferenzen
• Mitglied im IHK-Prüfungsausschuss
• Referent der Niedersächsischen Akademie
Niels Dahnke – Lügen meine Leistungskennzahlen?
3. Wieso können KPIs lügen?
Folie: 3
• Weil wir die falschen Fragen stellen.
• Weil wir sie falsch berechnen.
• Weil wir uns verrechnen.
• Weil wir sie missbrauchen.
Niels Dahnke – Lügen meine Leistungskennzahlen?
Abbildung: depositphotos.com
4. Leistungskennzahlen (KPIs)
Der Begriff Key Performance Indicator (KPI)
bzw. Leistungskennzahl bezeichnet in der
Betriebswirtschaftslehre Kennzahlen, anhand derer der
Fortschritt oder der Erfüllungsgrad hinsichtlich wichtiger
Zielsetzungen oder kritischer Erfolgsfaktoren innerhalb
einer Organisation gemessen und/oder ermittelt werden
kann.
Quelle: Wikipedia
Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 4
5. Eigenschaften von KPIs
• Kennzahlen sind stets mit direkten oder indirekten
Geschäftszielen verbunden.
• Kennzahlen zeichnen sich durch ihre Aussagekraft in
einem bestimmten geschäftlichen Rahmen aus.
• Kennzahlen verdichten verschiedene Informationen
zu einer Zahl, um Ziele kurz und klar darstellen und
messen zu können.
• Kennzahlen beweisen sich in der Praxis
oder sind über"üssig.
• Kennzahlen beantworten die Frage des Erfolgs.
Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 5
6. Ziele messen mit KPIs
• Wer nicht fragt...
...bekommt keine Antwort.
• Wer falsch fragt...
...bekommt keine zielführenden Antworten.
• Wer nicht hinterfragt...
...trifft falsche Entscheidungen.
Abbildung: depositphotos.com
Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 6
7. Ziele erreichen mit KPIs
Kennzahlen sind Antworten,
die mit klaren
Verantwortlichkeiten
&
Handlungsoptionen
verknüpft sein sollten.
Abbildung: depositphotos.com
Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 7
8. Was sind die SEO-KPIs?
• Pagerank
• Sichtbarkeit / Reichweite
• Kennzahlen aus Alexa und Compete
• Indexierte Seiten / Videos / Bilder
• Google News Oneboxen
• Backlinks
• verlinkende Domains
• verlinkende IPs
• Linkstärke
• Linktexte
Abbildung: depositphotos.com
Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 8
9. Noch mehr relevante KPIs?
• Reichweite
• Click-Through-Rate (CTR) / Klickrate
• Page Impressions / Seitenabrufe
• Visits / Besuche
• wiederkehrende Besucher
• Verweildauer
• Stickiness
• Performance der Keywords
• Markenbekanntheit
• durchschnittliche Bestellwert
• Abbruchrate im Bestellprozess
• ausgefüllte Kontaktformulare
• Zahl der Downloads
• Umsatz je Besucherklasse
• durchschnittliche Bestellwert
• Abbruchrate im Bestellprozess
• ausgefüllte Kontaktformulare
• Zahl der Downloads
• Umsatz je Besucherklasse
• Social Media
• Erwähnungen
• Recommendations
• Engagement
• Involvement
• Sentiment
• Markenbekanntheit
• Zahl der Nennungen
• Reichweite
(Freunde / Follower)
Abbildung: depositphotos.com
Niels Dahnke – Lügen meine Leistungskennzahlen? Folie: 9
10. Was sind denn nun relevante KPIs?
Folie: 10
• KPIs für wen?
• Geschäftsführung / Entscheider
• Controlling
• PR / Kommunikation / Marketing
• Einkauf / Vertrieb
• Kundenservice
• Marktforschung
• Produktion / Entwicklung
• Strategie
Niels Dahnke – Lügen meine Leistungskennzahlen?
Abbildung: depositphotos.com
11. Was sind denn nun relevante KPIs?
Folie: 11
• KPIs für was?
• Agenturpitch
• Monitoring / Marktbeobachtung
• Planung
• Strategie
• Themen / Produkte
• Ressourcen (Budget, Personal, Zeit)
• Dashboard
• Tages- / Monats-Analyse
• Echtzeit-Monitoring
Niels Dahnke – Lügen meine Leistungskennzahlen?
Abbildung: depositphotos.com
12. Wieso können KPIs lügen?
Folie: 12
• Weil wir die falschen Fragen stellen.
• Weil wir sie falsch berechnen.
• Weil wir uns verrechnen.
• Weil wir sie falsch bewerten.
• Weil wir sie falsch visualisieren.
• Weil wir sie missbrauchen.
Niels Dahnke – Lügen meine Leistungskennzahlen?
Abbildung: depositphotos.com
13. Mögliche Fragen
• Welche Keywords erzeugen hohe Deckungsbeiträge?
• Woher kommen die wertvollsten Besucher?
• Wie kann ich die Abbruchrate im Bestellprozess
verringern?
• Wie hoch ist die vorhandene Reichweite einer
Website im Verhältnis zum Potential?
• Welche Kampagnen oder Partnerseiten generieren
den wertvollsten Traffic?
• Was kostet ein neuer Kunde?
Folie: 13
Niels Dahnke – Lügen meine Leistungskennzahlen?
14. Falsch Bewerten, falsche Fragen
• Korrelationen – Was ist Ursache und was ist Wirkung?
• Bewirkt Social Media ein besseres Ranking?
• Oder führt ein gutes Ranking zu mehr Social Signals?
Folie: 14
Niels Dahnke – Lügen meine Leistungskennzahlen?
15. Falsch Bewerten, falsche Fragen
• Korrelationen – Was ist Ursache und was ist Wirkung?
• Bewirkt Social Media ein besseres Ranking?
• Oder führt ein gutes Ranking zu mehr Social Signals?
Ist McDonalds für den
Weltfrieden wichtig?
Folie: 15
Niels Dahnke – Lügen meine Leistungskennzahlen?
16. Falsch Bewerten, falsche Fragen
• Korrelationen – Was ist Ursache und was ist Wirkung?
• Bewirkt Social Media ein besseres Ranking?
• Oder führt ein gutes Ranking zu mehr Social Signals?
Es haben noch nie zwei Länder gegeneinander Krieg geführt, in denen es McDonalds gibt.
Folie: 16
Niels Dahnke – Lügen meine Leistungskennzahlen?
17. Falsch Bewerten, falsche Fragen
• Korrelationen – Was ist Ursache und was ist Wirkung?
• Bewirkt Social Media ein besseres Ranking?
• Oder führt ein gutes Ranking zu mehr Social Signals?
Folie: 17
Niels Dahnke – Lügen meine Leistungskennzahlen?
18. Falsch bewertet?
Folie: 18
Alles wird besser, obwohl sich nichts ändert.
Garten
Heimwerken
KFZ
Banner-‐A
Banner-‐B
Banner-‐A
Banner-‐B
Niels Dahnke – Lügen meine Leistungskennzahlen?
Banner-‐A
Banner-‐B
Ad-‐Impressions
200
40
20
20
30
100
Klicks
60
8
16
2
24
70
CTR
30%
20%
80%
10%
80%
70%
Welche Kampagne ist erfolgreicher,
gemessen an der CTR?
20. Falsch bewertet?
Aus diesem als Will-Rogers-Phänomen bekannten
Effekt, sollte man folgenden Schluss ziehen:
Folie: 20
Alles wird besser, obwohl sich nichts ändert.
Garten
Heimwerken
KFZ
Banner-‐A
Banner-‐B
Banner-‐A
Banner-‐B
Ohne Drill-Down trifft man
eventuell falsche Entscheidungen!
Niels Dahnke – Lügen meine Leistungskennzahlen?
Banner-‐A
Banner-‐B
Ad-‐Impressions
200
40
20
20
30
100
Klicks
60
8
16
2
24
70
CTR
30%
20%
80%
10%
80%
70%
Aufsummiert
Banner-‐A
Banner-‐B
Ad-‐Impressions
250
160
Klicks
100
80
CTR
40%
50%
21. Falsch gerechnet, falsche Daten
Folie: 21
• 90% der Analysten erstellen ihre
Berechnungen in Excel
• 50% alle Excel-Tabellen sind die
Basis für Entscheidungen
• Nur 33% der Kalkulationen sind
Dokumentiert
• Durchschnittliche Lebenszeit eines
Excel-Sheets ist 5 Jahre, eine Prüfung
der Berechnung $ndet fast nie statt.
• Geschätzte Verluste jährlich
10 Milliarden US-Dollar
Niels Dahnke – Lügen meine Leistungskennzahlen?
Felienne Hermans
40. Visualisierungs-Tricks
Folie: 40
Steigerung in Prozent
Sichtbarkeit zu Beginn: 0,0002 – extrem irrelevant
Sichtbarkeit am Stichtag: 0,0054 – sehr irrelevant
Steigerung um 2.600%
Niels Dahnke – Lügen meine Leistungskennzahlen?
41. Visualisierungs-Tricks
Folie: 41
Steigerung in Prozent
Sichtbarkeit zu Beginn: 0,0002 – extrem irrelevant
Sichtbarkeit am Stichtag: 0,0054 – sehr irrelevant
Steigerung um 2.600%
Niels Dahnke – Lügen meine Leistungskennzahlen?
43. So prüft man Statistiken
Folie: 43
1. Sind die Werte für mich überhaupt relevant?
2. Sind die Zahlen überhaupt ermittelbar?
3. Visuelle Manipulationen ausschließen.
4. Vergleichsdaten besorgen und vergleichen.
5. Ein"ussfaktoren & deren Gewichtung bestimmen.
6. Nachrechnen mit eigenen Formeln.
7. Daten hinter den Gra$ken anfordern.
8. Was genau werde berechnet?
9. Querdenken um Fehler zu $nden.
10. Je höher die Investitionssumme,
desto mehr Zeit für die Prüfung einplanen.
Niels Dahnke – Lügen meine Leistungskennzahlen?