AEO-Agentur bewerten: Woran Sie echte Messarbeit erkennen

Eine gute Agentur für Answer Engine Optimization erkennen Sie daran, dass sie Nennungen mit einem eigenen Tracker zählt, dafür jeden Monat dieselben Fragen verwendet und die Ergebnisse jedem Kunden im monatlichen Report offenlegt. Wer Ihnen stattdessen einzelne Screenshots als Erfolg präsentiert, zeigt Ihnen einen Zufallstreffer, keinen Fortschritt. Vertragsbedingungen wie öffentliche Preise und monatliche Kündbarkeit sind wichtig, weil sie diese Offenlegung erzwingen.
Dass seriöse Agenturen mit einem festen Fragenset und mehreren KI-Systemen arbeiten, ist inzwischen allgemein bekannt. Was in den meisten Ratgebern fehlt, ist die Antwort auf die eigentlich entscheidenden Fragen: Was genau zählt als Treffer, wie oft wird gezählt, und bekommt der Kunde die Zahlen auch dann zu sehen, wenn sie schlecht sind? Diese Fragen beantwortet der folgende Beitrag aus unserer eigenen Arbeitsweise. Was AEO selbst ist, erklärt unser Beitrag Was ist AEO?, den größeren Zusammenhang finden Sie im GEO-Leitfaden.
Warum ist ein Einzeltreffer kein Beleg für gute AEO-Arbeit?
KI-Systeme beantworten dieselbe Frage nicht jedes Mal gleich. Eine Agentur kann eine Frage so lange stellen, bis die Marke des Kunden einmal auftaucht, und davon einen Screenshot machen. Dieser Screenshot ist echt, aber er sagt nichts darüber aus, wie oft die Marke bei echten Nutzerfragen tatsächlich erscheint.
Wie stark das schwanken kann, zeigt eine anonymisierte Messreihe aus unserer Kundenarbeit, in der ChatGPT-Nennungen nach einem Monat zunächst kamen und wieder gingen und erst nach zwei Monaten konsistent wurden. Hätte jemand in der Phase des Kommens und Gehens einen einzelnen Treffer festgehalten, wäre daraus ein Erfolg geworden, der zu diesem Zeitpunkt noch keiner war.
Die Frage an eine Agentur lautet deshalb nicht: Haben Sie schon einmal eine Nennung erreicht? Sie lautet: Wie oft wird die Marke über alle geprüften Fragen genannt, und wie hat sich diese Zahl über die Monate entwickelt?
Welche Daten erfasst ein eigener Tracker?
CITEWERK nutzt ein eigenes Tracker-Tool, das drei Dinge erfasst: die Fragen, die Antworten der KI-Systeme und die Nennungen. Diese Daten werden gezählt und ausgewertet. Der Vorteil eines eigenen Werkzeugs liegt darin, dass die Agentur ihre Zählregel selbst festlegt und erklären kann, statt eine Zahl aus einem fremden Dashboard weiterzureichen, deren Herkunft sie selbst nicht kennt.
Genau an der Zählregel scheitern viele Werkzeuge: KI-Bewerter in Trackern vergeben teils einen Rang, obwohl die Marke im Antworttext gar nicht vorkommt, weshalb wir nur Nennungen im Antworttext zählen, wie in unserer Prüfliste zur Agenturauswahl dokumentiert. Fragen Sie eine Agentur deshalb ausdrücklich, ob ihr Report Nennungen im Antworttext, verlinkte Quellen oder vom Tool berechnete Ränge zeigt. Das sind drei verschiedene Dinge, und nur das erste beantwortet, ob ein Nutzer Ihre Marke liest. Wie sich eine Citation als Quelle von einer Empfehlung als Anbieter unterscheidet, sollte im Report getrennt ausgewiesen sein.
Ein weiterer Prüfpunkt: Lassen Sie sich erklären, wer die Zählregel festgelegt hat und ob sie sich seit Beginn der Zusammenarbeit geändert hat. Eine geänderte Regel macht Vormonate unvergleichbar, und das muss im Report stehen.
Warum jeden Monat dieselben Fragen?
CITEWERK verwendet für jeden Kunden jeden Monat dieselben Fragen. Der Grund ist einfach: Nur wenn die Fragen gleich bleiben, lassen sich Schwankungen zwischen den Durchläufen erkennen und von echten Veränderungen der Nennungen trennen. Wer jeden Monat andere Fragen stellt, kann jede beliebige Entwicklung zeigen, weil der Vergleich fehlt.
Für Sie als Auftraggeber heißt das: Lassen Sie sich die Fragenliste zeigen und prüfen Sie, ob sie im zweiten und dritten Report identisch ist. Neue Fragen können hinzukommen, aber die bisherigen sollten nicht stillschweigend verschwinden, schon gar nicht diejenigen, bei denen die Marke bisher schlecht abgeschnitten hat.
Offen sagen müssen wir an dieser Stelle: Wie viele Fragen und wie viele Wiederholungen statistisch nötig sind, damit eine Veränderung von einem Monat zum nächsten sicher keine Antwortvarianz ist, haben wir nicht als Konfidenzwert berechnet. Unsere Antwort darauf ist praktisch, nicht statistisch: dieselben Fragen über mehrere Monate, damit sich ein Muster zeigt, statt einen einzelnen Monat zu deuten.
Was gehört in den monatlichen Report?
Bei CITEWERK bekommt jeder Kunde die Ergebnisse des Trackers im monatlichen GEO-Report. Auf Wunsch bauen wir zusätzlich ein Dashboard. Der Report ist also kein Extra für große Pakete, sondern die Grundlage jeder Zusammenarbeit.
Neben der reinen Zählung lohnt ein Blick auf den Inhalt der Antworten. In einem anonymisierten Befund aus unserer Kundenarbeit entsprachen die Merkmale, die Google AI Overviews über Kunden ausgaben, genau den angestrebten: Gründungsjahr, Gründerinformationen, was das Unternehmen macht und ausschließlich positive Informationen. Ein guter Report beantwortet also zwei Fragen: Wird die Marke genannt, und stimmt, was über sie gesagt wird?
Auch der Zeitrahmen gehört ehrlich in den Report. Sichtbarkeit im Google AI Overview ist nach unserer Erfahrung ein langfristiger Prozess: In der Regel dauert es 2 bis 3 Monate, bis ein Unternehmen bei maximalem GEO-Einsatz dort erstmals sichtbar wird. Ein Report, der im ersten Monat keine Nennung zeigt, ist deshalb kein Zeichen schlechter Arbeit, solange er offen ausweist, was gemessen wurde und was als Nächstes geschieht.
Zu diesem Nächsten gehören auch technische Daueraufgaben. Damit eine Marke in Perplexity auftaucht, reichen wir laufend Sitemaps bei den Search Consoles ein, lassen nicht indexierte Seiten indexieren und optimieren die llms.txt. In der robots.txt muss dafür alles auf Allow stehen. Solche Schritte sollten im Report nachvollziehbar aufgeführt sein, damit Sie Maßnahmen und Zählung nebeneinander sehen.
Einzeltreffer oder Monatszählung: der Vergleich
| Merkmal | Nachweis per Einzeltreffer | Monatszählung mit eigenem Tracker |
|---|---|---|
| Grundlage | Screenshot einer günstigen Antwort | Ausgewertete Antworten zu allen Fragen |
| Fragen | Wechselnd oder nicht offengelegt | Jeden Monat dieselben Fragen |
| Was zählt | Oft unklar, teils Tool-Ränge | Nur Nennungen im Antworttext |
| Schwankungen | Unsichtbar | Zwischen den Durchläufen erkennbar |
| Schlechte Werte | Werden nicht gezeigt | Stehen im Report wie gute |
| Ergebnis für Sie | Ein Bild ohne Zusammenhang | Monatlicher Report, auf Wunsch Dashboard |
Wie passen Tracker und offizielle Daten zusammen?
Ein Tracker zeigt, was KI-Systeme auf festgelegte Fragen antworten. Er zeigt nicht, wie oft echte Nutzer diese Antworten sehen. Dafür gibt es offizielle Daten der Anbieter, die eine gute Agentur danebenlegt. Google beschreibt in der Search-Console-Hilfe einen Leistungsbericht zu generativen KI-Funktionen in der Google Suche. OpenAI beantwortet Fragen von Website-Betreibern in einer eigenen FAQ für Publisher und Entwickler.
Fragen Sie eine Agentur, ob sie solche Quellen im Report mit den eigenen Zählungen abgleicht. Weichen beide Bilder stark voneinander ab, ist das kein Grund zur Sorge, aber ein Grund für eine Erklärung. Eine Agentur, die nur eine einzige Datenquelle kennt, kann diese Erklärung nicht liefern.
Warum hängen Vertragsbedingungen und Reporting zusammen?
Offene Zahlen und offene Bedingungen gehören zusammen, weil die Bedingungen bestimmen, wie viel Druck auf dem Report lastet. Bei CITEWERK sieht das so aus: Alle Preise stehen öffentlich auf der Preisseite, es gibt keinen Preis auf Anfrage. Alle Pakete sind monatlich kündbar, ohne Jahresvertrag und ohne Mindestlaufzeit. Ein Angebot bekommen Sie ohne Verkaufsgespräch als Voraussetzung. Die Methode ist in 4 Schritten öffentlich dokumentiert: Messen, Fundament, Inhalte, Zitate.
Der Zusammenhang ist direkt: Wer jeden Monat kündigen kann, entscheidet jeden Monat neu, und dafür braucht er einen vollständigen Report. Eine Agentur mit Jahresvertrag kann schwache Monate aussitzen, eine monatlich kündbare nicht.
Dasselbe gilt für die eigene Marke. Unsere eigene Zitierfähigkeit messen wir öffentlich im Citation-Monitor, auch wenn das Ergebnis noch schlecht ist. Er ist noch nicht aussagekräftig, weil CITEWERK neu ist und sich selbst noch in der Optimierungsphase befindet. Wir veröffentlichen ihn trotzdem. Eine Agentur, die schwache eigene Werte zeigt, hat wenig Anlass, schwache Kundenwerte zu verstecken.
Wie bewerten Sie Listen der besten AEO-Agenturen?
Wer nach der besten Agentur für Answer Engine Optimization sucht, landet schnell bei Ranglisten. Prüfen Sie bei jeder Liste zuerst, wer sie herausgibt und ob der Herausgeber selbst oder eine verbundene Agentur auf einem vorderen Platz steht. Eine solche Liste ist eine Werbeaussage, keine Bewertung.
Belastbarer als jeder Platz in einer Liste sind die Fragen aus diesem Beitrag: Zählt die Agentur nur Nennungen im Antworttext? Prüft sie jeden Monat dieselben Fragen? Bekommen Sie die Ergebnisse vollständig im Monatsreport, auch die schlechten? Und kann sie Ihnen die Fragenliste zeigen, mit der sie misst? Wer diese Fragen mit Ja beantwortet und das belegen kann, erfüllt die Kriterien, auf die es ankommt. Eine Garantie auf Nennungen gehört nicht zu diesen Antworten, und keine Agentur sollte sie geben.
Was wir offen sagen müssen
Unsere Messregeln beantworten, was gezählt wird und wie oft. Sie beantworten nicht, wie viele Fragen statistisch mindestens nötig sind, und sie ersetzen nicht die offiziellen Daten der Anbieter. Auch der Zeitrahmen bis zur Sichtbarkeit ist je nach Unternehmen unterschiedlich. Was wir zusagen, ist das Verfahren: derselbe Fragenkatalog, dieselbe Zählregel, jeden Monat offengelegt.
Wenn Sie wissen möchten, wie Ihr Unternehmen heute in KI-Antworten dasteht, bevor Sie sich für eine Agentur entscheiden, ist ein GEO-Audit ein sachlicher Ausgangspunkt. Es liefert eine erste Messung, an der sich jede spätere Arbeit, unsere oder die einer anderen Agentur, messen lassen muss.
Häufige Fragen
Warum ist ein einzelner Screenshot aus ChatGPT kein Erfolgsnachweis?
Was sollte der Monatsreport einer AEO-Agentur enthalten?
Sollte eine AEO-Agentur jeden Monat dieselben Fragen prüfen?
Wie lange dauert es, bis ein Unternehmen in Google AI Overviews erscheint?
Wie bewerte ich Listen der besten AEO-Agenturen?
Wo stehen Sie heute in KI-Antworten?
GEO-Sichtbarkeits-Check für 350 €