Künstliche Intelligenz im textbasierten Content Marketing: Ein Experiment

Künstliche Intelligenz ist ein allumfassendes, sensibles, aber auch dauerprominentes Thema. Tools und Programme scheinen nur so aus dem Boden zu sprießen und auch im Bereich des Digital Marketing müssen sich Agenturen wie die dreifive mit stetiger Weiterbildung an das Thema annähern.

Zu allgemeinen Potenzialen, Herausforderungen und Einflüssen der KI auf Agenturen ist in unserem Optimize Blog bereits ein Beitrag online gegangen. In diesem neuen Blogbeitrag wollen wir euch nun aufzeigen, wie es konkret aussehen kann, wenn man eine Künstliche Intelligenz nutzt, um textbasierten Content zu generieren.

Theorien und Empfehlungen zum Umgang mit KI-Tools und dem richtigen Prompten kursieren bereits zahlreich. Um aber wirklich eine Vorstellung davon zu bekommen, wie eine bestimmte KI schreibt bzw. Content produziert, braucht es vor allem eins: Übung. Für uns als Agentur umso wichtiger, da wir an unsere Kund*innen nicht nur Empfehlung, sondern auch Erfahrungen weitergeben wollen.

KI-Texte vs. menschgeschriebene Texte – das Experiment

Das heißt nun also: selbst ausprobieren. Und was würde sich für solche ein Content-Experiment besser eignen als der dreifive Blog Optimize? In dem hauseigenen Blog werden pro Monat zwei bis vier Beiträge mit Themen und Insights rund um die Digital-Marketing-Welt und die Agentur dreifive veröffentlicht. Eine geeignete Spielfläche, um Content, der von einer Künstlichen Intelligenz generiert wird, menschlichen Originalen gegenüberzustellen.

Die Hypothese: Wissensreichtum und Zeitersparnis – die großen Vorteile von KI?

Die Vorüberlegung zu dem Experiment lehnt sich an den allgemein verbreiteten Konsens an, KI könne schneller und effizienter arbeiten als der Mensch allein. Diese Erzählung ist eigentlich nur eine wieder aufgewärmte Variante, die bereits in Zeiten der Industrialisierung und Automatisierung aufgetischt wurde. Und wieder bangen Menschen um ihre Jobsicherheit. Kann ein Algorithmus meine kreativen und generativen Fähigkeiten als Person ersetzen? Bringt die Künstliche Intelligenz einen so großen Wissensreichtum mit sich und kann sie diesen mit einer so signifikanten Zeitersparnis ausarbeiten, dass die Aufgabenfelder von Texter*innen oder SEO-Expert*innen gefährdet sind? Kurze Antwort: nein. Zumindest nicht so, wie KI-Systeme aktuell aufgebaut sind. Warum das so ist, hat sich uns im Verlauf des Experiments eindrücklich gezeigt.

KI vs. Mensch: Das experimentelle Setting

Für ein erfolgreiches Experiment muss zu Anfang ein entsprechendes Setting stehen. Der Plan lautete wie folgt: Vier Blogartikel werden in einen Zeitraum von mehreren Wochen veröffentlicht. Zwei von ihnen geschrieben von einer Künstlichen Intelligenz, zwei von Mitarbeitenden der Agentur dreifive. Jeweils zwei Blogbeiträge sollten dabei ein ähnliches Themengebiet abdecken:

• Das Thema Insights, mit der Motivation die dreifive transparent und interessant darzustellen.
• Die Wissensvermittlung, um die Expertise der Agentur darzulegen und Interessenten sowie (potenziellen) Kunden Wissen weiterzugeben.

Diesen beiden Themenfelder wurden gewählt, um auswerten zu können, ob die KI in verschiedenen Bereichen unterschiedlich gut einsetzbar ist. Außerdem wurde darauf geachtet, dass die Blogbeiträge je eine ähnliche Länge haben, um eine bessere Vergleichbarkeit garantieren zu können.

Als KI-Tool wurde ChatGPT von open.ai genutzt. Dabei wurde einer der Beiträge mit der kostenfreien Version geschrieben und der andere mit der zahlungspflichtigen.

Was messen wir eigentlich – Die KPIs

Aber wie lässt sich nun beurteilen, wie gut ein Blogbeitrag performt? Folgende zentrale Messwerte wurden bestimmt:

• Keywords und ihre Verteilung: Wie viele und welche relevanten Keywords kommen im Text vor? Wie oft kommen diese thematisch wichtigsten Keywords im Text vor? Wie ist die Keywordfamilie aufgebaut, wie viel Varianz ist in der Themenwelt vorhanden und ist alles abgedeckt?
• Bearbeitungsdauer: Wie lang brauchte der*die Autor*in ohne und mit KI, um einen qualitativ hochwertigen Beitrag zu verfassen? Wie viele Korrekturschleifen und Anpassungen sind nötig?
• Views & User: Mit Hilfe vonGA4 wurde außerdem bestimmt, wie viele Aufrufe und Nutzer*innen es auf den unterschiedlichen Beiträgen gab.

That’s it? Auswertung und Ergebnisse

Dieses Experiment wurde auf Basis eines sehr kleinen Settings und mit geringem Umfang durchgeführt. Erfahrungen und Learnings, die darauf gezogen werden können sind deshalb sehr individuell und können nicht pauschal übertragen werden. Vor allem die Ergebnisse aus Google Analytics sind deshalb weniger aussagekräftig. Das generelle Setting und die Vergleiche, die gezogen wurden, können jedoch für großformatigere Experimente genutzt werden.

Heruntergebrochen auf die einzelnen KPIs können folgende Ergebnisse zusammengefasst werden:

	KI-Beitrag I (Wissens-vermittlung und Expertise)	Mensch-Beitrag I (Wissens-vermittlung und Expertise)	KI-Beitrag II (Agentur-vorstellung und Insights)	Mensch-Beitrag I (Agentur-vorstellung und Insights)
Keywords und ihre Verteilung	Gute Verteilung der Keywords mit hoher Varietät und guter Relevanz	Gute Verteilung der Keywords mit hoher Varietät und hoher Relevanz	Sehr einseitig, repetitiv Ton der Agentur kann nicht getroffen werden	Intuitiver Erfahrungs-bericht in gutem Ton jedoch ohne viel Fokus auf Keyword-varietät
Bearbeitungs-dauer	4 h – gutes Prompting ist hier schnell zielführend – wenig Korrektur-schleifen	4,5 h – intensivere Recherche-phase notwendig	5 h – gutes Prompting schwierig – viele Korrektur-schleifen	2 h – kein Briefing notwendig – Schilderung aus Erfahrung
Views & User	Hier gab es auf Grund des zu geringen Zeitrahmens keine signifikanten Unterschiede.

Folgende Schlüsse lassen sich aus den Ergebnissen des kleinen Settings auch für zukünftige Contenterstellung mit KI ziehen:

• Die KI exzerpiert, analysiert und strukturiert Inhalte verlässlich
• Wissensbasierte Texte kann eine KI besser nachahmen als agenturbezogene Texte, die einen Blick hinter die Kulissen geben
• Zeitersparnisse mit KI funktionieren nur in einem limitieren Bereich
• Flexibilität und Transferleistungen sind unersetzliche menschliche Eigenschaften

Originalität als Schlüsseleigenschaft

Für die Erstellung von egal welchem Content gilt: Originalität is key! Das wird in Zukunft auch trotz, oder sogar auf Grund der zunehmenden Verbreitung von KI-Texten so bleiben. Warum? Ganz einfach: Je mehr Texte (seien es Blogartikel, wissenschaftliche Texte oder sogar ganze Webseiten) von künstlicher Intelligenz geschrieben werden, desto mehr künstlich generierte Inhalte schwemmen das Internet. Und wo lernen die KI-Algorithmen, woher nehmen sie ihre Bezugsquellen? Genau, aus dem Internet. Wenn nun also die KI anfängt sich selbst – und ihre eigenen Fehler – zu reproduzieren, sind wieder unser menschlicher Einfallsreichtum und unser Know-how gefragt!

Auch für KI-generierten Content kommt es auf die Art und Weise an, wie gepromptet und verarbeitet wird. Expertise ist demnach auf allen Ebenen gefragt. Sei es in der Auswahl des richtigen Tools, der effizienten und richtigen Nutzung dieses Tools oder der Qualitäts-Bewertung bzw. Anpassung des generierten Contents. Ob und wie viel Zeitersparnis durch die Arbeit mit Künstlicher Intelligenz erreicht werden kann, wird demnach durch das Fachwissen und Können der Experten bestimmt.