Artikelbewertung durch ein Large Language Model (LLM) - Ein Beispiel aus der Praxis

Aktuelle Wege ein LLM dazu zu “motivieren”, was man möchte.

Zusammenfassung

Damit das LLMs keinen “mist” bauen, wird in diesem Beispiel eine Antwortstruktur vorgegeben, der einfach zu folgen ist. Trotzdem bleibt das immer noch nur “fancy next word prediction” - aber immerhin besser, als alles, was man sonst in 1 Minute aus dem Ärmel schüttelt.

Hintergrund

Untenstehend ein Praxisbeispiel, wie ich momentan ein LLM aufrufe um sinnvolle(!) Antworten zu bekommen. Das ganze läuft lokal via ollama.
In den Kontext setzt das avante-plugin¹ ein großes system-prompt und fügt dort die gesamte Datei (in diesem Fall ein sehr langer markdown-text) ein.

¹ Neovim-Plugin, was den Editor quasi zu einem cursor.ai oder einem VS-Code mit allen Späßen aufbohrt

Insbesondere sieht man hier: Damit das LLM keinen “mist” baut oder zu sehr halluziniert, wird eine Antwortstruktur vorgegeben, der einfach zu folgen ist. Trotzdem ist das immer noch nur “fancy next word prediction” - aber immerhin besser, als alles, was man sonst in 1 Minute aus dem Ärmel schüttelt.

LLM-Interaktion

Call Metadata

• Datetime: 2025-06-05 13:47:11
• Model: ollama/cogito:14b
• Selected files:
  • background/BACKGROUND.md

Warnung

Enable deep thinking subroutine.

Welche Absätze gleichen sich inhaltlich zu stark? Welche Absätze sollten in andere Kapitel wandern?

Gehe den Text im Geiste Absatz für Absatz durch und zeig mir, dass du ihn gelesen hast.

Ein einfaches: "<Absatztitel>: ok" oder "<Absatztitel>: xx gefunden" reicht um pro Absatz eine Aussage zu treffen.

🤔 Thought content

1. Einleitung: Einführung in die Bedeutung der Dokumentation - ok
2. Inhaltliche Anforderungen an die Dokumentation:
   • Hier werden spezifische Inhalte definiert, die dokumentiert werden müssen
   • Keine Überschneidung mit anderen Abschnitten
3. Format und Struktur der Dokumentation:
   • Fokussiert auf die Formate und Strukturen der Dokumentation
   • Keine Überschneidung mit Inhaltlichen Anforderungen
4. Was macht eine gute Dokumentation aus:
   • Hier werden allgemeine Prinzipien für gute Dokumentation erläutert
   • Teile könnten in “Inhaltliche Anforderungen” oder “Format und Struktur” übernommen werden
5. (Teil-)automatisierte Dokumentationswerkzeuge:
   • Beschreibt spezifische Tools zur Automatisierung der Dokumentation
   • Keine Überschneidung mit anderen Abschnitten
6. Best Practices, Vorlagen und Checklisten:
   • Enthält praktische Ratschläge und Werkzeuge
   • Teile könnten in “Format und Struktur” oder “Was macht eine gute Dokumentation aus” integriert werden
7. Implementierung aller Vorschläge als ready-to-use Repository:
   • Beschreibt die Umsetzung der Empfehlungen
   • Keine Überschneidung mit anderen Abschnitten
8. Fazit:
   • Zusammenfassung und Schlussfolgerung
   • Keine Überschneidung mit anderen Abschnitten

Repsonse

Einleitung: ok

Inhaltliche Anforderungen an die Dokumentation: ok

Format und Struktur der Dokumentation: ok

Was macht eine gute Dokumentation aus: “Nutzungshilfen außerhalb der Dokumentation” könnte in “Format und Struktur” übernommen werden

(Teil-)automatisierte Dokumentationswerkzeuge: ok

Best Practices, Vorlagen und Checklisten: “Checkliste für die Mindest-Dokumentation” könnte in “Inhaltliche Anforderungen” integriert werden

Implementierung aller Vorschläge als ready-to-use Repository: ok

Fazit: ok