quarto/Opinions/Don't train your own LLM.md

tags	title	doi	status	draft	categories
Writing Drezil incomplete Experience Article	Don't train your own LLM	not yet	Outline	true	Article ML Opinion

Common reasons to try to train your own LLM

• Gründe, wieso Leute das wollen - oder eher meinen zu wollen
  • "Wir vertrauen X nicht"
  • "Aber unsere Daten sind gaaanz besonders"
  • "Ich habe das gehört und es klingt gut."
• Nachteile
  • Trainingsdaten?
  • Trainingskosten?
  • Rechenkapazität?

Is finetuning at least feasible?

• tl;dr: only under specific circumstances
  • Netz muss Open-Source oder anders zugänglich sein => Häufig "geistiges Eigentum" oder "secret sauce"
  • Menge an annotierten Daten? Nur weil das Netz Open Source ist, heißt das nicht, dass die Trainingsdaten es auch sind.

Ok, that sounds like shit. What should i do then?

• Just™ use good prompting - this goes a very long way