initial

Opinions/Don't train your own LLM.md

@@ -0,0 +1,39 @@
+---
+tags:
+  - Writing
+  - Drezil
+  - incomplete
+  - Experience
+  - Article
+title: Don't train your own LLM
+doi: not yet
+status: Outline
+draft: true
+categories:
+  - Article
+  - ML
+  - Opinion
+---
+
+## Common reasons to try to train your own LLM
+
+- Gründe, wieso Leute das wollen - oder eher meinen zu wollen
+  - "Wir vertrauen X nicht"
+  - "Aber unsere Daten sind gaaanz besonders"
+  - "Ich habe das gehört und es klingt gut."
+- Nachteile
+  - Trainingsdaten?
+  - Trainingskosten?
+  - Rechenkapazität?
+
+## Is finetuning at least feasible?
+
+- tl;dr: only under specific circumstances
+  - Netz muss Open-Source oder anders zugänglich sein => Häufig "geistiges
+    Eigentum" oder "secret sauce"
+  - Menge an annotierten Daten? Nur weil das Netz Open Source ist, heißt das
+    nicht, dass die Trainingsdaten es auch sind.
+
+## Ok, that sounds like shit. What should i do then?
+
+- Just™ use good prompting - this goes a very long way