---
tags:
  - Writing
  - Drezil
  - incomplete
  - Experience
  - Article
title: Don't train your own LLM
doi: not yet
status: Outline
draft: true
categories:
  - Article
  - ML
  - Opinion
---

## Common reasons to try to train your own LLM

- Gründe, wieso Leute das wollen - oder eher meinen zu wollen
  - "Wir vertrauen X nicht"
  - "Aber unsere Daten sind gaaanz besonders"
  - "Ich habe das gehört und es klingt gut."
- Nachteile
  - Trainingsdaten?
  - Trainingskosten?
  - Rechenkapazität?

## Is finetuning at least feasible?

- tl;dr: only under specific circumstances
  - Netz muss Open-Source oder anders zugänglich sein => Häufig "geistiges
    Eigentum" oder "secret sauce"
  - Menge an annotierten Daten? Nur weil das Netz Open Source ist, heißt das
    nicht, dass die Trainingsdaten es auch sind.

## Ok, that sounds like shit. What should i do then?

- Just™ use good prompting - this goes a very long way