40 lines
933 B
Markdown
40 lines
933 B
Markdown
---
|
|
tags:
|
|
- Writing
|
|
- Drezil
|
|
- incomplete
|
|
- Experience
|
|
- Article
|
|
title: Don't train your own LLM
|
|
doi: not yet
|
|
status: Outline
|
|
draft: true
|
|
categories:
|
|
- Article
|
|
- ML
|
|
- Opinion
|
|
---
|
|
|
|
## Common reasons to try to train your own LLM
|
|
|
|
- Gründe, wieso Leute das wollen - oder eher meinen zu wollen
|
|
- "Wir vertrauen X nicht"
|
|
- "Aber unsere Daten sind gaaanz besonders"
|
|
- "Ich habe das gehört und es klingt gut."
|
|
- Nachteile
|
|
- Trainingsdaten?
|
|
- Trainingskosten?
|
|
- Rechenkapazität?
|
|
|
|
## Is finetuning at least feasible?
|
|
|
|
- tl;dr: only under specific circumstances
|
|
- Netz muss Open-Source oder anders zugänglich sein => Häufig "geistiges
|
|
Eigentum" oder "secret sauce"
|
|
- Menge an annotierten Daten? Nur weil das Netz Open Source ist, heißt das
|
|
nicht, dass die Trainingsdaten es auch sind.
|
|
|
|
## Ok, that sounds like shit. What should i do then?
|
|
|
|
- Just™ use good prompting - this goes a very long way
|