moved wiki here
This commit is contained in:
parent
319b1a8293
commit
d969fcf235
132
content/About/CV.md
Normal file
132
content/About/CV.md
Normal file
@ -0,0 +1,132 @@
|
||||
---
|
||||
title: Stefan Dresselhaus
|
||||
...
|
||||
|
||||
# Work-Experience
|
||||
|
||||
- **Oct. 2018 to Aug. 2021**:
|
||||
- ML-Specialist at [Jobware](https://jobware.de) (Paderborn; german Job-Advertising-Platform)
|
||||
- Extraction/Classification of sentences from JobAds (Requirements, Benefits, Tasks, ...)
|
||||
- Extraction of Information from JobAds (Location of company, Location of workplay, contact-details, application-procedure, etc.) including geocoding of those information (backed by OpenStreetMap)
|
||||
- Embedding of JobAds into a meaningful space (i.e. "get me similar ads. btw. i dislike ad a, b, c").
|
||||
- Analyse & predict search-queries of users on the webpage and offer likely but distinct queries (i.e. similar when typo or complete different words (synonyms, hyponyms, etc.))
|
||||
- Technologies used:
|
||||
- Haskell (currently GHC 8.6, soon GHC 8.8)
|
||||
- stack + stackage-lts
|
||||
- fixplate (recursion-schemes-implementation)
|
||||
- many usual technologies like lens, http-simple, mtl, ..
|
||||
- golden-testing via tasty
|
||||
- several inhouse-developments:
|
||||
- templating based on text-replacement via generics (fieldname in Template-Type == variable replaced in template)
|
||||
- activeMQ/Kibana-bridge for logging via hs-stomp
|
||||
- generic internal logging-framework
|
||||
- Python
|
||||
- tensorflow
|
||||
- pytorch
|
||||
- sklearn
|
||||
- nltk
|
||||
|
||||
- **2013-2018**:
|
||||
- several jobs at my University including
|
||||
- Worked 6 Months in the Workgroup "Theoretical Computer Science" on migrating algorithms to **CUDA**
|
||||
- Tutor "Introduction to Machine Learning"
|
||||
- Was awarded **Tutoring-Award** of the Faculty of Technology for excellent tutoring
|
||||
- Lecture "Intermediate Functional Programming in Haskell"
|
||||
- Originally developed as student-project in cooperation with Jonas Betzendahl
|
||||
- First held in Summer 2015
|
||||
- Due to high demand held again in Summer 2016 and 2017
|
||||
- Was awarded **Lecturer-Award** "silver Chalk" in 2016
|
||||
- First time that this award was given to students
|
||||
- Many lecturers at our faculty never get any teaching-award until retirement
|
||||
- Development of Pandoc-Filters for effective **generation of lecture-slides** for Mario Botsch (Leader Workgroup Computer Graphics) using Pandoc & reveal.js
|
||||
- Framework: [https://github.com/mbotsch/revealSlides](https://github.com/mbotsch/revealSlides)
|
||||
- Example: [https://github.com/mbotsch/eLearning](https://github.com/mbotsch/eLearning)
|
||||
- Pandoc-Filters: [https://github.com/mbotsch/pandoc-slide-filter](https://github.com/mbotsch/pandoc-slide-filter)
|
||||
|
||||
<img align="right" style='border:1px solid #000000; float:right; margin-left:20px' height='300px' src="/About/DresselhausStefan_klein2.jpg"/>
|
||||
|
||||
# Education
|
||||
|
||||
- **Bachelor** "Kognitive Informatik" (Cognitive Informatics) in Bielefeld 2010-2014
|
||||
- **Master** "Naturwissenschaftliche Informatik" (Informatics in the natural sciences) 2014-2018
|
||||
|
||||
## Extraordinary grades (Excerpt of my Transcript)
|
||||
Scale of grades in Germany is 1.0 to 4.0 with 1.0 being best, 4.0 being passing grade, 5.0 being failed grade
|
||||
|
||||
- **1.0 in Modern Data Analysis**
|
||||
- Master course on data-analysis (time-series, core-vector-machines, gaussian processes, ...)
|
||||
- **1.0 in Computergraphics**
|
||||
- Raytracing, Modern OpenGL
|
||||
- **1.3 in Computer-Animation**
|
||||
- Dual-Quarternion-Skinning, Character-Animation, FACS-Poses, etc.
|
||||
- **1.3 in GPU-Computing (CUDA)**
|
||||
- originally a 1.7 by timing (task was de-mosaicing on images, grade was measured in ms, whereby 400ms equated to 4.0 and 100ms equated to 1.0), but because my deep knowledge was visible in the code i was given a 1.3
|
||||
- **1.0 in Parallel Algorithms and Data-Structures**
|
||||
- **Ethical Hacking**
|
||||
- Reverse Engineering with IDApro
|
||||
|
||||
# Haskell-Enthusiast
|
||||
|
||||
- Learning/Writing Haskell since ~2014
|
||||
- Created and held advanced Haskell-Lecture at my University
|
||||
|
||||
## github
|
||||
|
||||
- [My Profile](https://github.com/Drezil/)
|
||||
- [Haskell-Lecture](https://github.com/FFPiHaskell/)
|
||||
- [Co-Founder of DataHaskell](https://github.com/DataHaskell)
|
||||
|
||||
## Highlights on github
|
||||
|
||||
- **Author** of Eve-Online-Interface in [yesod-auth-oauth2](https://github.com/thoughtbot/yesod-auth-oauth2/pull/33)
|
||||
- **Author** of "New Eden Accounting Tool" ([neat](https://github.com/Drezil/neat)), which is basically a ledger for Trading in the game Eve-Online
|
||||
- Driver behind getting [https://github.com/jgm/pandoc/issues/168]() implemented and merged, because we needed it for our slide-filters (see Work->Development of Filters)
|
||||
- **Author** of [img2ascii](https://github.com/Drezil/img2ascii) - Small cli-tool for converting images into terminal-codes & ascii using JuicyPixels, because i always forget what is on the images over an ssh-connection -.-
|
||||
- **Implemented Array-Fusion and Recycling** for [subhask](https://github.com/mikeizbicki/subhask/pull/57) as layed out in [Recycle your Arrays](https://doi.org/10.1007/978-3-540-92995-6_15) by Roman Leshchinskiy
|
||||
- [**Raytracer** in Haskell for my Computergraphics-Course](https://github.com/Drezil/htrace)
|
||||
- **implementation of [Densely Connected Bi-Clusters](https://github.com/Drezil/hgraph)-Algorithm** in Haskell ([Paper](https://www.researchgate.net/profile/Recep_Colak/publication/267918524_DENSELY-CONNECTED_BI-CLUSTERING/links/560f1aff08ae483375178a03.pdf))
|
||||
- several other dead projects :D
|
||||
|
||||
|
||||
# Studium generale / University-Life
|
||||
|
||||
(What I did at university besides studying ;) )
|
||||
|
||||
## Committees / Student Body
|
||||
|
||||
- Student Member of Studienbeirat Informatik (Study-Profile Commission)
|
||||
- Student Member of Tutorenauswahlkommission (Tutor-Selection Committee)
|
||||
- Leader Tutorenevaluation (Evaluation of Tutors)
|
||||
- Student Member of NWI-Master-Auswahlausschuss (Master-Application Committee for my course of study)
|
||||
- Student Member of NWI-Master-Prüfungsausschuss (Committee for Exam-disputes of my Master course)
|
||||
- Member of the Admin-Team for the student-body pcs
|
||||
|
||||
## ekvv-Links (entries in the electronic course-catalog)
|
||||
|
||||
|
||||
### Summer 15
|
||||
|
||||
- [Fortgeschrittene funktionale Programmierung in Haskell](https://ekvv.uni-bielefeld.de/kvv_publ/publ/vd?id=54004629) (Haskell-Lecture)
|
||||
|
||||
- [Lecture on YouTube](https://www.youtube.com/playlist?list=PLMqFm6rr-xOWhXGroUXzWx00FeaBNfbsa)
|
||||
|
||||
### Summer 16
|
||||
|
||||
- [Fortgeschrittene funktionale Programmierung in Haskell](https://ekvv.uni-bielefeld.de/kvv_publ/publ/vd?id=71172682) (Haskell-Lecture)
|
||||
|
||||
- [Lecture on YouTube](https://www.youtube.com/playlist?list=PLMqFm6rr-xOUEf2YjSxRn8BIhrdRIhZw6) (differs from link above)
|
||||
- This was the **"silver chalk"-lecture**
|
||||
|
||||
### Winter 16/17
|
||||
|
||||
- [Richtig Starten](https://ekvv.uni-bielefeld.de/kvv_publ/publ/vd?id=84763664) (Start Right!)
|
||||
- [Tutor Introduction to Machine Learning](https://ekvv.uni-bielefeld.de/kvv_publ/publ/vd?id=79599350) (Tutor in this Lecture)
|
||||
- Was awarded **Tutoring-Award** of the faculty
|
||||
- Remade and updated slides for [Computergraphics-Lecture](https://ekvv.uni-bielefeld.de/kvv_publ/publ/vd?id=79016005)
|
||||
- Lecture was **awarded "silver chalk"** among others things because of the updated slides.
|
||||
|
||||
### Summer 17
|
||||
- [Fortgeschrittene funktionale Programmierung in Haskell](https://ekvv.uni-bielefeld.de/kvv_publ/publ/vd?id=94694136) (Haskell-Lecture)
|
||||
- Same as Summer 16
|
||||
- Totally **reworked Exercises** accompanying the lecture
|
||||
|
||||
BIN
content/About/DresselhausStefan_klein2.jpg
Normal file
BIN
content/About/DresselhausStefan_klein2.jpg
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 87 KiB |
62
content/Android/Einrichtung.md
Normal file
62
content/Android/Einrichtung.md
Normal file
@ -0,0 +1,62 @@
|
||||
---
|
||||
categories: Android, Tutorial
|
||||
toc: yes
|
||||
title: Einrichtung Android-Smartphones
|
||||
...
|
||||
|
||||
Hier stelle ich meine Erfahrungen und die Einrichtung meines Smartphones vor. Keine Garantie auf Übertragbarkeit und Aktualität.
|
||||
|
||||
# HTC One (M7)
|
||||
|
||||
Ich nehme an, dass das Smartphone gerooted ist - andernfalls gibt es dazu viele Anleitungen im Netz. Von Vorteil ist hier ein "international"-Phone (Also OHNE Vertrag). Telefone MIT Vertrag lassen sich nur ohne Sicherheitsgurte flashen und man kann diese Sicherheitsmaßnahmen auch im Nachhinein nicht mehr anschalten. Hierdurch kann (wenn eine Applikation root bekommt UND sie böse ist UND nen paar Sachen richtig macht) das Smartphone in einen teuren Ziegelstein verwandeln.
|
||||
|
||||
## ROM
|
||||
|
||||
Ich benutze [Android Revolution HD](http://forum.xda-developers.com/showthread.php?t=840040) - die auf dem Original von HTC aufsetzt und für mich extrem stabil läuft (kein Absturz bisher). Bei anderen ROMs (CyanogenMod, ..) hab ich bei anderen Leuten mäßige Erfahrungen gemacht, die ein weiteres Patchen etc. notwendig gemacht haben. Allerdings kann man hier auch durchaus flexibel sein.
|
||||
|
||||
## Interface
|
||||
|
||||
Bei meiner ROM wird das original HTC-Interface mitgeliefert, welches dem Standard-Android ähnlich sieht. Dies ist für meine Zwecke kompletter Mist. Ich will mit max 3 Klicks/Gesten was gestartet haben - und nicht erst 3 Wischgesten machen, drölf Widgets, die blinken etc. haben.
|
||||
|
||||
Daher nutze ich den [SmartLauncher](https://play.google.com/store/apps/details?id=ginlemon.flowerfree) ([YouTube-Preview](http://www.youtube.com/watch?v=DdJLYqNi7dY)) mit [KDE-Theme](https://play.google.com/store/apps/details?id=ginlemon.sltheme.oxygen) und [Notify-App](https://play.google.com/store/apps/details?id=ginlemon.smartlauncher.notifier)
|
||||
|
||||
Dies sorgt für eine sehr simple Oberfläche (für dich mich bisher viele beneidet haben).
|
||||
|
||||
## Kalender/Kontakte
|
||||
|
||||
Kürzlich habe ich meinen Kalender eingerichtet. Ich wollte, dass dieser synchron ist mit meiner ([owncloud](http://owncloud.org/)), welche auf meinem Server läuft. Dies kann man sich auch selbst zu Haus einrichten (z.b. auf einem Raspberry Pi und per dyndns nach außen freigeben). Ich gebe meine Kalender und Kontaktdaten ungerne an Google, Yahoo, Facebook, etc. pp.
|
||||
|
||||
[SolCalendar](https://play.google.com/store/apps/details?id=net.daum.android.solcalendar) ist einer der wenigen, welche das CalDav-Format frei konfigurierbar unterstützten. Bei vielen anderen hat man dort Google oder Yahoo zur Auswahl - aber kann keinen eigenen Server eingeben. Dies synchronisiert auch in den Android-Eigenen Kalender hinein (Vorsicht: Google-Kalender-Synchronisation ausschalten! Sonst hat man wieder alles da..) und kann somit z.b. vom Standard "Sperrbildschirm" angezeigt werden.
|
||||
|
||||
Meine owncloud kann ich so vom PC (Thunderbird oder Browser) steuern, per Cronjob mit Terminen versorgen (z.b. spielt mein Server jeden Tag den ekVV-Stundenplan ein) und auch auf dem Smartphone alles editieren.
|
||||
|
||||
Für die Kontakte lege ich jedem diesen Programmierer ans Herz: [Marten Gajda](https://play.google.com/store/apps/developer?id=Marten+Gajda) - sämtliche Apps funktionieren miteinander, sind aber zum Teil kostenbehaftet. CardDav Sync free synchronisiert Kontakte allerdings tadellos. Für den Kalender (mit ähnlichen Features wie beim SolCalendar) werden aber 2,59€ fällig. Langfristig soll dieser aber auch OpenSource (und damit kostenfrei) werden.
|
||||
|
||||
## Nützliche Apps
|
||||
|
||||
Hier kurz nützliche Apps und wofür diese da sind:
|
||||
|
||||
- [ES Datei Explorer](https://play.google.com/store/apps/details?id=com.estrongs.android.pop)
|
||||
Dateien öffnen, verschieben, suchen, ...
|
||||
Inkl. Media-Player etc.
|
||||
- [Free Note](https://play.google.com/store/apps/details?id=com.suishouxie.freenote)
|
||||
Kurze Notizen
|
||||
- [Alkido](https://play.google.com/store/apps/details?id=com.aldiko.android)
|
||||
eBook-Reader (auch für pdf)
|
||||
- [Folder Sync](https://play.google.com/store/apps/details?id=dk.tacit.android.foldersync.lite)
|
||||
Sync von Dateien mit meiner ownCloud (z.Zt. nur manueller batch-upload von Fotos bei mir)
|
||||
- [GnuPG-Client](https://play.google.com/store/apps/details?id=com.flipdog.crypto.plugin)
|
||||
- [Mail](https://play.google.com/store/apps/details?id=com.fsck.k9)
|
||||
- [VLC](https://play.google.com/store/apps/details?id=org.videolan.vlc.betav7neon)
|
||||
Alternativer Media-Player für "komische" Formate, kaputte Dateien etc.
|
||||
- [Root Uninstaller](https://play.google.com/store/apps/details?id=com.rootuninstaller.free)
|
||||
Entfernen von Applikationen auf der Systempartition (z.b. Facebook, Chromium, ...)
|
||||
Vorsicht: KANN eine Neuinstallation nötig machen, wenn wichtige Dinge gelöscht werden!
|
||||
- [AnkiDroid](https://play.google.com/store/apps/details?id=com.ichi2.anki)
|
||||
Vokabeln/Sprachen etc. lernen unterwegs.
|
||||
|
||||
## LMT
|
||||
|
||||
Der letzte Schrei auf gerooteten Smartphones ist LMT: [YouTube-Demo](http://www.youtube.com/watch?v=oha8ijaD9dc).
|
||||
|
||||
[Installations-Anleitung](http://pocketnow.com/2013/02/05/lmt-launcher-for-android)
|
||||
19
content/Argumentation.md
Normal file
19
content/Argumentation.md
Normal file
@ -0,0 +1,19 @@
|
||||
---
|
||||
categories: Argumentation
|
||||
toc: yes
|
||||
title: Argumentation
|
||||
...
|
||||
|
||||
Argumentation ist eine auf [Logik]() basierende form der Unterhaltung.
|
||||
|
||||
Idealerweise zeigen beide Seiten (verschiedene oder über den Argumentationsverlauf angepasste) Folgerungen aus Initialbedingungen.
|
||||
|
||||
Die einfachste Variante ist der Logische Schluss (=Implikation), also auf Deutsch: Wenn A gilt, muss B. **Wenn** es regnet, ist die Straße nass.
|
||||
|
||||
Meistens geht es in einer Argumentation darum, dass man dem anderen seine Argumente aufweist (also die eigenen Vorbedingungen) und dann den Schluss zieht.
|
||||
Allerdings gibt es hier dann noch eine individuelle Gewichtung der Vorbedingungen. Was für den einen trivial sein kann (Fliegen, Aufzug fahren, Vorträge halten, ...), muss für den anderen nicht genauso gelten. Somit kann man aus den gleichen Eingangsbedingungen verschiedene Schlüsse ziehen. Allerdings wird derselbe Mensch bei selben Wissen dieselben Konsequenzen ziehen (Nachher ist man immer schlauer. Erfahrung braucht man meist kurz bevor man sie gemacht hat).
|
||||
|
||||
Auch kann der Schluss individuell variieren, wenn Dritte betroffen sind. Wenn ich eine Geldbörse finde und diese zurückgebe, ist der Besitzer glücklich. Ob ich dann das Geld drin lasse oder für mich nehme ist dann eine Frage der Moral.
|
||||
Da sich aber Moral noch schlechter verallgemeinern lässt, halten wir sie in einer Argumentation erstmal heraus und lassen sie nur zur Entscheidung beitragen, wenn es aus den Ausgangsbedingungen überhaupt mehr als eine Möglichkeit gibt. Wenn es nämlich für ein gegebenes Problem x nur eine Lösung gibt und man dieses Problem lösen will, so muss man diesen Schluss ziehen.
|
||||
|
||||
|
||||
22
content/Gesellschaft/Religion/ArgumentGott.md
Normal file
22
content/Gesellschaft/Religion/ArgumentGott.md
Normal file
@ -0,0 +1,22 @@
|
||||
---
|
||||
categories: Gesellschaft Religion Gott Argumentation
|
||||
toc: yes
|
||||
title: Argumentation mit Gott
|
||||
...
|
||||
|
||||
Eine [Argumentation](/Argumentation) mit dem einschließen eines Gottesbegriffes oder eines Eingreifens kann keine Argumentation sein, da dieses die fundamentalen Eigenschaften der dahinterliegenden [Logik](/Logik) in Frage stellt.
|
||||
|
||||
Die einzige Möglichkeit einen Gott in einer objektiv logischen Argumentation, welche nicht durch Individualinteressen motiviert ist, ist indem man den Terminus Gott mit bottom ($\perp$) gleichsetzt.
|
||||
Taucht dieser Terminus in einer beliebigen logischen Formel auf, ist anschließend jede Folgerung legitim. Allerdings führt dies in der Konsequenz die Logik als solche ad-absurdum, da sämtliche anderen Regeln nicht mehr gelten.
|
||||
|
||||
Somit ist in der Konsequenz einer Argumentation, die eines "Gottes" (oder allgemeiner eines $\perp$) bedarf ungültig (da nicht logisch fundiert) und in der Folge reine Zeitverschwendung, weil man so alles rechtfertigen kann.
|
||||
|
||||
Dieses widerstrebt vielen logisch denkenden Menschen, was meist zu Hass und Rage gegen die eine oder andere Gruppe führt. Auch bildet sich somit ein Reflex heraus, der viele Leute bei der bloßen Erwähnung eines Gottesbezuges abschalten lässt.
|
||||
|
||||
Leider missverstehen viele Leute auch, dass Gott in der Argumentation **nötig** wäre. Die meisten Argumentationen sind auch ohne Gottesbezug valide und logisch. Häufig wird "Gott" (wahlweise auch "Jesus", "Buddah", "Jahwe", "Mohammed", ...) benutzt um eine *Motivation* zu rechtfertigen. Bei rationalen Menschen benötigt es aber diesen Antrieb nicht, da dieser intrinsisch entwickelt wird, sobald die Argumentation logisch-sachlich geführt wurde.
|
||||
|
||||
Ein Terminus "Gott" macht somit eine Argumentation obsolet und wird leider meist als letztes Mittel gebraucht, wenn einem alle anderen Argumente ausgehen.
|
||||
|
||||
Sapere aude! - Habe Mut dich deines eigenen Verstandes zu bedienen! Wenn es allerdings Menschen gibt (und die gibt es!), die einen "Gott" als Motivation brauchen, dann ist dieses Mittel völlig legitim. Wenn man allerdings anderen Menschen, die diesen "psychologischen Trick" nicht benötigen, weil sie sich selbst ihrer Handlungen und ihrer selbst bewusst sind, dann hat dieses meist genau die Gegenteilige Wirkung: Blanke Ablehnung.
|
||||
|
||||
Das Problem bei vielen Argumentationen in diese Richtung ist, dass es Häufig mindestens einer (meist beiden) Seiten *nicht bewusst* ist, was dort eigentlich grade passiert.
|
||||
433
content/Haskell/Code_Snippets.md
Normal file
433
content/Haskell/Code_Snippets.md
Normal file
@ -0,0 +1,433 @@
|
||||
# Was ist das hier?
|
||||
|
||||
Hier schreiben wir ein paar Code-Highlights auf, die uns begegnet sind.
|
||||
|
||||
## Monoid? Da war doch was...
|
||||
|
||||
Stellen wir uns vor, dass wir eine Funktion schreiben, die einen String bekommt (mehrere Lines mit ACSII-Text) und dieses Wort-für-Wort rückwärts ausgeben soll. Das ist ein einfacher Einzeiler:
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
module Main where
|
||||
|
||||
import System.Environment (getArgs)
|
||||
import Data.Monoid (mconcat)
|
||||
import Data.Functor ((<$>))
|
||||
|
||||
main = do
|
||||
ls <- readFile =<< head <$> getArgs
|
||||
mconcat <$> mapM (putStrLn . unwords . reverse . words) (lines ls) --die eigentliche Funktion, ls ist das argument.
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
Was passiert hier an Vodoo? Und was machen die ganzen wilden Zeichen da?
|
||||
|
||||
Gehen wir die Main zeilenweise durch:
|
||||
Wir lesen die Datei, die im ersten Kommandozeilen-Argument gegeben wird. getArgs hat folgende Signatur:
|
||||
|
||||
```haskell
|
||||
getArgs :: IO [String]
|
||||
```
|
||||
|
||||
Wir bekommen als eine Liste der Argumente. Wir wollen nur das erste. Also machen wir head getArgs. Allerdings fliegt uns dann ein Fehler. head sieht nämlich so aus:
|
||||
|
||||
```haskell
|
||||
head :: [a] -> a
|
||||
```
|
||||
|
||||
Irgendwie müssen wird as **in** das IO bekommen. Hierzu gibt es fmap. Somit ist
|
||||
|
||||
```haskell
|
||||
fmap head :: IO [a] -> IO a
|
||||
```
|
||||
|
||||
Ein inline-Alias (um die Funktion links und das Argument rechts zu schreiben und sich ne Menge Klammern zu sparen) ist <$>. Somit ist schlussendlich der Inhalt der Datei aus dem ersten Argument (lazy) in ls.
|
||||
|
||||
Eine andere Möglichkeit sich das (in diesem Fall) zu merken, bzw. drauf zu kommen ist, dass [] AUCH ein Funktor (sogar eine Monade) ist. Man könnte das also auch so schreiben:
|
||||
|
||||
```haskell
|
||||
head :: [] a -> a
|
||||
head :: Functor f => [] (f a) -> f a -- das "a" geschickt ersetzt zur Verdeutlichung
|
||||
getArgs :: IO [] String
|
||||
fmap head :: Functor f => f [] a -> f a
|
||||
```
|
||||
|
||||
fmap "packt" die Funktion quasi 1 Umgebung (Funktor, Monade, ..) weiter rein - Sei es nun in Maybe, Either oder irgendwas anderes.
|
||||
|
||||
Alternatives (ausführliches) Beispiel am Ende.
|
||||
|
||||
Wenn wir uns die Signatur ansehen, dann haben wir nun
|
||||
|
||||
```haskell
|
||||
head <$> getArgs :: IO String
|
||||
```
|
||||
|
||||
readFile will aber nun ein String haben. Man kann nun
|
||||
|
||||
```haskell
|
||||
f <- head <$> getArgs
|
||||
ls <- readFile f
|
||||
```
|
||||
|
||||
kann man auch "inline" mit =<< die Sachen "auspacken".
|
||||
|
||||
Die 2. Zeile lesen wir nun einfach "von hinten", wie man das meistens tun sollte. Hier ist ein
|
||||
|
||||
```haskell
|
||||
lines ls :: [String]
|
||||
```
|
||||
|
||||
was uns den Inhalt der Datei zeilenweise gibt. Mit jeder Zeile möchten wir nun folgendes machen:
|
||||
|
||||
1. nach Wörtern trennen (words)
|
||||
2. Wörter in der reihenfolge umkehren (reverse)
|
||||
3. Wörter wider zu einer Zeile zusammensetzen (unwords)
|
||||
4. diese Zeile ausgeben (putStrLn)
|
||||
|
||||
Wenn wir uns die Signatur ansehen:
|
||||
|
||||
```haskell
|
||||
(putStrLn . unwords . reverse . words) :: String -> IO ()
|
||||
```
|
||||
|
||||
Das mag im ersten Moment verwirren, daher noch die Signaturen der Einzelfunktionen:
|
||||
|
||||
```haskell
|
||||
words :: String -> [String]
|
||||
reverse :: [a] -> [a]
|
||||
unwords :: [String] -> String
|
||||
putStrLn :: String -> IO ()
|
||||
```
|
||||
|
||||
Da wir am Ende in der IO-Monade landen müssen wir das auf unsere Zeilen mit mapM statt map anwenden. Dies sorgt auch dafür, dass die Liste der reihe nach durchgegangen wird. mapM mit unserer Funktion schaut dann so aus:
|
||||
|
||||
```haskell
|
||||
mapM (putStrLn . unwords . reverse . words) :: [String] -> [IO ()]
|
||||
```
|
||||
|
||||
eek! Das [IO ()] sieht ekelig aus. Wir haben eine Liste von IO-gar nichts. Das können wir eigentlich entsorgen. Da wir innerhalb der main-Funktion in einer IO-Monade sind, wollen wir IO () anstatt [IO ()] zurück haben.
|
||||
|
||||
Wenn wir uns jetzt erinnern, dass [] auch nur eine Monade ist und dass jede Monade ein Monoid ist, dann ist die Lösung einfach. Monoide haben eine "append"-funktion (mappend oder (<>) genannt). Wenn wir "nichts" an "nichts" anhängen, dann erhalten wir .... *Trommelwirbel* "nichts"! Wir müssen die [IO ()]-Liste also "nur noch" mit mappend falten. Hierzu gibt es schon eine vorgefertigte Funktion:
|
||||
|
||||
```haskell
|
||||
mconcat :: [a] -> a
|
||||
mconcat = foldr mappend mempty
|
||||
```
|
||||
|
||||
Was genau die gewünschte Faltung macht. Wir müssen nun wieder fmap nehmen, da wir die Liste selbst falten wollen - und nicht map, welches auf den IO () innerhalb der Liste arbeiten würde. Durch die Faltung fällt die Liste nun auf IO () zusammen.
|
||||
|
||||
Viel Voodoo in wenig Code, aber wenn man sich dran gewöhnt hat, sind Monaden in Monaden auch nicht schlimm. Man muss sich immer nur richtig "rein" fmap'en.
|
||||
|
||||
---
|
||||
|
||||
Kleinen Tipp gab es noch: mapM_ macht genau das, was oben mit mconcat erreicht werden sollte. Somit kann man auch
|
||||
|
||||
```haskell
|
||||
mapM_ (putStrLn . unwords . reverse . words) (lines ls)
|
||||
```
|
||||
|
||||
schreiben. Ich hab es aber mal wegen der klarheit oben so gelassen.
|
||||
|
||||
### Alternatives fmap-Beispiel
|
||||
|
||||
Nehmen wir als alternatives Beispiel mal an:
|
||||
|
||||
```haskell
|
||||
a :: IO Maybe State t
|
||||
```
|
||||
|
||||
Um Funktionen vom Typ
|
||||
|
||||
```haskell
|
||||
f :: IO a -> IO a
|
||||
f a -- valide
|
||||
```
|
||||
|
||||
zu nehmen, brauchen wir nichts machen. Bei
|
||||
|
||||
```haskell
|
||||
f' :: Maybe a -> Maybe a
|
||||
```
|
||||
|
||||
brauchen wir 1 fmap, also ein
|
||||
|
||||
```haskell
|
||||
f' a -- error
|
||||
f' <$> a
|
||||
```
|
||||
|
||||
um eine Funktion
|
||||
|
||||
```haskell
|
||||
f'' :: State t -> State t
|
||||
```
|
||||
|
||||
zu benutzen folglich:
|
||||
|
||||
```haskell
|
||||
f'' a -- error
|
||||
f'' <$> a -- error
|
||||
fmap f'' <$> a
|
||||
```
|
||||
|
||||
## *-Morpisms
|
||||
|
||||
Backup eines Blogposts eines Kommilitonen:
|
||||
|
||||
|
||||
This weekend I spend some time on Morphisms.
|
||||
|
||||
Knowing that this might sound daunting to many
|
||||
dabbling Haskellers (like I am), I decided to
|
||||
write a real short MergeSort hylomorphism quickstarter.
|
||||
|
||||
----------------------------------------------------------
|
||||
|
||||
For those who need a refresher: MergeSort works by creating
|
||||
a balanced binary tree from the input list and directly
|
||||
collapsing it back into itself while treating the children
|
||||
as sorted lists and merging these with an O(n) algorithm.
|
||||
|
||||
----------------------------------------------------------
|
||||
|
||||
First the usual prelude:
|
||||
```haskell
|
||||
{-# LANGUAGE DeriveFunctor #-}
|
||||
{-# LANGUAGE TypeFamilies #-}
|
||||
|
||||
import Data.Functor.Foldable
|
||||
import Data.List (splitAt, unfoldr)
|
||||
```
|
||||
|
||||
----------------------------------------------------------
|
||||
|
||||
We will use a binary tree like this. Note that
|
||||
there is no explicit recursion used, but `NodeF` has
|
||||
two *holes*. These will eventually filled later.
|
||||
|
||||
```haskell
|
||||
data TreeF c f = EmptyF | LeafF c | NodeF f f
|
||||
deriving (Eq, Show, Functor)
|
||||
```
|
||||
|
||||
--------------------------------------------------
|
||||
|
||||
Aside: We could use this as a *normal* binary tree by
|
||||
wrapping it in `Fix`: `type Tree a = Fix (TreeF a)`
|
||||
But this would require us to write our tree like
|
||||
`Fix (NodeF (Fix (LeafF 'l')) (Fix (LeafF 'r')))`
|
||||
which would get tedious fast. Luckily Edward build
|
||||
a much better way to do this into *recursion-schemes*.
|
||||
I will touch on this later.
|
||||
|
||||
--------------------------------------------------
|
||||
|
||||
Without further ado we start to write a Coalgebra,
|
||||
which in my book is just a scary name for
|
||||
"function that is used to construct datastructures".
|
||||
|
||||
```haskell
|
||||
unflatten :: [a] -> TreeF a [a]
|
||||
unflatten ( []) = EmptyF
|
||||
unflatten (x:[]) = LeafF x
|
||||
unflatten ( xs) = NodeF l r where (l,r) = splitAt (length xs `div` 2) xs
|
||||
```
|
||||
|
||||
From the type signature it's immediately obvious,
|
||||
that we take a list of 'a's and use it to create
|
||||
a part of our tree.
|
||||
|
||||
The nice thing is that due to the fact that we
|
||||
haven't commited to a type in our tree nodes
|
||||
we can just put lists in there.
|
||||
|
||||
--------------------------------------------------
|
||||
|
||||
Aside: At this point we could use this Coalgebra to
|
||||
construct (unsorted) binary trees from lists:
|
||||
|
||||
```haskell
|
||||
example1 = ana unflatten [1,3] == Fix (NodeF (Fix (LeafF 1)) (Fix (LeafF 3)))
|
||||
```
|
||||
|
||||
--------------------------------------------------
|
||||
|
||||
On to our sorting, tree-collapsing Algebra.
|
||||
Which again is just a creepy word for
|
||||
"function that is used to deconstruct datastructures".
|
||||
|
||||
The function `mergeList` is defined below and
|
||||
just merges two sorted lists into one sorted list
|
||||
in O(n), I would probably take this from the `ordlist`
|
||||
package if I were to implement this *for real*.
|
||||
|
||||
Again we see that we can just construct our
|
||||
sorted output list from a `TreeF` that
|
||||
apparently contains just lists.
|
||||
|
||||
```haskell
|
||||
flatten :: Ord a => TreeF a [a] -> [a]
|
||||
flatten EmptyF = []
|
||||
flatten (LeafF c) = [c]
|
||||
flatten (NodeF l r) = mergeLists l r
|
||||
```
|
||||
|
||||
--------------------------------------------------
|
||||
|
||||
Aside: We could use a Coalgebra to deconstruct trees:
|
||||
|
||||
```haskell
|
||||
example2 = cata flatten (Fix (NodeF (Fix (LeafF 3)) (Fix (LeafF 1)))) == [1,3]
|
||||
```
|
||||
|
||||
--------------------------------------------------
|
||||
|
||||
Now we just combine the Coalgebra and the Algebra
|
||||
with one from the functions from Edwards `recursion-schemes`
|
||||
library:
|
||||
```haskell
|
||||
mergeSort :: Ord a => [a] -> [a]
|
||||
mergeSort = hylo flatten unflatten
|
||||
|
||||
example3 = mergeSort [5,2,7,9,1,4] == [1,2,4,5,7,9]
|
||||
```
|
||||
--------------------------------------------------
|
||||
|
||||
What have we gained?
|
||||
|
||||
We have implemented a MergeSort variant in 9 lines of
|
||||
code, not counting the `mergeLists` function below.
|
||||
Not bad, but
|
||||
[this implementation](http://en.literateprograms.org/Merge_sort_(Haskell))
|
||||
is not much longer.
|
||||
|
||||
On the other hand the morphism based implementation
|
||||
cleanly describes what happens during construction
|
||||
and deconstruction of our intermediate structure.
|
||||
|
||||
My guess is that, as soon as the algortihms get
|
||||
more complex, this will really make a difference.
|
||||
|
||||
--------------------------------------------------
|
||||
|
||||
At this point I wasn't sure if this was useful or
|
||||
remotely applicable. Telling someone "I spend a
|
||||
whole weekend learning about Hylomorphism" isn't
|
||||
something the cool developer kids do.
|
||||
|
||||
It appeared to me that maybe I should have a look
|
||||
at the Core to see what the compiler finally comes
|
||||
up with (edited for brevity):
|
||||
|
||||
```haskell
|
||||
mergeSort :: [Integer] -> [Integer]
|
||||
mergeSort =
|
||||
\ (x :: [Integer]) ->
|
||||
case x of wild {
|
||||
[] -> [];
|
||||
: x1 ds ->
|
||||
case ds of _ {
|
||||
[] -> : x1 ([]);
|
||||
: ipv ipv1 ->
|
||||
unfoldr
|
||||
lvl9
|
||||
(let {
|
||||
p :: ([Integer], [Integer])
|
||||
p =
|
||||
case $wlenAcc wild 0 of ww { __DEFAULT ->
|
||||
case divInt# ww 2 of ww4 { __DEFAULT ->
|
||||
case tagToEnum# (<# ww4 0) of _ {
|
||||
False ->
|
||||
case $wsplitAt# ww4 wild of _ { (# ww2, ww3 #) -> (ww2, ww3) };
|
||||
True -> ([], wild)
|
||||
}
|
||||
}
|
||||
} } in
|
||||
(case p of _ { (x2, ds1) -> mergeSort x2 },
|
||||
case p of _ { (ds1, y) -> mergeSort y }))
|
||||
}
|
||||
}
|
||||
end Rec }
|
||||
```
|
||||
|
||||
While I am not really competent in reading Core and
|
||||
this is actually the first time I bothered to try,
|
||||
it is immediately obvious that there is no trace
|
||||
of any intermediate tree structure.
|
||||
|
||||
This is when it struck me. I was dazzled and amazed.
|
||||
And am still. Although we are writing our algorithm
|
||||
as if we are working on a real tree structure the
|
||||
library and the compiler are able to just remove
|
||||
the whole intermediate step.
|
||||
|
||||
|
||||
--------------------------------------------------
|
||||
|
||||
Aftermath:
|
||||
|
||||
In the beginning I promised a way to work on
|
||||
non-functor data structures. Actually that
|
||||
was how I began to work with the `recursion-schemes`
|
||||
library.
|
||||
|
||||
We are able to create a 'normal' version of our tree
|
||||
from above:
|
||||
```haskell
|
||||
data Tree c = Empty | Leaf c | Node (Tree c) (Tree c)
|
||||
deriving (Eq, Show)
|
||||
```
|
||||
But we can not use this directly with our (Co-)Algebras.
|
||||
Luckily Edward build a little bit of type magic into
|
||||
the library:
|
||||
|
||||
```haskell
|
||||
type instance Base (Tree c) = (TreeF c)
|
||||
|
||||
instance Unfoldable (Tree c) where
|
||||
embed EmptyF = Empty
|
||||
embed (LeafF c) = Leaf c
|
||||
embed (NodeF l r) = Node l r
|
||||
|
||||
instance Foldable (Tree c) where
|
||||
project Empty = EmptyF
|
||||
project (Leaf c) = LeafF c
|
||||
project (Node l r) = NodeF l r
|
||||
```
|
||||
|
||||
Without going into detail by doing this we establish
|
||||
a relationship between `Tree` and `TreeF` and teach
|
||||
the compiler how to translate between these types.
|
||||
|
||||
Now we can use our Alebra on our non functor type:
|
||||
|
||||
```haskell
|
||||
example4 = cata flatten (Node (Leaf 'l') (Leaf 'r')) == "lr"
|
||||
```
|
||||
|
||||
The great thing about this is that, looking at the
|
||||
Core output again, there is no traces of the `TreeF`
|
||||
structure to be found. As far as I can tell, the
|
||||
algorithm is working directly on our `Tree` type.
|
||||
|
||||
--------------------------------------------------
|
||||
|
||||
Literature:
|
||||
|
||||
* [Understanding F-Algebras](https://www.fpcomplete.com/user/bartosz/understanding-algebras)
|
||||
* [Recursion Schemes by Example](http://www.timphilipwilliams.com/slides.html)
|
||||
* [Recursion Schemes: A Field Guide](http://comonad.com/reader/2009/recursion-schemes/)
|
||||
* [This StackOverflow question](http://stackoverflow.com/questions/6941904/recursion-schemes-for-dummies)
|
||||
|
||||
|
||||
--------------------------------------------------
|
||||
|
||||
Appendix:
|
||||
|
||||
```haskell
|
||||
mergeLists :: Ord a => [a] -> [a] -> [a]
|
||||
mergeLists = curry $ unfoldr c where
|
||||
c ([], []) = Nothing
|
||||
c ([], y:ys) = Just (y, ([], ys))
|
||||
c (x:xs, []) = Just (x, (xs, []))
|
||||
c (x:xs, y:ys) | x <= y = Just (x, (xs, y:ys))
|
||||
| x > y = Just (y, (x:xs, ys))
|
||||
```
|
||||
511
content/Haskell/Lenses.md
Normal file
511
content/Haskell/Lenses.md
Normal file
@ -0,0 +1,511 @@
|
||||
# Wozu brauchen wir das Überhaupt?
|
||||
|
||||
Die Idee dahinter ist, dass man Zugriffsabstraktionen über Daten verknüpfen kann. Als einfachen Datenstruktur kann man einen Record mit der entsprechenden Syntax nehmen.
|
||||
|
||||
## Beispiel
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
data Person = P { name :: String
|
||||
, addr :: Address
|
||||
, salary :: Int }
|
||||
data Address = A { road :: String
|
||||
, city :: String
|
||||
, postcode :: String }
|
||||
-- autogeneriert unten anderem: addr :: Person -> Address
|
||||
|
||||
setName :: String -> Person -> Person
|
||||
setName n p = p { name = n } --record update notation
|
||||
|
||||
setPostcode :: String -> Person -> Person
|
||||
setPostcode pc p
|
||||
= p { addr = addr p { postcode = pc } }
|
||||
-- update of a record inside a record
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
## Probleme
|
||||
|
||||
Probleme mit diesem Code:
|
||||
|
||||
- für 1-Dimensionale Felder ist die record-syntax ok.
|
||||
- tiefere Ebenen nur umständlich zu erreichen
|
||||
- eigentlich wollen wir nur pe in p setzen, müssen aber über addr etc. gehen.
|
||||
- wir brauchen wissen über die "Zwischenstrukturen", an denen wir nicht interessiert sind
|
||||
|
||||
|
||||
## Was wir gern hätten
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
data Person = P { name :: String
|
||||
, addr :: Address
|
||||
, salary :: Int }
|
||||
-- a lens for each field
|
||||
lname :: Lens' Person String
|
||||
laddr :: Lens' Person Adress
|
||||
lsalary :: Lens' Person Int
|
||||
-- getter/setter for them
|
||||
view :: Lens' s a -> s -> a
|
||||
set :: Lens' s a -> a -> s -> s
|
||||
-- lens-composition
|
||||
composeL :: Lens' s1 s2 -> Lens s2 a -> Lens' s1 a
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
## Wie uns das hilft
|
||||
|
||||
Mit diesen Dingen (wenn wir sie hätten) könnte man dann
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
data Person = P { name :: String
|
||||
, addr :: Address
|
||||
, salary :: Int }
|
||||
data Address = A { road :: String
|
||||
, city :: String
|
||||
, postcode :: String }
|
||||
setPostcode :: String -> Person -> Person
|
||||
setPostcode pc p
|
||||
= set (laddr `composeL` lpostcode) pc p
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
machen und wäre fertig.
|
||||
|
||||
# Trivialer Ansatz
|
||||
|
||||
## Getter/Setter als Lens-Methoden
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
data LensR s a = L { viewR :: s -> a
|
||||
, setR :: a -> s -> s }
|
||||
|
||||
composeL (L v1 u1) (L v2 u2)
|
||||
= L (\s -> v2 (v1 s))
|
||||
(\a s -> u1 (u2 a (v1 s)) s)
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
## Wieso ist das schlecht?
|
||||
|
||||
- extrem ineffizient
|
||||
|
||||
Auslesen traversiert die Datenstruktur, dann wird die Funktion angewendet und zum setzen wird die Datenstruktur erneut traversiert:
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
over :: LensR s a -> (a -> a) -> s -> s
|
||||
over ln f s = setR l (f (viewR l s)) s
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
|
||||
- Lösung: modify-funktion hinzufügen
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
data LensR s a
|
||||
= L { viewR :: s -> a
|
||||
, setR :: a -> s -> s
|
||||
, mod :: (a->a) -> s -> s
|
||||
, modM :: (a->Maybe a) -> s -> Maybe s
|
||||
, modIO :: (a->IO a) -> s -> IO s }
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
Neues Problem: Für jeden Spezialfall muss die Lens erweitert werden.
|
||||
|
||||
## Something in common
|
||||
|
||||
Man kann alle Monaden abstrahieren. Functor reicht schon:
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
data LensR s a
|
||||
= L { viewR :: s -> a
|
||||
, setR :: a -> s -> s
|
||||
, mod :: (a->a) -> s -> s
|
||||
, modF :: Functor f => (a->f a) -> s -> f s }
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
Idee: Die 3 darüberliegenden durch modF ausdrücken.
|
||||
|
||||
## Typ einer Lens
|
||||
|
||||
Wenn man das berücksichtigt, dann hat einen Lens folgenden Typ:
|
||||
|
||||
> type Lens' s a = forall f. Functor f
|
||||
> => (a -> f a) -> s -> f s
|
||||
|
||||
Allerdings haben wir dann noch unseren getter/setter:
|
||||
|
||||
> data LensR s a = L { viewR :: s -> a
|
||||
> , setR :: a -> s -> s }
|
||||
|
||||
Stellt sich raus: Die sind isomorph! Auch wenn die von den Typen her komplett anders aussehen.
|
||||
|
||||
# Benutzen einer Lens als Setter
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
set :: Lens' s a -> (a -> s -> s)
|
||||
set ln a s = --...umm...
|
||||
--:t ln => (a -> f a) -> s -> f s
|
||||
-- => get s out of f s to return it
|
||||
~~~~~~
|
||||
|
||||
Wir können für f einfach die "Identity"-Monade nehmen, die wir nachher wegcasten können.
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
newtype Identity a = Identity a
|
||||
-- Id :: a -> Identity a
|
||||
|
||||
runIdentity :: Identity s -> s
|
||||
runIdentity (Identity x) = x
|
||||
|
||||
instance Functor Identity where
|
||||
fmap f (Identity x) = Identity (f x)
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
somit ist set einfach nur
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
set :: Lens' s a -> (a -> s -> s)
|
||||
set ln x s
|
||||
= runIdentity (ls set_fld s)
|
||||
where
|
||||
set_fld :: a -> Identity a
|
||||
set_fld _ = Identity x
|
||||
-- a was the OLD value.
|
||||
-- We throw that away and set the new value
|
||||
~~~~~~
|
||||
|
||||
oder kürzer (für nerds wie den Autor der Lens-Lib)
|
||||
|
||||
> set :: Lens' s a -> (a -> s -> s)
|
||||
> set ln x = runIdentity . ln (Identity . const x)
|
||||
|
||||
# Benutzen einer Lens als Modify
|
||||
|
||||
Dasselbe wie Set, nur dass wir den Parameter nicht entsorgen, sondern in die mitgelieferte Funktion stopfen.
|
||||
|
||||
> over :: Lens' s a -> (a -> a) -> s -> s
|
||||
> over ln f = runIdentity . ln (Identity . f)
|
||||
|
||||
# Benutzen einer Lens als Getter
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
view :: Lens' s a -> (s -> a)
|
||||
view ln s = --...umm...
|
||||
--:t ln => (a -> f a) -> s -> f s
|
||||
-- => get a out of the (f s) return-value
|
||||
-- Wait, WHAT?
|
||||
~~~~~~
|
||||
|
||||
Auch hier gibt es einen netten Funktor. Wir packen das "a" einfach in das "f" und werfen das "s" am Ende weg.
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
newtype Const v a = Const v
|
||||
|
||||
getConst :: Const v a -> v
|
||||
getConst (Const x) = x
|
||||
|
||||
instance Functor (Const v) where
|
||||
fmap f (Const x) = Const x
|
||||
-- throw f away. Nothing changes our const!
|
||||
~~~~~~
|
||||
|
||||
somit ergibt sich
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
view :: Lens' s a -> (s -> a)
|
||||
view ln s
|
||||
= getConst (ln Const s)
|
||||
-- Const :: s -> Const a s
|
||||
~~~~~~
|
||||
|
||||
oder nerdig
|
||||
|
||||
> view :: Lens' s a -> (s -> a)
|
||||
> view ln = getConst . ln Const
|
||||
|
||||
# Lenses bauen
|
||||
|
||||
Nochmal kurz der Typ:
|
||||
|
||||
> type Lens' s a = forall f. Functor f
|
||||
> => (a -> f a) -> s -> f s
|
||||
|
||||
Für unser Personen-Beispiel vom Anfang:
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
data Person = P { _name :: String, _salary :: Int }
|
||||
|
||||
name :: Lens' Person String
|
||||
-- name :: Functor f => (String -> f String)
|
||||
-- -> Person -> f Person
|
||||
|
||||
name elt_fn (P n s)
|
||||
= fmap (\n' -> P n' s) (elt_fn n)
|
||||
-- fmap :: Functor f => (a->b) -> f a -> f b - der Funktor, der alles verknüpft
|
||||
-- \n' -> .. :: String -> Person - Funktion um das Element zu lokalisieren (WO wird ersetzt/gelesen/...)
|
||||
-- elt_fn n :: f String - Funktion um das Element zu verändern (setzen, ändern, ...)
|
||||
~~~~~~
|
||||
|
||||
Die Lambda-Funktion ersetzt einfach den Namen. Häufig sieht man auch
|
||||
|
||||
> name elt_fn (P n s)
|
||||
> = (\n' -> P n' s) <$> (elt_fn n)
|
||||
> -- | Focus | |Function|
|
||||
|
||||
# Wie funktioniert das intern?
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
view name (P {_name="Fred", _salary=100})
|
||||
-- inline view-function
|
||||
= getConst (name Const (P {_name="Fred", _salary=100})
|
||||
-- inline name
|
||||
= getConst (fmap (\n' -> P n' 100) (Const "Fred"))
|
||||
-- fmap f (Const x) = Const x - Definition von Const
|
||||
= getConst (Const "Fred")
|
||||
-- getConst (Const x) = x
|
||||
= "Fred"
|
||||
~~~~~~
|
||||
|
||||
Dieser Aufruf hat KEINE Runtime-Kosten, weil der Compiler direkt die Adresse des Feldes einsetzen kann. Der gesamte Boilerplate-Code wird vom Compiler wegoptimiert.
|
||||
|
||||
Dies gilt für jeden Funktor mit newtype, da das nur ein Typalias ist.
|
||||
|
||||
# Composing Lenses und deren Benutzung
|
||||
|
||||
Wie sehen denn die Typen aus?
|
||||
|
||||
Wir wollen ein
|
||||
|
||||
> Lens' s1 s2 -> Lens' s2 a -> Lens' s1 a
|
||||
|
||||
Wir haben 2 Lenses
|
||||
|
||||
> ln1 :: (s2 -> f s2) -> (s1 -> f s1)
|
||||
> ln2 :: (a -> f a) -> (s2 -> f s2)
|
||||
|
||||
wenn man scharf hinsieht, kann man die verbinden
|
||||
|
||||
> ln1 . ln2 :: (a -> f s) -> (s1 -> f s1)
|
||||
|
||||
und erhält eine Lens. Sogar die Gewünschte!
|
||||
Somit ist Lens-Composition einfach nur Function-Composition (.).
|
||||
|
||||
# Automatisieren mit Template-Haskell
|
||||
|
||||
Der Code um die Lenses zu bauen ist für records immer Identisch:
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
data Person = P { _name :: String, _salary :: Int }
|
||||
|
||||
name :: Lens' Person String
|
||||
name elt_fn (P n s) = (\n' -> P n' s) <$> (elt_fn n)
|
||||
~~~~~~
|
||||
|
||||
Daher kann man einfach
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
import Control.Lens.TH
|
||||
data Person = P { _name :: String, _salary :: Int }
|
||||
|
||||
$(makeLenses ''Person)
|
||||
~~~~~~
|
||||
|
||||
nehmen, was einem eine Lens für "name" und eine Lens für "salary" generiert.
|
||||
Mit anderen Templates kann man auch weitere Dinge steuern (etwa wofür Lenses generiert werden, welches Prefix (statt _) man haben will etc. pp.).
|
||||
Will man das aber haben, muss man selbst in den Control.Lens.TH-Code schauen.
|
||||
|
||||
# Lenses für den Beispielcode
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
import Control.Lens.TH
|
||||
|
||||
data Person = P { _name :: String
|
||||
, _addr :: Address
|
||||
, _salary :: Int }
|
||||
data Address = A { _road :: String
|
||||
, _city :: String
|
||||
, _postcode :: String }
|
||||
|
||||
$(makeLenses ''Person)
|
||||
$(makeLenses ''Address)
|
||||
|
||||
setPostcode :: String -> Person -> Person
|
||||
setPostcode pc p = set (addr . postcode) pc p
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
# Shortcuts mit "Line-Noise"
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
-- ...
|
||||
|
||||
setPostcode :: String -> Person -> Person
|
||||
setPostcode pc p = addr . postcode .~ pc $ p
|
||||
-- | Focus |set|to what|in where
|
||||
|
||||
getPostcode :: Person -> String
|
||||
getPostcode p = p ^. $ addr . postcode
|
||||
-- |from|get| Focus |
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
Es gibt drölf-zillionen weitere Infix-Operatoren (für Folds, Listenkonvertierungen, -traversierungen, ...)
|
||||
|
||||
# Virtuelle Felder
|
||||
|
||||
Man kann mit Lenses sogar Felder emulieren, die gar nicht da sind. Angenommen folgender Code:
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
data Temp = T { _fahrenheit :: Float }
|
||||
|
||||
$(makeLenses ''Temp)
|
||||
-- liefert Lens: fahrenheit :: Lens Temp Float
|
||||
|
||||
centigrade :: Lens Temp Float
|
||||
centigrade centi_fn (T faren)
|
||||
= (\centi' -> T (cToF centi'))
|
||||
<$> (centi_fn (fToC faren))
|
||||
-- cToF & fToC as Converter-Functions defined someplace else
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
Hiermit kann man dann auch Funktionen, die auf Grad-Celsius rechnen auf Daten anwenden, die eigenlich nur Fahrenheit speichern, aber eine Umrechnung bereitstellen.
|
||||
Analog kann man auch einen Zeit-Datentypen definieren, der intern mit Sekunden rechnet (und somit garantiert frei von Fehlern wie -3 Minuten oder 37 Stunden ist)
|
||||
|
||||
# Non-Record Strukturen
|
||||
|
||||
Das ganze kann man auch parametrisieren und auf Non-Record-Strukturen anwenden. Beispielhaft an einer Map verdeutlicht:
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
-- from Data.Lens.At
|
||||
at :: Ord k => k -> Lens' (Map k v) (Maybe v)
|
||||
|
||||
-- oder identisch, wenn man die Lens' auflöst:
|
||||
at :: Ord k, forall f. Functor f => k -> (Maybe v -> f Maybe v) -> Map k v -> f Map k v
|
||||
|
||||
at k mb_fn m
|
||||
= wrap <$> (mb_fn mv)
|
||||
where
|
||||
mv = Map.lookup k m
|
||||
|
||||
wrap :: Maybe v -> Map k v
|
||||
wrap (Just v') = Map.insert k v' m
|
||||
wrap Nothing = case mv of
|
||||
Nothing -> m
|
||||
Just _ -> Map.delete k m
|
||||
|
||||
-- mb_fn :: Maybe v -> f Maybe v
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
# Weitere Beispiele
|
||||
|
||||
- Bitfields auf Strukturen die Bits haben (Ints, ...) in Data.Bits.Lens
|
||||
- Web-scraper in Package hexpat-lens
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
p ^.. _HTML' . to allNodes
|
||||
. traverse . named "a"
|
||||
. traverse . ix "href"
|
||||
. filtered isLocal
|
||||
. to trimSpaces
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
Zieht alle externen Links aus dem gegebenen HTML-Code in p um weitere ziele fürs crawlen zu finden.
|
||||
|
||||
# Erweiterungen
|
||||
|
||||
Bisher hatten wir Lenses nur auf Funktoren F. Die nächstmächtigere Klasse ist Applicative.
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
type Traversal' s a = forall f. Applicative f
|
||||
=> (a -> f a) -> (s -> f s)
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
Da wir den Container identisch lassen (weder s noch a wurde angefasst) muss sich etwas anderes ändern. Statt eines einzelnen Focus erhalten wir viele Foci.
|
||||
|
||||
Was ist ein Applicative überhaupt? Eine schwächere Monade (nur 1x Anwendung und kein Bind - dafür kann man die beliebig oft hintereinanderhängen).
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
class Functor f => Applicative f where
|
||||
pure :: a -> f a
|
||||
(<*>) :: f (a -> b) -> f a -> f b
|
||||
|
||||
-- Monade als Applicative:
|
||||
pure = return
|
||||
mf <*> mx = do { f <- mf; x <- mx; return (f x) }
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
Recap: Was macht eine Lens:
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
data Adress = A { _road :: String
|
||||
, _city :: String
|
||||
, _postcode :: String }
|
||||
|
||||
road :: Lens' Adress String
|
||||
road elt_fn (A r c p) = (\r' -> A r' c p) <$> (elt_fn r)
|
||||
-- | "Hole" | | Thing to put in|
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
Wenn man nun road & city gleichzeitig bearbeiten will:
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
addr_strs :: Traversal' Address String
|
||||
addr_strs elt_fn (A r c p)
|
||||
= ... (\r' c' -> A r' c' p) .. (elt_fn r) .. (elt_fn c) ..
|
||||
-- | function with 2 "Holes"| first Thing | second Thing
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
fmap kann nur 1 Loch stopfen, aber nicht mit n Löchern umgehen. Applicative mit <*> kann das.
|
||||
Somit gibt sich
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
addr_strs :: Traversal' Address String
|
||||
addr_strs elt_fn (A r c p)
|
||||
= pure (\r' c' -> A r' c' p) <*> (elt_fn r) <*> (elt_fn c)
|
||||
-- lift in Appl. | function with 2 "Holes"| first Thing | second Thing
|
||||
-- oder kürzer
|
||||
addr_strs :: Traversal' Address String
|
||||
addr_strs elt_fn (A r c p)
|
||||
= (\r' c' -> A r' c' p) <$> (elt_fn r) <*> (elt_fn c)
|
||||
-- pure x <*> y == x <$> y
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
Wie würd eine modify-funktion aussehen?
|
||||
|
||||
> over :: Lens' s a -> (a -> a) -> s -> s
|
||||
> over ln f = runIdentity . ln (Identity . f)
|
||||
|
||||
> over :: Traversal' s a -> (a -> a) -> s -> s
|
||||
> over ln f = runIdentity . ln (Identity . f)
|
||||
|
||||
Der Code ist derselbe - nur der Typ ist generischer. Auch die anderen Dinge funktioniert diese Erweiterung (für Identity und Const muss man noch ein paar dummy-Instanzen schreiben um sie von Functor auf Applicative oder Monad zu heben - konkret reicht hier die Instanzierung von Monoid). In der Lens-Library ist daher meist Monad m statt Functor f gefordert.
|
||||
|
||||
# Wozu dienen die Erweiterungen?
|
||||
|
||||
Man kann mit Foci sehr selektiv vorgehen. Auch kann man diese durch Funktionen steuern. Beispisweise eine Funktion anwenden auf
|
||||
|
||||
- Jedes 2. Listenelement
|
||||
- Alle graden Elemente in einem Baum
|
||||
- Alle Namen in einer Tabelle, deren Gehalt > 10.000€ ist
|
||||
|
||||
Traversals und Lenses kann man trivial kombinieren (lens . lens => lens, lens . traversal => traversal etc.)
|
||||
|
||||
# Wie es in Lens wirklich aussieht
|
||||
|
||||
In diesem Artikel wurde nur auf Monomorphic Lenses eingegangen. In der richtigen Library ist eine Lens
|
||||
|
||||
> type Lens' s a = Lens s s a a
|
||||
> type Lens s t a b = forall f. Functor f => (a -> f b) -> (s -> f t)
|
||||
|
||||
sodass sich auch die Typen ändern können um z.B. automatisch einen Konvertierten (sicheren) Typen aus einer unsicheren Datenstruktur zu geben.
|
||||
|
||||
Die modify-Funktion over ist auch
|
||||
|
||||
> over :: Profunctor p => Setting p s t a b -> p a b -> s -> t
|
||||
|
||||
*Edward is deeply in thrall to abstractionitis* - Simon Peyton Jones
|
||||
|
||||
Lens alleine definiert 39 newtypes, 34 data-types und 194 Typsynonyme...
|
||||
Ausschnitt
|
||||
|
||||
~~~ { .haskell .numberLines }
|
||||
-- traverseOf :: Functor f => Iso s t a b -> (a -> f b) -> s -> f t
|
||||
-- traverseOf :: Functor f => Lens s t a b -> (a -> f b) -> s -> f t
|
||||
-- traverseOf :: Applicative f => Traversal s t a b -> (a -> f b) -> s -> f t
|
||||
|
||||
traverseOf :: Over p f s t a b -> p a (f b) -> s -> f t
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
dafuq?
|
||||
501
content/Haskell/Webapp_Development.md
Normal file
501
content/Haskell/Webapp_Development.md
Normal file
@ -0,0 +1,501 @@
|
||||
Step-by-Step-Anleitung, wie man ein neues Projekt mit einer bereits erprobten Pipeline erstellt.
|
||||
|
||||
# Definition der API
|
||||
|
||||
Erster Schritt ist immer ein wünsch-dir-was bei der Api-Defenition.
|
||||
|
||||
Die meisten Services haben offensichtliche Anforderungen (Schnittstellen nach draußen, Schnittstellen intern, ...). Diese kann man immer sehr gut in einem `Request -> Response`-Model erfassen.
|
||||
|
||||
Diese Definition läuft über openapi-v3 und kann z.b. mit Echtzeit-Vorschau im http://editor.swagger.io/ erspielen. Per Default ist der noch auf openapi-v2 (aka swagger), kann aber auch v3.
|
||||
|
||||
Nach der Definition, was man am Ende haben möchte, muss man sich entscheiden, in welcher Sprache man weiter entwickelt. Ich empfehle aus verschiedenen Gründen primär 2 Sprachen: Python-Microservices (weil die ML-Libraries sehr gut sind, allerdings Änderungen meist schwer sind und der Code wenig robust - meist nur 1 API-Endpunkt pro service) und Haskell (stabilität, performace, leicht zu ändern, gut anzupassen).
|
||||
|
||||
Im folgenden wird (aus offensichtlichen Gründen) nur auf das Haskell-Projekt eingegangen.
|
||||
|
||||
# Startprojekt in Haskell
|
||||
|
||||
## Erstellen eines neuen Projektes
|
||||
|
||||
zunächst erstellen wir in normales Haskell-Projekt ohne funktionalität & firlefanz:
|
||||
|
||||
```bash
|
||||
stack new myservice
|
||||
```
|
||||
|
||||
Dies erstellt ein neues Verzeichnis und das generelle scaffolding.
|
||||
Nach einer kurzen anpassung der stack.yaml (resolver auf unserer setzen; aktuell: lts-17.4) fügen wir am Ende der Datei
|
||||
|
||||
```yaml
|
||||
allow-newer: true
|
||||
ghc-options:
|
||||
"$locals": -fwrite-ide-info
|
||||
```
|
||||
|
||||
ein.
|
||||
Anschließend organisieren wir uns noch eine gute `.gitignore` und initialisieren das git mittels `git init; git add .; git commit -m "initial scaffold"`
|
||||
|
||||
## Generierung der API
|
||||
|
||||
Da die API immer wieder neu generiert werden kann (und sollte!) liegt sich in einem unterverzeichnis des Haputprojektes.
|
||||
|
||||
Initial ist es das einfachste ein leeres temporäres Verzeichnis woanders zu erstellen, die `api-doc.yml` hinein kopieren und folgendes ausführen:
|
||||
|
||||
```bash
|
||||
openapi-generator generate -g haskell -o . -i api-doc.yml
|
||||
```
|
||||
|
||||
Dieses erstellt einem dann eine komplette library inkl. Datentypen.
|
||||
Wichtig: Der Name in der api-doc sollte vom Namen des Services (oben myservice) abweichen - entweder in Casing oder im Namen direkt. Suffixe wie API schneidet der Generator hier leider ab.
|
||||
(Wieso das ganze? Es entstehen nachher 2 libraries, foo & fooAPI. Da der generator das API abschneidet endet man mit foo & foo und der compiler meckert, dass er nicht weiss, welche lib gemeint ist).
|
||||
|
||||
danach: wie gewohnt `git init; git add .; git commit -m "initial"`. Auf dem Server der Wahl (github, gitea, gitlab, ...) nun ein Repository erstellen (am Besten: myserviceAPI - alles auf API endend ist autogeneriert!) und den Anweisungen nach ein remote hinzufügen & pushen.
|
||||
|
||||
### Wieder zurück im Haskell-Service
|
||||
|
||||
In unserem eigentlichen Service müssen wir nun die API einbinden.
|
||||
Dazu erstellen wir ein Verzeichnis `libs` (konvention) und machen ein `git submodule add <repository-url> libs/myserviceAPI`
|
||||
|
||||
Git hat nun die API in das submodul gepackt und wir können das oben erstellte temporäre verzeichnis wieder löschen.
|
||||
|
||||
Anschließend müssen wir stack noch erklären, dass wir die API da nun liegen haben und passen wieder die stack.yaml an, indem wir das Verzeichnis unter packages hinzufügen.
|
||||
|
||||
```yaml
|
||||
packages:
|
||||
- .
|
||||
- libs/myserviceAPI # <<
|
||||
```
|
||||
nun können wir in der `package.yaml` (oder `myservice.cabal`, falls kein hpack verwendet wird) unter den dependencies unsere api hinzufügen (name wie die cabal-datei in libs/myserviceAPI).
|
||||
|
||||
## Einbinden anderer Microservices
|
||||
|
||||
Funktioniert komplett analog zu dem vorgehen oben (ohne das generieren natürlich ;) ).
|
||||
`stack.yaml` editieren und zu den packages hinzufügen:
|
||||
|
||||
```yaml
|
||||
packages:
|
||||
- .
|
||||
- libs/myserviceAPI
|
||||
- libs/myCoolMLServiceAPI
|
||||
```
|
||||
|
||||
in der `package.yaml` (oder der cabal) die dependencies hinzufügen und schon haben wir die Features zur Verfügung und können gegen diese Services reden.
|
||||
|
||||
## Entfernen von anderen Technologien/Microservices
|
||||
|
||||
In git ist das entfernen von Submodules etwas frickelig, daher hier ein copy&paste der [GitHub-Antwort](https://gist.github.com/myusuf3/7f645819ded92bda6677):
|
||||
|
||||
```bash
|
||||
# Remove the submodule entry from .git/config
|
||||
git submodule deinit -f path/to/submodule
|
||||
|
||||
# Remove the submodule directory from the superproject's .git/modules directory
|
||||
rm-rf .git/modules/path/to/submodule
|
||||
|
||||
# Remove the entry in .gitmodules and remove the submodule directory located at path/to/submodule
|
||||
git rm-f path/to/submodule
|
||||
```
|
||||
|
||||
Falls das nicht klappt, gibt es alternative Vorschläge unter dem Link oben.
|
||||
|
||||
## Woher weiss ich, was wo liegt? Dokumentation? Halloo??
|
||||
|
||||
Keine Panik. Ein `stack haddock --open` hilft da. Das generiert die Dokumentation für alle in der `package.yaml` (oder cabal-file) eingetragenen dependencies inkl. aller upstream-dependencies. Man bekommt also eine komplette lokale Dokumentation von allem. Geöffnet wird dann die Paket-Startseite inkl. der direkten dependencies:
|
||||
|
||||
Es gibt 2 wichtige Pfade im Browser:
|
||||
|
||||
- ...../all/index.html - hier sind alle Pakete aufgeführt
|
||||
- ...../index.html - hier sind nur die direkten dependencies aufgeführt.
|
||||
|
||||
Wenn man einen lokalen Webserver startet kann man mittels "s" auch die interaktive Suche öffnen (Suche nach Typen, Funktionen, Signaturen, etc.). In Bash mit python3 geht das z.b. einfach über:
|
||||
|
||||
```bash
|
||||
cd $(stack path --local-doc-root)
|
||||
python3 -m SimpleHTTPServer 8000
|
||||
firefox "http://localhost:8000"
|
||||
```
|
||||
|
||||
## Implementation des Services und Start
|
||||
|
||||
### Loader/Bootstrapper
|
||||
|
||||
Generelles Vorgehen:
|
||||
- in app/Main.hs:
|
||||
Hier ist quasi immer nur eine Zeile drin: `main = myServiceMain`
|
||||
|
||||
Grund: Applications tauchen nicht im Haddock auf. Also haben wir ein "src"-Modul, welches hier nur geladen & ausgeführt wird.
|
||||
- in src/MyService.hs:
|
||||
`myServiceMain :: IO ()` definieren
|
||||
|
||||
Für die Main kann man prinzipiell eine Main andere Services copy/pasten. Im folgenden eine Annotierte main-Funktion - zu den einzelnen Vorraussetzungen kommen wir im Anschluss.
|
||||
|
||||
```haskell
|
||||
{-# OPTIONS_GHC -Wno-name-shadowing #-}
|
||||
{-# LANGUAGE FlexibleContexts #-}
|
||||
{-# LANGUAGE LambdaCase #-}
|
||||
{-# LANGUAGE OverloadedStrings #-}
|
||||
{-# LANGUAGE RankNTypes #-}
|
||||
{-# LANGUAGE RecordWildCards #-}
|
||||
{-# LANGUAGE ScopedTypeVariables #-}
|
||||
module MyService where
|
||||
|
||||
-- generische imports aus den dependencies/base, nicht in der prelude
|
||||
import Codec.MIME.Type
|
||||
import Configuration.Dotenv as Dotenv
|
||||
import Control.Concurrent (forkIO, threadDelay)
|
||||
import Control.Concurrent.Async
|
||||
import Control.Concurrent.STM
|
||||
import Control.Monad
|
||||
import Control.Monad.Catch
|
||||
import Control.Monad.Except
|
||||
import Conversion
|
||||
import Conversion.Text ()
|
||||
import Data.Binary.Builder
|
||||
import Data.String (IsString (..))
|
||||
import Data.Time
|
||||
import Data.Time.Clock
|
||||
import Data.Time.Format
|
||||
import Data.Default
|
||||
import Network.HostName
|
||||
import Network.HTTP.Client as HTTP hiding
|
||||
(withConnection)
|
||||
import Network.HTTP.Types (Status, statusCode)
|
||||
import Network.Mom.Stompl.Client.Queue
|
||||
import Network.Wai (Middleware)
|
||||
import Network.Wai.Logger
|
||||
import Network.Wai.Middleware.Cors
|
||||
import Network.Wai.Middleware.RequestLogger (OutputFormat (..),
|
||||
logStdout,
|
||||
mkRequestLogger,
|
||||
outputFormat)
|
||||
import Servant.Client (mkClientEnv,
|
||||
parseBaseUrl)
|
||||
import System.Directory
|
||||
import System.Envy
|
||||
import System.IO
|
||||
import System.Log.FastLogger
|
||||
import Text.PrettyPrint.GenericPretty
|
||||
|
||||
-- generische imports, aber qualified, weil es sonst zu name-clashes kommt
|
||||
|
||||
import qualified Data.ByteString as BS
|
||||
-- import qualified Data.ByteString.Char8 as BS8
|
||||
import qualified Data.ByteString.Lazy as LBS
|
||||
import qualified Network.HTTP.Client.TLS as UseDefaultHTTPSSettings (tlsManagerSettings)
|
||||
import qualified Network.Mom.Stompl.Client.Queue as AMQ
|
||||
import qualified Network.Wai as WAI
|
||||
|
||||
-- Handler für den MyServiceBackend-Typen und Imports aus den Libraries
|
||||
import MyService.Handler as H -- handler der H.myApiEndpointV1Post implementiert
|
||||
import MyService.Types -- weitere Type (s. nächste box)
|
||||
import MyServiceGen.API as MS -- aus der generierten library
|
||||
|
||||
|
||||
myServicemain :: IO ()
|
||||
myServicemain = do
|
||||
-- .env-Datei ins Prozess-Environment laden, falls noch nicht von außen gesetzt
|
||||
void $ loadFile $ Dotenv.Config [".env"] [] False
|
||||
-- Config holen (defaults + overrides aus dem Environment)
|
||||
sc@ServerConfig{..} <- decodeWithDefaults defConfig
|
||||
-- Backend-Setup
|
||||
-- legt sowas wie Proxy-Server fest und wo man wie dran kommt. Benötigt für das Sprechen mit anderen Microservices
|
||||
let defaultHTTPSSettings = UseDefaultHTTPSSettings.tlsManagerSettings { managerResponseTimeout = responseTimeoutMicro $ 1000 * 1000 * myserviceMaxTimeout }
|
||||
createBackend url proxy = do
|
||||
manager <- newManager . managerSetProxy proxy
|
||||
$ defaultHTTPSSettings
|
||||
url' <- parseBaseUrl url
|
||||
return (mkClientEnv manager url')
|
||||
internalProxy = case myserviceInternalProxyUrl of
|
||||
"" -> noProxy
|
||||
url -> useProxy $ HTTP.Proxy (fromString url) myserviceInternalProxyPort
|
||||
-- externalProxy = case myserviceExternalProxyUrl of
|
||||
-- "" -> noProxy
|
||||
-- url -> useProxy $ HTTP.Proxy (fromString url) myserviceExternalProxyPort
|
||||
|
||||
-- Definieren & Erzeugen der Funktionen um die anderen Services anzusprechen.
|
||||
calls <- (,)
|
||||
<$> createBackend myserviceAUri internalProxy
|
||||
<*> createBackend myserviceBUri internalProxy
|
||||
|
||||
-- Logging-Setup
|
||||
hSetBuffering stdout LineBuffering
|
||||
hSetBuffering stderr LineBuffering
|
||||
|
||||
|
||||
-- Infos holen, brauchen wir später
|
||||
myName <- getHostName
|
||||
today <- formatTime defaultTimeLocale "%F" . utctDay <$> getCurrentTime
|
||||
|
||||
|
||||
-- activeMQ-Transaktional-Queue zum schreiben nachher vorbereiten
|
||||
amqPost <- newTQueueIO
|
||||
|
||||
|
||||
-- bracket a b c == erst a machen, ergebnis an c als variablen übergeben. Schmeisst c ne exception/wird gekillt/..., werden die variablen an b übergeben.
|
||||
bracket
|
||||
-- logfiles öffnen
|
||||
(LogFiles <$> openFile ("/logs/myservice-"<>myName<>"-"<>today<>".info") AppendMode
|
||||
<*> openFile (if myserviceDebug then "/logs/myservice-"<>myName<>"-"<>today<>".debug" else "/dev/null") AppendMode
|
||||
<*> openFile ("/logs/myservice-"<>myName<>"-"<>today<>".error") AppendMode
|
||||
<*> openFile ("/logs/myservice-"<>myName<>"-"<>today<>".timings") AppendMode
|
||||
)
|
||||
-- und bei exception/beendigung schlißen.h
|
||||
(\(LogFiles a b c d) -> mapM_ hClose [a,b,c,d])
|
||||
$ \logfiles -> do
|
||||
|
||||
|
||||
-- logschreibe-funktionen aliasen; log ist hier abstrakt, iolog spezialisiert auf io.
|
||||
let log = printLogFiles logfiles :: MonadIO m => [LogItem] -> m ()
|
||||
iolog = printLogFilesIO logfiles :: [LogItem] -> IO ()
|
||||
|
||||
|
||||
-- H.myApiEndpointV1Post ist ein Handler (alle Handler werden mit alias H importiert) und in einer eigenen Datei
|
||||
-- Per Default bekommen Handler sowas wie die server-config, die Funktionen um mit anderen Services zu reden, die AMQ-Queue um ins Kibana zu loggen und eine Datei-Logging-Funktion
|
||||
-- Man kann aber noch viel mehr machen - z.b. gecachte Daten übergeben, eine Talk-Instanz, etc. pp.
|
||||
server = MyServiceBackend{ myApiEndpointV1Post = H.myApiEndpointV1Post sc calls amqPost log
|
||||
}
|
||||
config = MS.Config $ "http://" ++ myserviceHost ++ ":" ++ show myservicePort ++ "/"
|
||||
iolog . pure . Info $ "Using Server configuration:"
|
||||
iolog . pure . Info $ pretty sc { myserviceActivemqPassword = "******" -- Do NOT log the password ;)
|
||||
, myserviceMongoPassword = "******"
|
||||
}
|
||||
-- alle Services starten (Hintergrund-Aktionen wie z.b. einen MongoDB-Dumper, einen Talk-Server oder wie hier die ActiveMQ
|
||||
void $ forkIO $ keepActiveMQConnected sc iolog amqPost
|
||||
-- logging-Framework erzeugen
|
||||
loggingMW <- loggingMiddleware
|
||||
-- server starten
|
||||
if myserviceDebug
|
||||
then runMyServiceMiddlewareServer config (cors (\_ -> Just (simpleCorsResourcePolicy {corsRequestHeaders = ["Content-Type"]})) . loggingMW . logStdout) server
|
||||
else runMyServiceMiddlewareServer config (cors (\_ -> Just (simpleCorsResourcePolicy {corsRequestHeaders = ["Content-Type"]}))) server
|
||||
|
||||
|
||||
-- Sollte bald in die Library hs-stomp ausgelagert werden
|
||||
-- ist ein Beispiel für einen ActiveMQ-Dumper
|
||||
keepActiveMQConnected :: ServerConfig -> ([LogItem] -> IO ()) -> TQueue BS.ByteString -> IO ()
|
||||
keepActiveMQConnected sc@ServerConfig{..} printLog var = do
|
||||
res <- handle (\(e :: SomeException) -> do
|
||||
printLog . pure . Error $ "Exception in AMQ-Thread: "<>show e
|
||||
return $ Right ()
|
||||
) $ AMQ.try $ do -- catches all AMQ-Exception that we can handle. All others bubble up.
|
||||
printLog . pure . Info $ "AMQ: connecting..."
|
||||
withConnection myserviceActivemqHost myserviceActivemqPort [ OAuth myserviceActivemqUsername myserviceActivemqPassword
|
||||
, OTmo (30*1000) {- 30 sec timeout -}
|
||||
]
|
||||
[] $ \c -> do
|
||||
let oconv = return
|
||||
printLog . pure . Info $ "AMQ: connected"
|
||||
withWriter c "Chaos-Logger for Kibana" "chaos.logs" [] [] oconv $ \writer -> do
|
||||
printLog . pure . Info $ "AMQ: queue created"
|
||||
let postfun = writeQ writer (Type (Application "json") []) []
|
||||
void $ race
|
||||
(forever $ atomically (readTQueue var) >>= postfun)
|
||||
(threadDelay (600*1000*1000)) -- wait 10 Minutes
|
||||
-- close writer
|
||||
-- close connection
|
||||
-- get outside of all try/handle/...-constructions befor recursing.
|
||||
case res of
|
||||
Left ex -> do
|
||||
printLog . pure . Error $ "AMQ: "<>show ex
|
||||
keepActiveMQConnected sc printLog var
|
||||
Right _ -> keepActiveMQConnected sc printLog var
|
||||
|
||||
|
||||
-- Beispiel für eine Custom-Logging-Middleware.
|
||||
-- Hier werden z.B. alle 4xx-Status-Codes inkl. Payload ins stdout-Log geschrieben.
|
||||
-- Nützlich, wenn die Kollegen ihre Requests nicht ordentlich schreiben können und der Server das Format zurecht mit einem BadRequest ablehnt ;)
|
||||
loggingMiddleware :: IO Middleware
|
||||
loggingMiddleware = liftIO $ mkRequestLogger $ def { outputFormat = CustomOutputFormatWithDetails out }
|
||||
where
|
||||
out :: ZonedDate -> WAI.Request -> Status -> Maybe Integer -> NominalDiffTime -> [BS.ByteString] -> Builder -> LogStr
|
||||
out _ r status _ _ payload _
|
||||
| statusCode status < 300 = ""
|
||||
| statusCode status > 399 && statusCode status < 500 = "Error code "<>toLogStr (statusCode status) <>" sent. Request-Payload was: "<> mconcat (toLogStr <$> payload) <> "\n"
|
||||
| otherwise = toLogStr (show r) <> "\n"
|
||||
|
||||
```
|
||||
|
||||
### Weitere Instanzen und Definitionen, die der Generator (noch) nicht macht
|
||||
|
||||
In der `Myservice.Types` werden ein paar hilfreiche Typen und Typinstanzen definiert. Im Folgenden geht es dabei um Dinge für:
|
||||
|
||||
- Envy
|
||||
- Laden von $ENV_VAR in Datentypen
|
||||
- Definitionen für Default-Settings
|
||||
- ServerConfig
|
||||
- Definition der Server-Konfiguration & Benennung der Environment-Variablen
|
||||
- ExtraTypes
|
||||
- ggf. Paketweite extra-Typen, die der Generator nicht macht, weil sie nicht aus der API kommen (z.B. cache)
|
||||
- Out/BSON-Instanzen
|
||||
- Der API-Generator generiert nur wenige Instanzen automatisch (z.B. Aeson), daher werden hier die fehlenden definiert.
|
||||
- BSON: Kommunakation mit MongoDB
|
||||
- Out: pretty-printing im Log
|
||||
|
||||
```haskell
|
||||
{-# OPTIONS_GHC -Wno-orphans #-}
|
||||
{-# OPTIONS_GHC -Wno-name-shadowing #-}
|
||||
{-# LANGUAGE DeriveAnyClass #-}
|
||||
{-# LANGUAGE DeriveFunctor #-}
|
||||
{-# LANGUAGE DeriveGeneric #-}
|
||||
{-# LANGUAGE DerivingVia #-}
|
||||
{-# LANGUAGE DuplicateRecordFields #-}
|
||||
{-# LANGUAGE FlexibleContexts #-}
|
||||
{-# LANGUAGE FlexibleInstances #-}
|
||||
{-# LANGUAGE GADTs #-}
|
||||
{-# LANGUAGE LambdaCase #-}
|
||||
{-# LANGUAGE MultiParamTypeClasses #-}
|
||||
{-# LANGUAGE OverloadedStrings #-}
|
||||
{-# LANGUAGE RankNTypes #-}
|
||||
{-# LANGUAGE RecordWildCards #-}
|
||||
module MyService.Types where
|
||||
|
||||
import Data.Aeson (FromJSON, ToJSON)
|
||||
import Data.Text
|
||||
import Data.Time.Clock
|
||||
import GHC.Generics
|
||||
import System.Envy
|
||||
import Text.PrettyPrint (text)
|
||||
import Text.PrettyPrint.GenericPretty
|
||||
|
||||
-- Out hat hierfür keine Instanzen, daher kurz eine einfach Definition.
|
||||
instance Out Text where
|
||||
doc = text . unpack
|
||||
docPrec i a = text $ showsPrec i a ""
|
||||
|
||||
instance Out UTCTime where
|
||||
doc = text . show
|
||||
docPrec i a = text $ showsPrec i a ""
|
||||
|
||||
-- Der ServerConfig-Typ. Wird mit den defaults unten initialisiert, dann mit den Variablen aus der .env-Datei überschrieben und zum Schluss können Serveradmins diese via $MYSERVICE_FOO nochmal überschreiben.
|
||||
data ServerConfig = ServerConfig
|
||||
{ myserviceHost :: String -- ^ Environment: $MYSERVICE_HOST
|
||||
, myservicePort :: Int -- ^ Environment: $MYSERVICE_PORT
|
||||
, myserviceMaxTimeout :: Int -- ^ Environment: $MYSERVICE_MAX_TIMEOUT
|
||||
, myserviceInternalProxyUrl :: String -- ^ Environment: $MYSERVICE_INTERNAL_PROXY_URL
|
||||
, myserviceInternalProxyPort :: Int -- ^ Environment: $MYSERVICE_INTERNAL_PROXY_PORT
|
||||
, myserviceExternalProxyUrl :: String -- ^ Environment: $MYSERVICE_EXTERNAL_PROXY_URL
|
||||
, myserviceExternalProxyPort :: Int -- ^ Environment: $MYSERVICE_EXTERNAL_PROXY_PORT
|
||||
, myserviceActivemqHost :: String -- ^ Environment: $MYSERVICE_ACTIVEMQ_HOST
|
||||
, myserviceActivemqPort :: Int -- ^ Environment: $MYSERVICE_ACTIVEMQ_PORT
|
||||
, myserviceActivemqUsername :: String -- ^ Environment: $MYSERVICE_ACTIVEMQ_USERNAME
|
||||
, myserviceActivemqPassword :: String -- ^ Environment: $MYSERVICE_ACTIVEMQ_PASSWORD
|
||||
, myserviceMongoUsername :: String -- ^ Environment: $MYSERVICE_MONGO_USERNAME
|
||||
, myserviceMongoPassword :: String -- ^ Environment: $MYSERVICE_MONGO_PASSWORD
|
||||
, myserviceDebug :: Bool -- ^ Environment: $MYSERVICE_DEBUG
|
||||
} deriving (Show, Eq, Generic)
|
||||
|
||||
-- Default-Konfigurations-Instanz für diesen Service.
|
||||
instance DefConfig ServerConfig where
|
||||
defConfig = ServerConfig "0.0.0.0" 8080 20
|
||||
""
|
||||
""
|
||||
""
|
||||
0
|
||||
""
|
||||
0
|
||||
""
|
||||
0
|
||||
""
|
||||
""
|
||||
""
|
||||
""
|
||||
False
|
||||
|
||||
-- Kann auch aus dem ENV gefüllt werden
|
||||
instance FromEnv ServerConfig
|
||||
-- Und hübsch ausgegeben werden.
|
||||
instance Out ServerConfig
|
||||
|
||||
|
||||
instance Out Response
|
||||
instance FromBSON Repsonse -- FromBSON-Instanz geht immer davon aus, dass alle keys da sind (ggf. mit null bei Nothing).
|
||||
```
|
||||
|
||||
### Was noch zu tun ist
|
||||
|
||||
Den Service implementieren. Einfach ein neues Modul aufmachen (z.B. `MyService.Handler` oder `MyService.DieserEndpunktbereich`/`MyService.JenerEndpunktbereich`) und dort die Funktion implementieren, die man in der `Main.hs` benutzt hat.
|
||||
In dem Handler habt ihr dann keinen Stress mehr mit validierung, networking, logging, etc. pp. weil alles in der Main abgehandelt wurde und ihr nur noch den "Happy-Case" implementieren müsst.
|
||||
Beispiel für unseren Handler oben:
|
||||
|
||||
```haskell
|
||||
myApiEndpointV1Post :: MonadIO m => ServerConfig -> (ClientEnv,ClientEnv) -> TQueue BS.ByteString -> ([LogItem] -> IO ()) -> Request -> m Response
|
||||
myApiEndpointV1Post sc calls amqPost log req = do
|
||||
liftIO . log $ [Info $ "recieved "<>pretty req] -- input-logging
|
||||
liftIO . atomically . writeTQueue . LBS.toStrict $ "{\"hey Kibana, i recieved:\"" <> A.encode (pretty req) <> "}" -- log in activeMQ/Kibana
|
||||
|
||||
|
||||
--- .... gaaaanz viel komplizierter code um die Response zu erhalten ;)
|
||||
let ret = Response 1337 Nothing -- dummy-response ;)
|
||||
-- gegeben wir haben eine gültige mongodb-pipe;
|
||||
-- mehr logik will ich in die Beispiele nicht packen.
|
||||
-- Man kann die z.b. als weiteren Wert in einer TMVar (damit man sie ändern & updaten kann) an die Funktion übergeben.
|
||||
liftIO . access pipe master "DatabaseName" $ do
|
||||
ifM (auth (myServiceMongoUsername sc) (myServiceMongoPassword sc)) (return ()) (liftIO . printLog . pure . Error $ "MongoDB: Login failed.")
|
||||
save "DatabaseCollection" ["_id" =: 1337, "entry" =: ret] -- selbe id wie oben ;)
|
||||
return ret
|
||||
```
|
||||
|
||||
Diese dummy-Antwort führt auf, wie gut man die ganzen Sachen mischen kann.
|
||||
|
||||
- Logging in die Dateien/stdout nach config
|
||||
- Logging von Statistiker in Kibana
|
||||
- Speichern der Antwort in der MongoDB
|
||||
- Generieren einer Serverantwort und ausliefern dieser über die Schnittstelle
|
||||
|
||||
### Tipps & Tricks
|
||||
|
||||
#### Dateien, die statisch ausgeliefert werden sollen
|
||||
|
||||
Hierzu erstellt man ein Verzeichnis `static/` (konvention; ist im generator so generiert, dass das ausgeliefert wird). Packt man hier z.b. eine `index.html` rein, erscheint die, wenn man den Service ansurft.
|
||||
|
||||
#### Wie bekomme ich diese fancy Preview hin?
|
||||
|
||||
Der Editor, der ganz am Anfang zum Einsatz gekommen ist, braucht nur die `api-doc.yml` um diese Ansicht zu erzeugen.
|
||||
Daher empfielt sich hier ein angepasster Fork davon indem die Pfade in der index.html korrigiert sind. Am einfachsten (und von den meisten services so benutzt):
|
||||
In meiner Implementation liegt dann nach dem starten auf http://localhost:PORT/ui/ und kann direkt dort getestet werden.
|
||||
|
||||
#### Wie sorge ich für bessere Warnungen, damit der Compiler meine Bugs fängt?
|
||||
|
||||
```bash
|
||||
stack build --file-watch --ghc-options '-freverse-errors -W -Wall -Wcompat' --interleaved-output
|
||||
```
|
||||
|
||||
Was tut das?
|
||||
|
||||
- `--file-watch`: automatisches (minimales) kompilieren bei dateiänderungen
|
||||
- `--ghc-options`
|
||||
- `-freverse-errors`: Fehlermeldungen in umgekehrter Reihenfolge (Erster Fehler ganz unten; wenig scrollen )
|
||||
- `-W`: Warnungen an
|
||||
- `-Wall`: Alle sinnvollen Warnungen an (im gegensatz zu `-Weverything`, was WIRKLICH alles ist )
|
||||
- `-Wcompat`: Warnungen für Sachen, die in der nächsten Compilerversion kaputt brechen werden & vermieden werden sollten
|
||||
- `--interleaved-output`: stack-log direkt ausgeben & nicht in dateien schreiben und die dann am ende zusammen cat\'en.
|
||||
|
||||
Um pro Datei Warnungen auszuschalten (z.B. weil man ganz sicher weiss, was man tut -.-): `{-# OPTIONS_GHC -Wno-whatsoever #-}` als Pragma in die Datei.
|
||||
|
||||
**Idealerweise sollte das Projekt keine Warnungen erzeugen.**
|
||||
|
||||
## Deployment
|
||||
|
||||
Als Beispiel sei hier ein einfaches Docker-Build mit Jenkins-CI gezeigt, weil ich das aus Gründen rumliegen hatte. Kann man analog in fast alle anderen CI übrsetzen.
|
||||
|
||||
### Docker
|
||||
|
||||
Die angehängten Scripte gehen von einer Standard-Einrichtung aus (statische sachen in static, 2-3 händische Anpassungen auf das eigene Projekt nach auspacken). Nachher liegt dann auch unter static/version die gebaute Versionsnummer & kann abgerufen werden.
|
||||
In der Dockerfile.release und der Jenkinsfile müssen noch anpassungen gemacht werden. Konkret:
|
||||
|
||||
- in der Dockerfile.release: alle `<<<HIER>>>`-Stellen sinnvoll befüllen
|
||||
- in der Jenkinsfile die defs für "servicename" und "servicebinary" ausfüllen. Binary ist das, was bei stack exec aufgerufen wird; name ist der Image-Name für das docker-repository.
|
||||
|
||||
### Jenkins
|
||||
|
||||
Änderungen die dann noch gemacht werden müssen:
|
||||
- git-repository url anpassen
|
||||
- Environment-Vars anpasses ($BRANCH = test & live haben keine zusatzdinger im docker-image-repository; ansonsten hat das image $BRANCH im namen)
|
||||
|
||||
Wenn das durchgebaut ist, liegt im test/live-repository ein docker-image namens `servicename:version`.
|
||||
|
||||
## OMG! Ich muss meine API ändern. Was mache ich nun?
|
||||
|
||||
1. api-doc.yml bearbeiten, wie gewünscht
|
||||
2. mittels generator die Api & submodule neu generieren
|
||||
3. ggf. custom Änderungen übernehmen (:Gitdiffsplit hilft)
|
||||
4. Alle Compilerfehler + Warnungen in der eigentlichen Applikation fixen
|
||||
5. If it comipilez, ship it! (Besser nicht ;) )
|
||||
49
content/Haskell/Why_Haskell_is_superior.md
Normal file
49
content/Haskell/Why_Haskell_is_superior.md
Normal file
@ -0,0 +1,49 @@
|
||||
# Was ist das hier?
|
||||
|
||||
Gründe Haskell zu nutzen und wo Vorteile liegen.
|
||||
|
||||
## Talks
|
||||
|
||||
### Simon Peyton Jones
|
||||
|
||||
- [The Future is parallel](https://www.youtube.com/watch?v=hlyQjK1qjw8)
|
||||
- [Lenses](https://skillsmatter.com/skillscasts/4251-lenses-compositional-data-access-and-manipulation) (registration nötig - kostenfrei)
|
||||
|
||||
### Others
|
||||
|
||||
- [Running a Startup on Haskell](https://www.youtube.com/watch?v=ZR3Jirqk6W8)
|
||||
- [We're doing it all wrong](https://www.youtube.com/watch?v=TS1lpKBMkgg) - A Long-Term Scala-Compiler-Developer quits his job after years and tells why Scala is a mess.
|
||||
- [Monads explained in Javascript](https://www.youtube.com/watch?v=b0EF0VTs9Dc)
|
||||
- [Vinyl Records](http://vimeo.com/95694918) with [Slides](https://github.com/VinylRecords/BayHac2014-Talk)
|
||||
- [Thinking with Laziness](http://begriffs.com/posts/2015-06-17-thinking-with-laziness.html)
|
||||
|
||||
## Bücher/Paper
|
||||
|
||||
### Simon Peyton Jones
|
||||
|
||||
- [Papers on STM](https://research.microsoft.com/en-us/um/people/simonpj/papers/stm/)
|
||||
- [Tackling the awkward squad](https://research.microsoft.com/en-us/um/people/simonpj/papers/marktoberdorf/)
|
||||
|
||||
### Others
|
||||
- [Parallel and Concurrent Programming in Haskell](http://chimera.labs.oreilly.com/books/1230000000929/pr01.html)
|
||||
- [Slides of a Quickcheck-Talk](http://scholar.google.de/scholar?cluster=7602244452224287116&hl=de&as_sdt=0,5)
|
||||
- [Understanding F-Algebras](https://www.fpcomplete.com/user/bartosz/understanding-algebras) - schöne Erklärung. Man könnte danach anfangen den Morphismen-zoo zu verstehen...
|
||||
- [Monad Transformers](https://github.com/kqr/gists/blob/master/articles/gentle-introduction-monad-transformers.md)
|
||||
|
||||
## Funny Talks
|
||||
|
||||
- [Tom LaGatta on Category-Theory](https://www.youtube.com/watch?v=o6L6XeNdd_k)
|
||||
- [Unifying Structured Recursion Schemes](https://www.youtube.com/watch?v=9EGYSb9vov8) aka. The Monad-Zoo
|
||||
- [Hole-Driven-Development Teaser (Enthusiasticon, raichoo)](https://www.youtube.com/watch?v=IRGKkiGG5CY)
|
||||
|
||||
## Unsorted/Unseen
|
||||
|
||||
- [Functional Reactive Programming](http://insights.pwning.de/_edit/Haskell/Why_Haskell_is_superior)
|
||||
- [Diagrams: Declarative Vector Graphics in Haskell](http://vimeo.com/84104226)
|
||||
- [Lenses, Folds & Traversels by Edward Kmett](https://www.youtube.com/watch?v=cefnmjtAolY)
|
||||
- [Discrimination is Wrong by Edward Kmett](https://www.youtube.com/watch?v=cB8DapKQz-I&list=WL&index=10)
|
||||
|
||||
## Tutorials
|
||||
|
||||
- [Haskell fast and hard](https://www.fpcomplete.com/school/starting-with-haskell/haskell-fast-hard/haskell-fast-hard-part-1)
|
||||
- [Counterexamples for Typeclasses](http://blog.functorial.com/posts/2015-12-06-Counterexamples.html)
|
||||
128
content/Logik.md
Normal file
128
content/Logik.md
Normal file
@ -0,0 +1,128 @@
|
||||
---
|
||||
categories: Mathematik
|
||||
toc: yes
|
||||
title: Logik
|
||||
...
|
||||
|
||||
Logik ist das ziehen von Schlüssen, die innerhalb der Logik widerspruchsfrei und kohärent sind.
|
||||
|
||||
# minimale Logik
|
||||
|
||||
Für eine minimale Logik braucht man folgende Annahmen:
|
||||
|
||||
Im folgenden ist jedes Merkmal als Dreiklang definiert, bestehend aus einer Formaldefinition (F - WAS ist das), einer Einführung (I - WIE kann ich das "erzeugen") und einer Elimination (E - WIE bekomme ich das wieder weg).
|
||||
|
||||
Formal kurz:
|
||||
|
||||
- prop ist eine Eigenschaft, die zu true oder false evaluieren kann. Wir berüchsichtigen nur ein weiteres schließen, wenn prop entweder wahr oder unevaluiert ist.
|
||||
- A, B, C sind Aussagen
|
||||
- $\Gamma$ sind Aussagensammlungen (eine beliebige Anzahl an Aussagen in beliebiger Reihenfolge)
|
||||
|
||||
Alle weiteren Operationen werden eingeführt.
|
||||
|
||||
## Wahrheit T
|
||||
|
||||
Eine Wahrheit T, auf die jede Aussage die logisch ist reduzierbar sein muss:
|
||||
|
||||
$\frac{}{T prop} (T-F)$
|
||||
|
||||
"prop" ist einfach eine Aussage.
|
||||
|
||||
$\frac{}{T true} (T-I)$
|
||||
|
||||
Es gibt keine "ultimative" Wahrheit, aus der ich trivial "wahr" ableiten kann. Normalerweise bekannt als "Axiome". Später einfach Grundannahmen.
|
||||
|
||||
$- (T-E)$
|
||||
|
||||
Es gibt keine Elimination. Etwas, was inherent Wahr ist, kann ich nicht im Nachhinein ändern (ohne zuvor einen Fehler gemacht zu haben).
|
||||
|
||||
## Verknüpfung $\wedge$
|
||||
|
||||
Eine Verknüpfung $\wedge$, die zutrifft, wenn 2 Aussagen A, B wahr sind:
|
||||
|
||||
$\frac{A prop; B prop}{A \wedge B prop} (\wedge F)$
|
||||
|
||||
A & B sind Aussagen, Ergebnis ist eine Aussage über beides
|
||||
|
||||
$\frac{A true; B true}{A \wedge B true} (\wedge I)$
|
||||
|
||||
Wenn A wahr & B wahr, dann ist beides zusammen auch wahr.
|
||||
|
||||
$\frac{A \wedge B true}{A true} (\wedge E_1)\quad \frac{A \wedge B true}{B true} (\wedge E_2)$
|
||||
|
||||
Wenn A & B wahr sind, dann auch die Teile
|
||||
|
||||
## Implikation $\supset$
|
||||
|
||||
Eine Implikation (B ist in A enthalten):
|
||||
|
||||
$\frac{A prop; B prop}{A \supset B prop} (\supset F)$
|
||||
|
||||
A & B sind Aussagen, Ergebnis ist eine Aussage über beides
|
||||
|
||||
$\frac{A true \vdash B true}{A \supset B true} (\supset I)$
|
||||
|
||||
Wenn A B impliziert, dann ist A eine größere Aussage als B.
|
||||
|
||||
$\frac{A \supset B true; A true}{B true} (\supset E)$
|
||||
|
||||
Wenn A B umfasst und A wahr ist, dann muss B wahr sein.
|
||||
|
||||
## Entailment $\vdash$
|
||||
|
||||
Was soll nun dieser $\vdash$-Operator sein? Nun, dass ist "folgerbarkeit". Folgende Bedingungen **müssen** erfüllt sein, damit das (für uns) sinnvoll ist:
|
||||
|
||||
1. $A true \vdash A true$ (Reflexiv, Wenn A wahr ist, dann folgt daraus, dass A wahr ist!)
|
||||
2. $\frac{\Gamma_1 \vdash A true; \Gamma_2, A true \vdash B true}{\Gamma_1, \Gamma_2 \vdash B true}$ (Transitiv, Wenn A unter Bedingung X wahr ist, und B unter Bedingung AY, dann ist B auch unter XY wahr. Wenn 1 + 1 = 2 und 3+2 = 5, dann auch 3 + (1+1) = 5)
|
||||
|
||||
und folgendes **sollte** erfüllt sein, außer wir bewegen uns auf ganz krudem Terrain:
|
||||
|
||||
3. $\frac{\Gamma \vdash A true}{\Gamma, B true \vdash A true}$ (Weakening. Wenn A schon bewiesen ist, dann wird es nicht falsch durch hinzufügen einer wahren Vorraussetzung (die für den Beweis nicht nötig wäre)).
|
||||
4. $\frac{\Gamma, A true, A true \vdash B true}{\Gamma, A true \vdash B true}$ (Contraction. Wenn ich A 2x verwende, dann kann ich es auch nur 1x oben drüber schreiben).
|
||||
5. $\frac{\Gamma \vdash A true}{\Pi(\Gamma) A true}$ (Permutation. Egal in welcher Permutation $\pi$ ich die Argumente aufführe, der Schluss ist gleich).
|
||||
|
||||
## Unwahrheit $\perp$
|
||||
|
||||
Eine Aussage, die **nie** Eintreten darf. Wenn wird dieses Schlussfolgern *können*, dann haben wir einen Fehler
|
||||
|
||||
$\frac{}{\perp prop} (\perp F)$
|
||||
|
||||
bottom ist eine Aussage
|
||||
|
||||
$-(\perp I)$
|
||||
|
||||
bottom kann nicht Abgeleitet werden
|
||||
|
||||
$\frac{\perp true}{A true} (\perp E)$
|
||||
|
||||
Wenn wir bottom Ableiten können, gilt alles (1=0, Gott existiert und existiert nicht zugleich, ...).
|
||||
|
||||
## Disjunktion $\vee$
|
||||
|
||||
$\frac{A prop, B prop}{A \vee B prop} (\vee F)$
|
||||
|
||||
A & B sind Aussagen, A oder B ist auch eine Aussage
|
||||
|
||||
$\frac{A true}{A \vee B true} (\vee I_1)\quad \frac{B true}{A \vee B true} (\vee I_2)$
|
||||
|
||||
Wenn eins von beidem Wahr ist, dann ist A oder B wahr. Sprich, ich kann einfach irgendeine Aussage (egal ob wahr oder falsch) zu einer Aussage hinzufügen und die Disjunktion bleibt gleich.
|
||||
|
||||
$\frac{A \vee B true, A true \vdash C true, B true \vdash C true}{C true} (\vee E)$
|
||||
|
||||
Wenn C aus A folgt UND C aus B folgt UND entweder A oder B wahr sind, ist C wahr. OB jetzt entweder A oder B wahr sind interessiert für den Schluss nicht. Es reicht, dass Eines von beiden wahr ist.
|
||||
|
||||
# Folgerungen
|
||||
|
||||
1. Eine Aussage A ist immer $\perp \le A \le T$. Sie ist also wahr oder falsch (=trivial) oder je nach Bedingung anders.
|
||||
2. Es gibt eine "Mächtigkeitsreihenfolge" bei Aussagen. Die Aussagen, die mit den wenigsten Vorraussetzungen auskommen sind mächtiger und enthalten mehr Aussagen, als die speziellen.
|
||||
3. Zu einer Aussage A gibt es eine Gegenaussage $\neg A := A \supset \perp$. Diese ist genau dann falsch, wenn A wahr ist. Formal: $\frac{A \wedge C \le \perp }{C \le \neg A}$. Wenn A widerlegt werden kann, ist $\neg A$ die mächtigste Widerlegung.
|
||||
4. Zu einer Aussage A gibt es ein Inverses $\bar{A}$, sodass $A \vee \bar{A} \simeq T$, also $T \le A \vee \bar{A}$. $\bar{A}$ ist somit die größte Aussage, die dazu führt, dass sie mit A ver-odert wahr wird.
|
||||
5. **Bemerkenswert ist:** Im Allgemeinen gilt *nicht*: $\neg A = \bar{A}$.
|
||||
|
||||
Zu 5. noch eine Bemerkung: Dies ist trivial klar, wenn man sich bewusst macht, dass nicht jedes Problem gelöst ist. Dies sind Dinge, über die die Logik alleine keine Aussage treffen KANN. Allerdings müssen wir Berücksichtigen, dass es solche Annahmen GIBT.
|
||||
|
||||
Ein Beispiel für eine Logik, die Annahme 5 macht: Bool'sche Algebra
|
||||
|
||||
Ein Beispiel für eine Logik, die Annahme 5 *nicht* macht: Heyting Algebra, u.U. auch Lindenbaum Algebra (nicht geprüft)
|
||||
|
||||
Damit ist letztere qua definitionem mächtiger als Erstgenannte, da diese in letztgenannter enthalten ist.
|
||||
87
content/Uni/Lernerfolg_an_der_Uni.md
Normal file
87
content/Uni/Lernerfolg_an_der_Uni.md
Normal file
@ -0,0 +1,87 @@
|
||||
# Wie lerne ich richtig an der Uni?
|
||||
|
||||
Dies ist eine gute Frage. Da ich im laufe der Zeit einige Antworten gesammelt habe, wollte ich diese mal hier niederschreiben. Vorweg eine Warnung: **All das hier spiegelt nur meine persönlichen Erfahrungen aus Gesprächen wieder. Es kann sein, dass die z.B. für euren Fachbereich nicht gilt.** Da wir das nun aus dem Weg haben, geht es auch gleich los.
|
||||
|
||||
# Uni ist nicht Schule
|
||||
|
||||
Einige mögen sagen: "duh!", aber es ist erschreckend, wie viele Leute meinen, dass ihnen die Uni etwas schuldet oder das Dozenten und Tutoren dafür verantwortlich sind, dass man hier etwas lernt. Studium ist eine komplett freiwillige Veranstaltung. Man kann jederzeit sagen: "Passt mir nicht. Ich gehe."
|
||||
An der Uni wird erwartet, dass man sich ggf. einarbeitet, wenn man etwas nicht weiss; dass man Sekundärliteratur fragt (z.B. in Mathe auch mal in Bücher schaut um eine andere Erklärung zu bekommen, als der Prof an die Tafel geklatscht hat).
|
||||
|
||||
# Etwas Lerntheorie
|
||||
|
||||
Es gibt einen sehr schönen [Talk](https://yow.eventer.com/yow-2014-1222/stop-treading-water-learning-to-learn-by-edward-kmett-1750) von Edwand Kmett in dem er über seine Erfahrungen berichtet. Kurzum: Man lernt durch stete Wiederholung. Und der beste Moment etwas zu wiederholen ist, kurz bevor man es vergisst. Das stimmt ziemlich genau mit meiner Erfahrung überein.
|
||||
|
||||
## Auswendig lernen
|
||||
|
||||
Grade die oben genannte Theorie steht beim Auswendiglernen im Vordergrund. Wenn man etwas langfristig auswendig lernen will (Fremdsprachen, etc.), dann gibt es hierzu Software, die herausfindet, wann es der beste Zeitpunkt ist, dich wieder abzufragen: [Anki](http://ankisrs.net/) gibt es für jede Platform kostenlos (außer iPhone - hier 25$, weil Apple so viel Geld für das einstellen im AppStore haben will). Anki ist dazu gedacht, dass man zu jedem Thema einen Stapel hat (z.b. Klausurfragen, Sprachen, ...) und jeden Tag lernt. Nach einiger Zeit wird die vorhersage der Lernzeit ziemlich genau. Anfangs beantwortet man noch viele Fragen täglich, aber je häufiger man die Antworten kennt, desto weiter hinten landen sie im Stapel. Schlussendlich kommt dieselbe Frage dann nur noch 1x/Monat oder noch seltener.
|
||||
|
||||
Ich benutze dies insbesondere zum Auswendiglernen von Fakten, Formeln, Fachbegriffen etc. Bei Mathe bietet sich zum Beispiel an einen Stapel mit allen Definitionen zu haben; in der Biologie eine Liste der Schema und Kreisläufe etc.
|
||||
|
||||
Man kann auch einen Hardcore-Lernmarathon machen. Meine letzten beiden Klausuren waren nur auf "bestehen" - also ohne Note. Ich habe mir eine alte Klausur organisiert (mehr genaues unten) und dann daraus Karten erstellt. Dies hat nur wenige Stunden gedauert (2-3 verteilt auf 2 Tage). Damit habe ich dann am Tag vor der Klausur 2x gelernt (1x nach dem Aufstehen, 1x vorm schlafengehen; jeweils nach 30 Minuten hatte ich alle Fragen min. 1x korrekt beantwortet). Am Morgen der Klausur hab ich die Fragen vor dem Aufstehen noch einmal durchgemacht (wieder 25-30 min), habe mir zur Klausur fertig gemacht und bin 30 Min vor der Klausur die Fragen nochmals durchgegangen (15-30 min), aber konnte sie mittlerweile alle auswendig. Insgesamt habe ich mit Anki so für die Klausur effektiv 2h gelernt (+2-3h für das erstellen der Karten), habe die Klausur geschrieben und mit einer 3.0 bestanden (also wäre 3.0 gewesen, wenn es nicht unbenotet gewesen wäre). Kommilitonen, die sich (nach eigener Aussage) 1-2 Wochen auf die Klausur vorbereitet haben und eine Note wollten, schnitten teilweise schlechter ab (viele aber auch viel besser).
|
||||
|
||||
## Methodik lernen
|
||||
|
||||
Im Gegensatz zum plumpen auswendig lernen gibt es dann auch Anforderungen, wo es darum geht Methoden und Anwendungen zu verstehen. Inbesondere ist dies in Vorbereitung auf z.B. mündliche Prüfungen der Fall. Hier steht eher die Theorie im Vordergrund.
|
||||
|
||||
Um solche Konzepte zu verstehen braucht es leider Zeit. Hier hilft kein 48h-Lernmarathon um das "mal eben" auf die Kette zu kriegen. Am besten bereitet man sich das gesamte Semester über vor (haha! Als ob! :p).
|
||||
Das "Geheimnis" hier liegt in einer Kombination der Ansätze. Zum einen muss man natürlich verstehen, worum es geht. Hier hilft es Definitionen und Fachbegriffe z.B. mit Anki zu lernen. Allerdings muss man sich zusätzlich noch nach jeder(!) Vorlesung hinsetzen und versuchen den Inhalt zu verdauen. Dies können nur 10 Minuten sein oder auch 2h. Hier kommen dann Dinge zum Tragen, wie Sekundärliteratur, Wikipedia, Google, ... Man muss die Zusammenhänge einmal verstehen - da kommt man nicht drumherum. ABER: Unser Gehirn arbeitet Assoziativ. Zusammenhänge sind meist logisch oder krass widersprüchlich. Hieraus kann man dann z.B. "Stichwortketten" bauen, von denen man nur das erste auswendig lernt und von da aus sich an den Rest "erinnert".
|
||||
|
||||
Kleines Beispiel aus der Welt der Mathematik:
|
||||
|
||||
```
|
||||
Vektorraum -> Ist zu einer Basis definiert -> Basis ist die größtmögliche Zahl lin. unabh. Vektoren. Lin. Hülle der Basis ist der VR -> Lin. Hülle ist jede Lin.-Komb. von Vektoren
|
||||
-> Hat eine Vektoraddition und skalare Multiplikation
|
||||
-> Wird über einem Körper aufgespannt -> Körper sind 2 abelsche Gruppen mit Distributivgesetz -> abelsche Gruppe ist Menge mit K.A.I.N. -> ....
|
||||
```
|
||||
|
||||
So kann man sich über 5-6 Stichwörter fast am gesamten Stoff der Vorlesung entlanghangeln und merkt schnell, wo es hakt. Hier kann man dann nochmal gezielt nachhaken. Auch kann man bei so einer Struktur aus jedem "a -> b -> c" Anki-Karten machen mit "a" auf der Vorderseite, "b" auf der Rückseite bzw. "b" auf der Vorderseite und "c" auf der Rückseite und so gezielt diese "Ketten" trainieren. Grade in einer mündlichen Prüfung hangeln sich Prüfer ebenfalls an diesen Ketten entlang.
|
||||
|
||||
# Vorbereiten auf eine Klausur
|
||||
|
||||
- Herausfinden, um was für eine Art von Klausur es sich handelt
|
||||
- Ankreuzklausur?
|
||||
- Auswendiglern-Klausur?
|
||||
- Praktische Klausur (z.b. fast 1:1 Übungsaufgaben, feste Schema, ..)?
|
||||
- Open-Book?
|
||||
- Annotation von Grafiken?
|
||||
- Klausuren von der Fachschaft organisieren
|
||||
- Falls keine Vorhanden: Altfachschaftler fragen, wie die Klausur bei ihnen war
|
||||
- Neue Klausur mit in die FS bringen, falls möglich (z.b. schreiend rausrennen und Klausur dabei mitnehmen, bevor man offiziell registriert wurde)
|
||||
|
||||
Je nach Klausurtyp dann mit Anki stumpf Karten machen und auswendig lernen (z.b. Ankreuzklausur, Grafik-annotations-Klausur, ..) oder Übungsaufgaben/Altklausuren durchrechnen
|
||||
|
||||
# Vorbereiten auf eine mündliche Prüfung
|
||||
|
||||
- Protokolle aus der Fachschaft organisieren
|
||||
- Häufig gegen Pfand, dass man bei Abgabe eines Protokolls wieder bekommt
|
||||
- Wenn keins vorhanden für die nachfolgede Generation eins ausfüllen
|
||||
|
||||
Wenn ihr einen Reihe von Protokollen vorliegen habt, dann schreibt alle Fragen heraus und notiert, wie häufig diese Frage gestellt wurde. So findet ihr heraus, auf welche Punkte der Prüfer besonders Wert legt (z.B. häufig sein eigenes Forschungsfeld). Diese Fragen dann restlos klären und zu Anki-Karten verarbeiten. Das reicht meistens für ein Bestehen. Wenn ihr auf eine gute Note wert legt, dann solltet ihr auch noch die Vorlesung, wie im Bereich "Methodik lernen" erwähnt, nacharbeiten. Insbesondere helfen hier die Assoziationsketten weiter den Stoff auch in der Prüfung in der richtigen Reihenfolge abzurufen. Vielleicht erkennt ihr solche Ketten schon aus den Prüfungsprotokollen und könnt euch ausmalen, wie man z.b. von da aus auf andere Themen der Vorlesung kommt (die z.b. neu sind oder überarbeitet wurden).
|
||||
|
||||
## Unterschiede mündliche Bachelor/Master-Prüfungen
|
||||
|
||||
Einige Dozenten machen unterschiedliche Anforderungen, ob sie einen Bachelor oder einen Master-Studenten prüfen. Abgesehen von der anderen Prüfungszeit (15-30min bei bachelor, 25-45 bei Master) ist hier auch das Vorgehen anders.
|
||||
Bei einem Bachelor wird klassischerweise alles oberflächlich abgefragt und nur wenig in die Tiefe gegangen. Bei einem Master wir nur noch stichpunktartig gefragt, dafür aber bis ins Detail.
|
||||
|
||||
Beispiel: Ich hatte eine mündliche Masterprüfung, bei der in der Vorlesung 7 verschiedene Themen behandelt wurden. In der Prüfung wurden dann nur die Themenübersicht abgefragt und bei 2 Themen komplett in die Tiefe gegangen - inkl. Formeln, Bedeutung, Übertragung auf in der Vorlesung nicht angesprochene Aspekte etc. Die anderen 5 Themen kamen nicht dran.
|
||||
Bei meinen Bachelorprüfungen war das eher umgekehrt: Hier wurde sich grob an der Vorlesung entlang gehangelt und zumindest alles einmal kurz angetestet, ob die zentralen Inhalte der Vorlesung verstanden wurden.
|
||||
|
||||
Dies hat häufig auch damit zu tun, dass man im Bachelor eher Grundlagen hört und somit ein grobes Verständnis aller Dinge wichtig ist, während im Master auf die Aneignung von Tiefenwissen ankommt.
|
||||
|
||||
# Prüfungsangt
|
||||
|
||||
Zu guter Letzt noch ein paar Worte zum Thema Prüfungsangst. Es ist normal, dass man vor einer Prüfung angespannt ist. Es ist nicht normal, wenn die Anspannung so ausartet, dass man sich übergibt, Krämpfe bekommt oder ähnlich starke Symptome zeigt. Ich leide selbst an solchen Problemen und habe mich schon mehrfach vor Prüfungen übergeben.
|
||||
Eine klassische Konfrontationstherapie funktioniert aufgrund der Seltenheit der Prüfungen nicht oder nur sehr schwer. Ich habe mich an meinen Arzt gewendet und habe nun genau für solche Situationen ein Medikament. 1-2h vor einer Prüfung nehme ich das und komme in einen komischen Zustand. Ich merke zwar noch, dass ich Angespannt bin und eigentlich Angst hätte, aber es "stört" mich nicht wirklich. Es versetzt mich nicht in Panik oder sonstwas. Es schaltet mein Gehirn nicht aus oder hat andere negative Effekte. Natürlich geht das auch mit Nachteilen einher: ein paar Tage keinen Alkohol, kein Auto fahren, etc. - Aber meist ist das ja nur 2-3x/Semester der Fall.
|
||||
Wenn man nicht so stark betroffen ist, dann ist davon allerdings abzuraten. Das Medikament gleicht die Panik durch Gelassenheit aus - wenn man keine Panik hat, dann wird man hierdurch so "gelassen" dass man mehrere Stunden einschläft - was in einer Prüfung vielleicht nicht ganz so gut ist ;)
|
||||
|
||||
Es gibt auch zahlreiche Regularien und Rechtsansprüche, die ihr bei sowas habt. Ihr habt zum Beispiel (sofern ein (Amts?-)Arzt eine Prüfungsangst bestätigt hat) Anspruch auf mehr Prüfungszeit, die Prüfung alleine abzulegen (z.b. bei einem Mitarbeiter, während andere im Hörsaal schreiben), eine mündliche durch eine schriftliche zu tauschen (oder umgekehrt), etc. Das kann man individuell mit dem Prüfer absprechen. Ich weiss nicht, wie das in anderen Fakultäten läuft - aber in der Technischen Fakultät hat fast jeder Prüfer dafür volles Verständnis (einige litten sogar früher selbst an sowas).
|
||||
|
||||
Die kostenlose psychologische Beratung an der Uni (aka. "Das rote Sofa" im X) bietet hier auch Hilfestellung bei und vermittelt in schwereren Fällen auch gleich noch eine Therapie/Ärzte. Hier kann man z.b. Prüfungssimulationen abhalten oder sich Hilfe holen, wenn ein Dozent sich querstellt. Die Mitarbeiter begleiten einen z.B. auch zu einer Prüfung (nach Absprache mit dem Veranstalter), falls das hilft, etc.
|
||||
|
||||
Es ist keine Schande so ein Problem zu haben und es gibt genug, die sich damit rumschlagen. Aber man ist hier an der Uni auch nicht alleine damit. Es gibt zahlreiche Hilfsangebote.
|
||||
|
||||
Ein kleiner Hinweis hier noch auf das [Prüfungsangst-Stipendium](http://www.eurocentres.com/de/pr%C3%BCfungsangst-stipendium), dass einem eine Belohnung gibt, wenn man sich seinen Ängsten stellt und sie überwindet. :)
|
||||
|
||||
# Schlusswort
|
||||
|
||||
Viel Erfolg bei euren Prüfungen. Falls euch dieser Artikel geholfen hat oder ihr noch Anregungen/Verbessenguswünsche habt, schreibt mir einfach unter `sdressel@techfak.uni-bi...`, ich werde die dann einbauen.
|
||||
43
content/Unix/SSH-Filter.md
Normal file
43
content/Unix/SSH-Filter.md
Normal file
@ -0,0 +1,43 @@
|
||||
To filter incoming SSH-Connections by Country/Login do:
|
||||
|
||||
Create a filter-binary (i.e. `/usr/local/bin/sshfilter.sh`) with contents like:
|
||||
|
||||
```bash
|
||||
#!/bin/bash
|
||||
|
||||
# UPPERCASE space-separated country codes to ACCEPT
|
||||
ALLOW_COUNTRIES="DE NL"
|
||||
|
||||
if [ $# -ne 2 ]; then
|
||||
echo "Usage: `basename $0` <ip> <user>" 1>&2
|
||||
exit 0 # return true in case of config issue
|
||||
fi
|
||||
|
||||
COUNTRY=`/usr/bin/geoiplookup $1 | awk -F ": " '{ print $2 }' | awk -F "," '{ print $1 }' | head -n 1`
|
||||
|
||||
if [[ $COUNTRY == "IP Address not found" || $ALLOW_COUNTRIES =~ $COUNTRY ]]; then
|
||||
RESPONSE="ALLOW"
|
||||
else
|
||||
RESPONSE="DENY"
|
||||
fi
|
||||
|
||||
#root-user is denied directly - no matter from where
|
||||
#can be used to also auto-ban ip in $1
|
||||
if [[ $2 == "root" ]]; then
|
||||
RESPONSE="DENY"
|
||||
fi
|
||||
|
||||
#allow few users from everywhere
|
||||
if [[ $2 == "juser" ]]; then
|
||||
RESPONSE="ALLOW"
|
||||
fi
|
||||
|
||||
if [[ $RESPONSE == "ALLOW" ]]; then
|
||||
exit 0
|
||||
else
|
||||
logger "$RESPONSE sshd connection for $2 from $1 ($COUNTRY)"
|
||||
exit 1
|
||||
fi
|
||||
```
|
||||
|
||||
Installation of geoiplookup from [ubuntuwiki](https://wiki.ubuntuusers.de/geoiplookup/)
|
||||
@ -1,5 +1,3 @@
|
||||
# Emanote Template
|
||||
Unsortierte Einsichten und Erfahrungen. Archiviert zum verlinken, späteren Überdenken oder Diskutieren.
|
||||
|
||||
A template for your next [Emanote] website for hosting in [[GitHub Pages]], editing in [Visual Studio Code](https://emanote.srid.ca/resources/vscode), etc.. For details, see https://github.com/srid/emanote-template.
|
||||
|
||||
[Emanote]: https://emanote.srid.ca/
|
||||
Keine Garantie auf Richtigkeit oder Trollfreiheit :D
|
||||
Loading…
Reference in New Issue
Block a user