Experimente mit ollama und verschiedenen AI Language Modellen auf einem Raspi5

AI oder KI scheint inflationär im Einsatz zu sein. Mich stört dabei immer, dass ich nicht ohne Weiteres ganze Codeabschnitte oder Passworte ins Netz hochzuladen bereit bin und so mit Umwegen, Verallgemeinerungen und Einschränkungen leben muss. Manche Anbieter werten sogar Tastaturanschläge aus, um Ihre Modelle weiter zu verfeinern – wer weiß schon genau, welche Daten dabei wo landen?

Aber es gibt eine Alternative.  Einige Modelle sind gut genug trainiert, um respektable Ergebnisse zu erzielen und gleichzeitig klein und anspruchslos genug an bereitzustellende Ressourcen, um auf einem Raspi5 zu laufen.

Ich habe mit verschiedenen Modellen experimentiert, um einen oder mehrere zu meinem kleinen Helfer im privaten Netzwerk zu machen — später dann mit Anbindung via VS Code.

Meine persönliche Auswahl:

root@littlehelper:~# ollama ls
NAME ID SIZE MODIFIED
gemma3:4b a2af6cc3eb7f 3.3 GB 3 minutes ago
qwen2.5-coder:1.5b d7372fd82851 986 MB 4 minutes ago
qwen2.5:1.5b 65ec06548149 986 MB 4 minutes ago
phi:latest e2fd6321a5fe 1.6 GB 39 minutes ago
mistral-openorca:7b-q4_0 12dc6acc14d0 4.1 GB 56 minutes ago
codellama:latest 8fdf8f752f6e 3.8 GB About an hour ago
phi3:mini 4f2222927938 2.2 GB About an hour ago
mistral-openorca:7b-q8_0 d7fd37191d96 7.7 GB 4 hours ago