Vielleicht sollte ich meinen Umzug weg von Gmail doch endlich mal konsequent durchziehen. Hat jemand Erfahrungsberichte zu Mailbox.org?
post
hmm... habe heute Nacht recherchiert und geshoppt:
- Gebrauchter DDR4 RAM
- RTX 3050 6GB Low Profile (HP SFF Server vorhanden)
Plan:
- Ollama mit lokalen Modellen
- Paperless-AI
- SearxNG + Perplexica + OpenWebUI
- Openwebui -> XMPP -> AI Assistent in Conversations mit Suchfähigkeit. Mal schauen obs auch klappt!
DDR4 geshoppt? Bist du einer von diesen Superreichen?
Welche Modelle möchtest Du denn laufen lassen?
Ich werde mal mit verschiedenen 8B Modellen starten. Muss dann mal schauen was klappt. hast du Tipps?
https://whatmodelscanirun.com/
Kann man seine GPU oder generell Specs eingeben und der spuckt aus, welche Modelle mit welcher Performance laufen
Ich spiele mit Ollama bisher auf einem älteren PC mit 16GB RAM, ohne GPU, nur auf einer i5 CPU.
Die von mir zuletzt getesteten Modelle passen daher nicht so gut zu Deiner 8B Vorgabe.
Ich zähle sie trotzdem mal auf:
-
lfm2.5-thinking:latest
Das sehr kleines Thinking-Modell LFM2.5 von LiquidAI, liefert erstaunlich flott gute Resultate,
Das müsste mit seinen knapp 750MB gut auf die GPU passen. -
hf.co/byteshape/Qwen3-30B-A3B-Instruct-2507-GGUF:Qwen3-30B-A3B-Instruct-2507-Q3_K_S-3.25bpw.gguf
Dieses optimierte instruct-Modell war richtig gut, dafür dass es auf meinem PC läuft, leider mit 12GB wohl zu groß für Deine 8B.
Ein Modell dieser optimierten "Sammlung": https://huggingface.co/byteshape/Qwen3-30B-A3B-Instruct-2507-GGUF -
sam860/VibeThinker:1.5b-f16
Da ich es aufgehoben habe, war es wohl ok, ich kann mich aber nicht mehr daran erinnern was Stärken und Schwächen waren.
Mit seine 3.6GB passt es aber in die 8B rein. -
gpt-oss:20b
Das größere der beiden neuen, offenen Modelle von OpenAI, mit 13GB deutlich zu groß für 8B, aber läuft (gerade so) bei mir auf CPU mit 16GB RAM.
Gute Resultate, aber zu langsam für tägliche Nutzung.
Das Einzige wo ich noch nicht "Digital Independent" bin wäre Youtube, weil da, Peertube in allen Ehren, halt der interessante Content ist. Hab aber schon seit vielen Jahren kein Google-Konto mehr und gucke über Freetube. Seit einer Weile überlege ich auch ein eigenes Emacs package zu bauen das yt-dlp und mpv wrapt. Glaube es gibt sowas schon irgendwo, aber ohne support für subscriptions und Kommentare.
Ich geh heute vielleicht da hin:
Weg von BigTech – Metalab Wiki https://metalab.at/wiki/Weg_von_BigTech
Wien um 15:00 nahe Rathaus
all 16 comments