Sechs Dienste, eine Grafikkarte: Mein lokales LLM im Alltag
Eine RX 6900 XT, gpt-oss:20b und eine selbstgebaute Warteschlange: wie ich ein lokales LLM für sechs Dienste betreibe – mit Benchmarks, Kontexttests, Agententests und allem, was schiefging.