Benchmarking von selbst gehosteten LLMs (clt26)

Large Language Models (LLMs) revolutionieren derzeit Arbeitsprozesse in der Dokumentenverarbeitung, der Softwareentwicklung und dem Wissensmanagement. Doch die Bequemlichkeit der Nutzung großer Cloud-Anbieter hat einen hohen Preis: Den Verlust der digitalen Souveränität. Wer weder Datenschutz noch volle Kontrolle über die zugrunde liegenden Prozesse garantieren kann, begibt sich in eine riskante Abhängigkeit. Die Lösung ist der Betrieb eigener Modelle auf kontrollierter Infrastruktur. Da High-End-Enterprise-GPUs (wie die H100) oft das Budget sprengen, haben wir am Rechenzentrum der Universität Leipzig untersucht, wie sich LLMs auf „erschwinglicher“ Hardware im Rechenzentrums-Maßstab realisieren lassen. In diesem Vortrag präsentieren wir die Ergebnisse unserer Benchmarking-Studie im Kontext des Kiara-Clusters. Wir analysieren die Performance aktueller Open-Source-Modelle – verschiedene Varianten von Llama 3, Llama 4 sowie DeepSeek – auf NVIDIA L40s-Karten. Dabei berichten wir von unseren Erfahrungen bei der Einrichtung und den Fallstricken im Betrieb. Licensed to the public under http://creativecommons.org/licenses/by/4.0 about this event: https://chemnitzer.linux-tage.de/2026/de/programm/beitrag/279