KI-Benchmarks haben mehr Probleme als Lösungen
KI-Entwickler brüsten sich stolz mit den Zahlen, die ihre Systeme in Benchmark-Tests erreichen. Wir erklären, wie KI-Benchmarks funktionieren und fragen: Wie aussagekräftig sind solche Tests wirklich? Und kommt es am Ende vielleicht bloss auf die «Vib ...
April 5, 202447m 9s
Audio is streamed directly from the publisher (download-media.srf.ch) as published in their RSS feed. Play Podcasts does not host this file. Rights-holders can request removal through the copyright & takedown page.
Show Notes
KI-Entwickler brüsten sich stolz mit den Zahlen, die ihre Systeme in Benchmark-Tests erreichen. Wir erklären, wie KI-Benchmarks funktionieren und fragen: Wie aussagekräftig sind solche Tests wirklich? Und kommt es am Ende vielleicht bloss auf die «Vibes» an?
Der ganze Podcast im Überblick:
(00:01:28) Was sind eigentlich KI-Benchmark-Tests?
(00:06:23) Neun Probleme
(00:34:27) Drei Lösungen
Chatbot Arena:
https://chat.lmsys.org
SRF Geek Sofa bei Discord:
https://discord.gg/geeksofa