KI-Benchmarking mit Chatbot Arena
Jede Woche kommen neue KI-Tools auf den Markt. Large Language Models (LLMs) spielen dabei eine wichtige Rolle. Das bekannteste davon - ChatGPT - dürfte den meisten Menschen bereits begegnet sein. Ein LLM ist eine künstliche Intelligenz (KI), die darauf trainiert ist, Text zu verstehen und auf Anweisungen neuen Text zu generieren. LLMs können Fachtexte, Gedichte, Programmiercodes, Märchen und beliebige andere Formate erstellen. Die anfängliche Begeisterung legt sich bei den Anwendern allerdings oft schnell. Nicht alle Tools liefern sinnvolle Ergebnisse, auch wenn diese oft plausibel erscheinen. Und wer höhere Ansprüche stellt, beispielsweise an Originalität, Sprachqualität oder korrekte Inhalte, wird enttäuscht.
Was ist die ChatbotArena?
ChatbotArena ist eine Website, die sich mit der Qualität von LLMs beschäftigt. Die Large Model Systems Organization (LMSYS), die dieses Angebot zur Verfügung stellt, ist eine offene Forschungsorganisation, die sich darauf konzentriert, gross angelegte maschinelle Lernmodelle, insbesondere grosse Sprachmodelle (LLMs), zugänglicher und nutzbarer zu machen. Hier können verschiedene KI-Modelle gegeneinander antreten. Zu Beginn wählt der Benutzer zwei Modelle aus. Dann wird ein Prompt formuliert, der von beiden LLMs bearbeitet wird. Die Ergebnisse werden tabellarisch nebeneinander dargestellt. Der Benutzer kann dann bewerten, welches er besser findet. Fast alle auf dem Markt erhältlichen KIs sind hier vertreten. Der Kampf kann auf zwei Arten ausgetragen werden. Der Nutzer wählt die Gegner direkt aus oder er kann blind testen, ohne zu wissen, wer gegen wen antritt. In diesem Fall ist die Bewertung objektiver. Eine Rangliste zeigt an, welche LLMs wie bewertet wurden.
Warum soll ich das ausprobieren?
Der Nutzer hat die Möglichkeit, Neues zu entdecken und auszuprobieren. Es kann sein, dass es LLMs gibt, die den individuellen Bedürfnissen besser entsprechen als die gewohnten. Die LLMs sind kostenlos zugänglich, so dass ein Ausprobieren ohne finanzielles Risiko möglich ist. Der Lerneffekt ist gross. User testen, wie unterschiedliche LLMs auf Prompts reagieren und wie sich diese optimieren lassen.
Chatbot Arena bietet die Möglichkeit, mit KI-Technologie zu experimentieren und neue LLMs zu erforschen. Es ist ein Beispiel dafür, wie Open-Source-Projekte zur Entwicklung von KI-Anwendungen beitragen können und wie Nutzer von diesen Technologien profitieren können.
Quellen