Chatbot Ernie Baidu übertrifft ChatGPT in mehreren Benchmark-Tests
Baidu hat bekannt gegeben, dass das KI-Modell Ernie 3.5, das seinem Chatbot zugrunde liegt, den ChatGPT von OpenAI in mehreren Schlüsselbereichen übertroffen hat.
Was wir wissen
Nach Angaben des Tech-Giganten übertraf Ernie 3.5 GPT-3.5 in einer Reihe von Benchmark-Tests. Das Modell übertraf auch GPT-4 in chinesischen Sprachtests.
Einer der Vergleichstests basierte auf standardmäßigen Aufnahme- und Qualifikationstests. Ernie 3.5 übertraf beide OpenAI-Modelle in Chinesisch. Bei den englischen Aufgaben war der Algorithmus jedoch schlechter als GPT-4, aber besser als ChatGPT.
Der Test konzentriert sich auf die chinesische Sprache und enthält mehr als 13.000 Multiple-Choice-Fragen zu mehr als 50 verschiedenen Themen. Bei dieser Bewertung lag Ernie 3.5 vor ChatGPT und GPT-4.
Der dritte Test enthält Fragen zu verschiedenen Themen aus den Natur- und Geisteswissenschaften. Ernie 3.5 lag sowohl hinter ChatGPT als auch hinter GPT-4.
Was sonst noch bekannt ist
Baidu hat den Ernie-Bot in China seit März 2023 öffentlich getestet. Er basiert auf dem Ernie 3.5 Sprachmodell. Nach Angaben der Entwickler kann der Chatbot Audioaufnahmen in schriftliche Notizen umwandeln, E-Mails erstellen, Texte auf Aufforderungen hin generieren und vieles mehr.
Quelle: CNBC.
