Wie ich mein eigenes ChatGPT trainiere

Es wird so dargestellt, als wären wir nur wenige Klicks von der Erstellung unserer eigenen KI entfernt. Es reicht aus, YouTube zu öffnen oder einen Technologieblog zu lesen, um mit Anzeigen bombardiert zu werden, wie man seine eigene KI in Minuten trainiert. ChatGPT hier, Gemini da oder Claude von Anthropic, der Fragen besser beantworten kann als jeder Assistent der Konkurrenz. Es scheint, als wäre KI für jedermann zugänglich, aber wie wahr ist diese Wahrnehmung?

Hinter diesen KIs verbirgt sich eine Realität, die nur wenige kennen. Die Erstellung eines KI-Modells wie ChatGPT oder LLaMA von Meta ist nichts, was jeder auf seinem Desktop-Computer oder sogar auf einem durchschnittlichen Server tun kann. Die Geschichte beginnt mit einer Frage: Woher bekommen sie so viele Informationen?

Datenhunger: Wissen aus dem Web stehlen

Das Training einer Sprach-KI wie ChatGPT ist nicht nur eine Frage, eine Enzyklopädie oder den Inhalt von Wikipedia zu erhalten. Obwohl Wikipedia zu einem Referenzpunkt für allgemeine Informationen geworden ist, repräsentiert sie tatsächlich weniger als 1% der Daten, die zum Trainieren dieser riesigen neuronalen Netze erforderlich sind. Also, woher bekommen sie den Rest?

Die Antwort ist ziemlich roh: Die KI ernährt sich von der gesamten Web. Die Ersteller dieser künstlichen Intelligenzen bauen Roboter oder "Scraper", die das Internet wie unermüdliche Spinnen durchsuchen, verfolgen, kopieren und allen Text speichern, den sie auf ihrem Weg finden. Nachrichtenartikel, Blog-Posts, Kommentare in sozialen Netzwerken, Produktbewertungen, bis hin zum Text deiner Lieblingslieder. Und sie beschränken sich nicht nur auf Text. YouTube-Videos werden durch Spracherkennungsalgorithmen in Text umgewandelt, wodurch Stunden visueller Inhalte in Zeilen und noch mehr verarbeitbare Informationen umgewandelt werden.

Das Ergebnis dieses "Datenhungers" ist eine riesige Textdatei namens Dataset. Und wenn ich riesig sage, meine ich Tausende von Terabytes an Informationen. Ein Dataset ist im Wesentlichen das Rohmaterial, mit dem eine künstliche Intelligenz trainiert wird. Es ist wie die Nahrung, die die neuronale Netzwerk konsumiert, und die KI wird nur so gut sein wie die Qualität und Quantität des Datasets, das sie ernährt.

Was braucht man, um eine KI auf Weltklasseniveau zu trainieren?

Gut, wir haben die Daten, aber was braucht man noch, um eine KI dieser Art zu trainieren? Hier wird es kompliziert. Wenn Sie dachten, dass eine gute CPU der neuesten Generation und ein paar Tage Arbeit ausreichen würden, habe ich schlechte Nachrichten für Sie: Vergessen Sie das Training eines Netzes dieses Niveaus auf Ihrem Desktop-PC.

Um eine KI für die natürliche Sprachverarbeitung (NLP) wie ChatGPT oder LLaMA zu trainieren, werden Tausende von Grafikkarten der neuesten Technologie wie die A100 GPUs von Nvidia benötigt. Und ich spreche nicht von einer oder zwei GPUs, ich spreche von Farmen von Servern, die bis zum Rand mit GPUs gefüllt sind, die parallel verbunden sind. Jede GPU ist in der Lage, Tausende von mathematischen Operationen pro Sekunde durchzuführen, was es der KI ermöglicht, gleichzeitig aus Millionen von Daten zu lernen. Ein CPU ist für diese Aufgaben nicht geeignet; es hat einfach nicht die Kapazität, so viel Informationen parallel zu verarbeiten.

Selbst mit all dieser Rechenleistung kann das Training eines großen Modells Wochen oder Monate dauern, mit einem enormen Stromverbrauch und einer astronomischen Rechnung in der Cloud. Um Ihnen eine Vorstellung zu geben, hat OpenAI Millionen von Dollar für das Training seiner GPT-Modelle ausgegeben. Ist es dann für einen durchschnittlichen Entwickler möglich, seine eigene KI von Grund auf neu zu erstellen? Wahrscheinlich nicht.

Was bleibt für die "Sterblichen"?

Also, wer kann eine KI trainieren? Die Realität ist, dass große Technologieunternehmen wie Google, Meta, OpenAI und Microsoft diesen Bereich dominieren, weil sie die erforderlichen Ressourcen haben. Der Rest von uns spielt ein anderes Spiel: das Verwenden von vortrainierten Modellen. Diese Unternehmen haben ihre Modelle für andere Entwickler geöffnet, damit sie sie verwenden, anpassen und in kleinerem Maßstab optimieren können.

In der Praxis bedeutet dies, dass jeder mit technischen Kenntnissen ein Modell wie GPT verwenden kann, um personalisierte Anwendungen zu erstellen, ohne es von Grund auf neu trainieren zu müssen. Es ist nicht das gleiche Erlebnis wie die Entwicklung einer KI von Grund auf, aber es ermöglicht es kleinen Unternehmen und Unternehmern, von dieser Technologie zu profitieren, ohne die prohibitiven Kosten, die mit der Erstellung einer KI von Grund auf verbunden sind.

Die Illusion des Zugangs: Warum uns glauben gemacht wird, dass jeder seine eigene KI erstellen kann?

Ein großer Teil der Erzählung "jeder kann seine eigene KI erstellen" basiert auf Marketingstrategien. Google und OpenAI wollen, dass mehr Entwickler ihre Tools verwenden, weil dies die Akzeptanz ihrer Produkte erhöht und letztendlich ihre Rentabilität steigert. Wenn ein kleiner Unternehmer eine App erstellt, die das GPT-Modell von OpenAI verwendet, zahlt dieser Unternehmer beispielsweise weiterhin OpenAI für die Verwendung des Modells. Es ist ein Ökosystem, das Entwickler anziehen möchte, nicht um ihre eigene KI zu erstellen, sondern um sich der Welle anzuschließen, indem sie das verwenden, was bereits existiert.

Ist es wirklich möglich, deine eigene KI zu erstellen?

Ja und nein. Wenn es darum geht, eine KI von Grund auf zu trainieren, die das gleiche Leistungsniveau wie die der großen Technologieunternehmen hat, dann lautet die Antwort für die meisten von uns ein klares Nein. Die Kosten, der Zugang zu Daten und die erforderliche Infrastruktur liegen außerhalb der Reichweite der meisten unabhängigen Entwickler. Wenn es jedoch darum geht, vortrainierte Modelle zu verwenden, anzupassen und Anwendungen zu erstellen, die diese KI nutzen, dann ändert sich die Antwort zu einem Ja.

Letztendlich, obwohl uns glauben gemacht wird, dass wir nur einen Kaffeeplausch von der Erstellung unserer eigenen KI entfernt sind, ist die Wahrheit, dass die wahre Macht immer noch in den Händen derer liegt, die die Ressourcen kontrollieren: die Daten und die Hardware. Also, bevor Sie sich über die Idee freuen, "Ihre eigene KI zu bauen", fragen Sie sich, ob Sie wirklich das haben, was Sie brauchen, oder ob Sie nur eine reduzierte Version von etwas verwenden, das bereits existiert.

Für den Moment bleibt es ein Spiel, das von den Großen dominiert wird, obwohl es kleine Zugänge für diejenigen gibt, die ihre Möglichkeiten erkunden möchten.