Comment former mon propre ChatGPT

Ils nous le peignent comme si nous étions à seulement quelques clics de créer notre propre intelligence artificielle. Il suffit d'ouvrir YouTube ou de lire un blog de technologie pour être bombardés d'annonces sur la façon d'entraîner votre propre IA en quelques minutes. Que ce soit ChatGPT par ici, Gemini par là, ou que Claude d'Anthropic puisse répondre à des questions mieux que n'importe quel assistant de la concurrence. Il semble que l'IA soit à la portée de tous, mais à quel point cette perception est-elle exacte ?

Derrière ces intelligences artificielles se cache une réalité que peu de gens connaissent. Créer un modèle d'IA comme ChatGPT ou LLaMA de Meta n'est pas quelque chose que n'importe qui peut faire sur son ordinateur de bureau ou même sur un serveur moyen. L'histoire commence par une question : d'où tirent-ils autant d'informations ?

Faim de données : voler des connaissances sur le Web

Entraîner une IA de langage comme ChatGPT ne consiste pas seulement à obtenir une encyclopédie ou le contenu de Wikipedia. Bien que Wikipedia soit devenue un point de référence lorsqu'il s'agit d'informations générales, elle ne représente en réalité que moins de 1 % des données nécessaires pour entraîner ces énormes réseaux neuronaux. Alors, d'où viennent-ils le reste ?

La réponse est assez crue : l'IA se nourrit de toute la toile. Les créateurs de ces intelligences artificielles construisent des robots ou des "scrapers" qui parcourent Internet comme des araignées inlassables, traquant, copiant et stockant tout le texte qu'ils trouvent sur leur passage. Articles de presse, publications sur les blogs, commentaires sur les réseaux sociaux, critiques de produits, jusqu'aux paroles de vos chansons préférées. Et ils ne se limitent pas au texte. Les vidéos de YouTube sont converties en texte à l'aide d'algorithmes de reconnaissance vocale, transformant des heures de contenu visuel en lignes et en lignes d'informations traitables.

Le résultat de cette "famine de données" est un gigantesque fichier texte appelé ensemble de données. Et quand je dis gigantesque, je veux dire des milliers de téraoctets d'informations. Un ensemble de données est, en essence, la matière première avec laquelle une intelligence artificielle est entraînée. C'est comme la nourriture que consomme le réseau neuronal, et l'IA ne sera aussi bonne que la qualité et la quantité de l'ensemble de données qui la nourrit.

Qu'est-ce qu'il faut pour entraîner une IA de niveau mondial ?

Bien, nous avons les données, mais qu'est-ce qu'il faut d'autre pour entraîner une intelligence artificielle de ces caractéristiques ? C'est là que les choses se compliquent. Si vous pensiez qu'un bon CPU de dernière génération et quelques jours de travail suffisaient, j'ai de mauvaises nouvelles pour vous : oubliez d'entraîner un réseau de ce niveau sur votre PC de bureau.

Pour entraîner une IA de traitement du langage naturel (NLP) comme ChatGPT ou LLaMA, il faut des milliers de cartes graphiques de dernière technologie, comme les GPUs A100 de Nvidia. Et je ne parle pas d'une ou deux GPUs, je parle de fermes de serveurs, pleines à craquer de GPUs connectées en parallèle. Chaque GPU est capable d'effectuer des milliers d'opérations mathématiques par seconde, permettant à l'IA d'apprendre à partir de millions de données en même temps. Un CPU, en revanche, ne sert pas à ces tâches ; il n'a tout simplement pas la capacité de traiter autant d'informations en parallèle.

Même avec toute cette puissance de calcul, entraîner un grand modèle peut prendre des semaines ou des mois, avec une consommation d'énergie électrique énorme et une facture astronomique dans le cloud. Pour vous donner une idée, OpenAI a dépensé des millions de dollars pour entraîner ses modèles GPT. Est-il alors viable pour un développeur moyen de créer sa propre IA à partir de zéro ? Probablement pas.

Quelles sont les options qui restent pour les "mortels" ?

Alors, qui peut entraîner une IA ? La réalité est que les grandes entreprises technologiques comme Google, Meta, OpenAI et Microsoft dominent ce domaine parce qu'elles disposent des ressources nécessaires pour le faire. Le reste d'entre nous est dans un jeu différent : celui de l'utilisation de modèles préentraînés. Ces entreprises ont ouvert leurs modèles pour que d'autres développeurs les utilisent, les ajustent et les optimisent à plus petite échelle.

Dans la pratique, cela signifie que toute personne ayant des connaissances techniques peut utiliser un modèle comme GPT pour créer des applications personnalisées, sans avoir à l'entraîner à partir de zéro. Ce n'est pas la même expérience que de développer une IA à partir des bases, mais cela permet aux petites entreprises et aux entrepreneurs de bénéficier de cette technologie sans le coût prohibitif que représente la création d'une IA à partir de zéro.

L'illusion de l'accès : pourquoi nous font-ils croire que n'importe qui peut créer sa propre IA ?

Une grande partie de la narration de "n'importe qui peut créer sa propre IA" est basée sur des stratégies de marketing. Google et OpenAI veulent que plus de développeurs utilisent leurs outils, car cela augmente l'adoption de leurs produits et, à long terme, leur rentabilité. Si un petit entrepreneur crée une application qui utilise le modèle GPT d'OpenAI, par exemple, cet entrepreneur continuera à payer OpenAI pour l'utilisation du modèle. C'est un écosystème qui cherche à attirer les développeurs, non pas pour qu'ils créent leur propre IA, mais pour qu'ils se joignent à la vague en utilisant ce qui existe déjà.

Est-il vraiment possible de créer sa propre IA ?

Oui et non. Si nous parlons d'entraîner à partir de zéro une IA avec le même niveau de capacité que celles des géants de la technologie, alors la réponse est un non catégorique pour la plupart d'entre nous. Le coût, l'accès aux données et l'infrastructure nécessaires sont hors de portée de la plupart des développeurs indépendants. Cependant, s'il s'agit d'utiliser des modèles préentraînés, de les adapter et de créer des applications qui utilisent cette IA, alors la réponse change en un oui.

En fin de compte, bien que l'on veuille nous faire croire que nous sommes à une conversation de café de la création de notre propre IA, la vérité est que le véritable pouvoir est toujours entre les mains de ceux qui contrôlent les ressources : les données et le matériel. Alors, avant de vous enthousiasmer pour l'idée de "construire votre propre intelligence artificielle", demandez-vous si vous avez vraiment ce qu'il faut pour le faire ou si vous ne ferez qu'utiliser une version réduite de quelque chose qui existe déjà.

Pour l'instant, cela reste un jeu dominé par les grands, bien que de petites ouvertures soient possibles pour ceux qui souhaitent explorer leurs possibilités.