L'ère des géants dans le domaine de l'IA, l'ère de la "bataille des centaines de modèles" est arrivée
Le mois dernier, une "guerre des animaux" a éclaté dans le monde de l'IA. D'un côté, il y a Llama, lancé par Meta, qui est très apprécié des développeurs grâce à ses caractéristiques open source. De l'autre côté, il y a un grand modèle nommé Falcon, qui, après sa sortie en mai de cette année, a surpassé Llama pour atteindre le sommet du classement des LLM open source.
Fait intéressant, les développeurs de Falcon proviennent de l'Institut de recherche sur l'innovation technologique d'Abou Dhabi, la capitale des Émirats arabes unis. Le ministre des Émirats arabes unis de l'intelligence artificielle a ensuite été sélectionné parmi les "100 personnes les plus influentes dans le domaine de l'IA" par le magazine Time.
Aujourd'hui, le domaine de l'IA est entré dans une phase de concurrence entre de nombreux acteurs. Les pays et entreprises disposant de ressources financières significatives développent leur propre version locale de ChatGPT. Rien qu'au sein de la région du Golfe, l'Arabie Saoudite vient d'acheter plus de 3000 puces H100 pour l'entraînement des LLM dans ses universités.
Cette situation soulève des questions : comment la haute technologie difficile promise est-elle devenue "un pays, un modèle" ?
Transformer a changé les règles du jeu
En 2017, huit scientifiques informaticiens de Google ont publié l'algorithme Transformer dans l'article "Attention Is All You Need", devenant ainsi le catalyseur de la vague actuelle d'IA. Aujourd'hui, tous les grands modèles, y compris la série GPT, sont basés sur le modèle Transformer.
Les transformations du Transformer reposent principalement sur deux points : d'une part, il remplace la conception récurrente par un codage de position, permettant le calcul parallèle et améliorant considérablement l'efficacité de l'entraînement ; d'autre part, il renforce la capacité de compréhension du contexte.
Cela a transformé les grands modèles d'une question de recherche théorique en un problème d'ingénierie. Les éléments d'ingénierie tels que les données, l'échelle de calcul et l'architecture des modèles sont devenus clés dans la compétition en IA. Toute entreprise ayant une certaine capacité technique peut développer de grands modèles.
La bataille entre open source et closed source
Actuellement, la "guerre des grands modèles" est devenue une réalité. En juillet, le nombre de grands modèles en Chine a atteint 130, dépassant les 114 des États-Unis. D'autres pays comme le Japon, l'Inde, la Corée du Sud, etc., ont également leurs propres grands modèles.
Cependant, entrer sur le marché est facile, réussir est difficile. Prenons l'exemple de Falcon, bien qu'il soit classé au-dessus de Llama, il est difficile de dire qu'il a un impact substantiel sur Meta. Pour les grands modèles open source, une communauté de développeurs active est la véritable force concurrentielle. Meta a une longue tradition d'open source et excelle dans la gestion de la communauté.
Bien sûr, améliorer les performances est une voie. Mais actuellement, la plupart des LLM présentent encore un écart évident par rapport à GPT-4. Dans le dernier test AgentBench, GPT-4 a obtenu un score de 4,41, loin devant, tandis que le deuxième, Claude, n'a obtenu que 2,77, et les autres modèles open source se situent généralement autour de 1.
La différence est causée par l'excellent équipe de scientifiques d'OpenAI et l'expérience accumulée au fil du temps. Le cœur des grands modèles réside dans la construction de l'écosystème ( open source ) ou la capacité de raisonnement pure ( closed source ).
Déséquilibre entre coûts et revenus
Actuellement, l'industrie des grands modèles souffre d'un déséquilibre sévère entre les coûts et les revenus. Selon Sequoia Capital, les entreprises technologiques du monde entier dépensent jusqu'à 200 milliards de dollars par an pour l'infrastructure des grands modèles, tandis que les revenus annuels des grands modèles atteignent au maximum 75 milliards de dollars, laissant un écart d'au moins 125 milliards de dollars.
Même des géants du logiciel comme Microsoft et Adobe font face à des pertes sur leurs produits d'IA. La plupart des entreprises de grands modèles, après des investissements colossaux, n'ont toujours pas trouvé de modèle de rentabilité clair.
Avec l'intensification de la concurrence homogène et l'augmentation des modèles open source, les fournisseurs de grands modèles pourraient faire face à une pression plus importante. À l'avenir, la valeur de l'IA pourrait se manifester davantage dans des cas d'utilisation spécifiques plutôt que dans le modèle lui-même.
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
18 J'aime
Récompense
18
5
Partager
Commentaire
0/400
0xSherlock
· Il y a 17h
Plus séduisant que l'argent
Voir l'originalRépondre0
WhaleMinion
· Il y a 18h
La grande bataille vient à peine de commencer
Voir l'originalRépondre0
SignatureDenied
· Il y a 19h
La technologie n'a plus de frontières.
Voir l'originalRépondre0
LuckyBearDrawer
· Il y a 19h
L'argent peut résoudre tous les problèmes.
Voir l'originalRépondre0
SelfStaking
· Il y a 19h
Trading des cryptomonnaies ne vaut pas mieux que de créer des modèles
Les grands modèles d'IA fleurissent, la baisse des barrières technologiques provoque une concurrence mondiale.
L'ère des géants dans le domaine de l'IA, l'ère de la "bataille des centaines de modèles" est arrivée
Le mois dernier, une "guerre des animaux" a éclaté dans le monde de l'IA. D'un côté, il y a Llama, lancé par Meta, qui est très apprécié des développeurs grâce à ses caractéristiques open source. De l'autre côté, il y a un grand modèle nommé Falcon, qui, après sa sortie en mai de cette année, a surpassé Llama pour atteindre le sommet du classement des LLM open source.
Fait intéressant, les développeurs de Falcon proviennent de l'Institut de recherche sur l'innovation technologique d'Abou Dhabi, la capitale des Émirats arabes unis. Le ministre des Émirats arabes unis de l'intelligence artificielle a ensuite été sélectionné parmi les "100 personnes les plus influentes dans le domaine de l'IA" par le magazine Time.
Aujourd'hui, le domaine de l'IA est entré dans une phase de concurrence entre de nombreux acteurs. Les pays et entreprises disposant de ressources financières significatives développent leur propre version locale de ChatGPT. Rien qu'au sein de la région du Golfe, l'Arabie Saoudite vient d'acheter plus de 3000 puces H100 pour l'entraînement des LLM dans ses universités.
Cette situation soulève des questions : comment la haute technologie difficile promise est-elle devenue "un pays, un modèle" ?
Transformer a changé les règles du jeu
En 2017, huit scientifiques informaticiens de Google ont publié l'algorithme Transformer dans l'article "Attention Is All You Need", devenant ainsi le catalyseur de la vague actuelle d'IA. Aujourd'hui, tous les grands modèles, y compris la série GPT, sont basés sur le modèle Transformer.
Les transformations du Transformer reposent principalement sur deux points : d'une part, il remplace la conception récurrente par un codage de position, permettant le calcul parallèle et améliorant considérablement l'efficacité de l'entraînement ; d'autre part, il renforce la capacité de compréhension du contexte.
Cela a transformé les grands modèles d'une question de recherche théorique en un problème d'ingénierie. Les éléments d'ingénierie tels que les données, l'échelle de calcul et l'architecture des modèles sont devenus clés dans la compétition en IA. Toute entreprise ayant une certaine capacité technique peut développer de grands modèles.
La bataille entre open source et closed source
Actuellement, la "guerre des grands modèles" est devenue une réalité. En juillet, le nombre de grands modèles en Chine a atteint 130, dépassant les 114 des États-Unis. D'autres pays comme le Japon, l'Inde, la Corée du Sud, etc., ont également leurs propres grands modèles.
Cependant, entrer sur le marché est facile, réussir est difficile. Prenons l'exemple de Falcon, bien qu'il soit classé au-dessus de Llama, il est difficile de dire qu'il a un impact substantiel sur Meta. Pour les grands modèles open source, une communauté de développeurs active est la véritable force concurrentielle. Meta a une longue tradition d'open source et excelle dans la gestion de la communauté.
Bien sûr, améliorer les performances est une voie. Mais actuellement, la plupart des LLM présentent encore un écart évident par rapport à GPT-4. Dans le dernier test AgentBench, GPT-4 a obtenu un score de 4,41, loin devant, tandis que le deuxième, Claude, n'a obtenu que 2,77, et les autres modèles open source se situent généralement autour de 1.
La différence est causée par l'excellent équipe de scientifiques d'OpenAI et l'expérience accumulée au fil du temps. Le cœur des grands modèles réside dans la construction de l'écosystème ( open source ) ou la capacité de raisonnement pure ( closed source ).
Déséquilibre entre coûts et revenus
Actuellement, l'industrie des grands modèles souffre d'un déséquilibre sévère entre les coûts et les revenus. Selon Sequoia Capital, les entreprises technologiques du monde entier dépensent jusqu'à 200 milliards de dollars par an pour l'infrastructure des grands modèles, tandis que les revenus annuels des grands modèles atteignent au maximum 75 milliards de dollars, laissant un écart d'au moins 125 milliards de dollars.
Même des géants du logiciel comme Microsoft et Adobe font face à des pertes sur leurs produits d'IA. La plupart des entreprises de grands modèles, après des investissements colossaux, n'ont toujours pas trouvé de modèle de rentabilité clair.
Avec l'intensification de la concurrence homogène et l'augmentation des modèles open source, les fournisseurs de grands modèles pourraient faire face à une pression plus importante. À l'avenir, la valeur de l'IA pourrait se manifester davantage dans des cas d'utilisation spécifiques plutôt que dans le modèle lui-même.