Les développeurs les plus expérimentés espéraient améliorer leur productivité avec l'IA. Une étude a montré le contraire

Que se passe-t-il lorsque vous donnez une plate-forme d'intelligence artificielle avancée à un groupe de développeurs experts et que vous leur demandez de travailler sur des tâches qu'ils connaissent en détail? La chose logique serait d'attendre un saut de productivité, une excellente combinaison entre l'expérience Assistance humaine et technologique. Les outils sont là, les flux sont apprises, la courbe d'apprentissage n'est pas un obstacle.

Mais ce n'était pas le cas. Ce qui s'est passé a même surpris les auteurs de l'étude, selon Reuters: l'IA n'a pas amélioré les résultats. Il les a empirés. Et il l'a fait d'une manière si subtile que même les développeurs eux-mêmes n'ont pas réalisé. Le rapport ne parle pas d'échecs critiques ou d'erreurs graves, mais l'effet était clair: le travail est devenu plus lent. Plus lent qu'il ne l'aurait été sans intelligence artificielle entre les deux.

Plus ne signifie pas toujours plus de productivité

Avant de commencer, tout le monde était d'accord sur quelque chose: utiliser l'intelligence artificielle allait leur faire gagner du temps. En fait, ils ont estimé que leurs tâches termineraient 24% plus rapidement. C'était une attente raisonnable, en fonction de leur expérience et de la façon dont ces outils ont été présentés. Et quand ils ont fini, ils étaient toujours convaincus de l'avoir réalisé: leur estimation était que Ils avaient été 20% plus rapides. Selon ses propres mots, l'IA leur avait permis d'avancer sans blocages, sans interruptions, avec un flux de travail plus agile.

Mais pas. En fait, ils avaient pris plus de temps. Beaucoup plus. La moyenne générale du groupe était une augmentation de 19% du temps total pendant le test par METR. Ce n'est pas une différence mineure. Et il est encore plus frappant si l'on prend en compte que nous parlons de tâches qu'ils avaient elles-mêmes définies comme pertinentes, utiles et réalistes: correction des bogues, nouvelles fonctionnalités, refactors. Ils n'étaient pas des exercices conçus pour tester l'IA, mais un vrai travail, de celui qui est fait tous les jours dans tout projet mature.

La différence était si grande qu'il a laissé même les mots même aux responsables de l'étude. Les développeurs n'étaient pas des novices ou n'apprennent à la volée. Ils travaillaient sur ces mêmes projets depuis des années, Ils connaissaient les référentiels en détailIls savaient ce qui était derrière chaque fichier et chaque fonction. Ils étaient dans leur domaine. Et pourtant, les outils de l'IA n'ont pas facilité le travail. Ils l'ont compliqué.

Une partie de l'explication est la façon dont ces plateformes fonctionnent. Les suggestions qu'ils ont offertes n'étaient pas entièrement incorrectes, mais imprécises. Ils étaient souvent bien visés, mais nécessitaient des ajustements. Et ces ajustements, au lieu de gagner du temps, l'ont allongé. Vérifiez, corrigez, vérifiez. Recommencer. Ce qui a promis d'être une aide est devenu un processus plus intermédiaire: une couche supplémentaire entre la pensée et la solution.

Le sentiment de fluidité était trompeur. Ils ont commencé avec une base, oui, mais cette base a rarement servi. Tu devais l'effondrercomprendre ce que le modèle avait voulu dire, comparer à ce qui existait déjà et reconstruire ce qui est nécessaire. Comme si chaque suggestion était venue avec un astérisque invisible. Une ligne de code par défaut non valide. L'illusion de progrès a été maintenue plus rapidement jusqu'à ce que le moment soit venu de compiler, d'essayer ou de faire un examen sérieux du code généré.

Et pourtant, de nombreux participants continuent d'utiliser ces mêmes outils dans leur quotidien. Non pas parce qu'ils leur font gagner du temps, mais parce qu'ils font le travail le plus supportable. Dans l'étude, ils ont principalement utilisé le curseur, une plate-forme qui intègre des modèles de langage avancé tels que le sonnet Claude 3.5 et 3.7, et qui permet d'écrire, de terminer et de réviser le code directement à partir de l'environnement de développement. Le curseur ne fait pas tout pour vous, mais il vous accompagne. Cette entreprise, même lorsqu'elle n'est pas entièrement efficace, peut rendre la programmation moins épuisante.

L'IA convertit l'effort pour programmer dans quelque chose de plus similaire à être un directeur d'orchestre qui construit tout à partir de zéro avec une base de connaissances solide. Nous le voyons déjà avec le phénomène. Au milieu de ce scénario, nous avons vu des entreprises Ils coupent l'équipement de développement En raison des possibilités offertes par l'IA, bien que certaines aient dû revenir sur leurs pas. L'IA est un outil précieux, mais cela n'aide pas tout le monde également.

Images | ProCreator Global UI UX Design Agency | Nubelson Fernandes | Curseur

Dans Simseo | Nvidia a atteint 4 milliards de dollars de capitalisation pour une raison: sa position privilégiée dans le boom de l'IA