Nouvelles

Jun 01, 2023

Testez-vous avec 10 IA

Le quiz d'actualité est une tradition chez TIME qui remonte à 1935. Les itérations du

Le quiz d'actualité est une tradition chez TIME qui remonte à 1935. Des itérations du test ont été utilisées dans les écoles à travers le pays pour examiner les connaissances sur l'actualité, et il est même venu dans une version de mots croisés.

Aujourd'hui, la récente suppression du paywall numérique de TIME a ouvert un siècle de journalisme pour tous, mûr pour tester vos connaissances sur les personnes qui ont façonné l'histoire. Étant donné que les archives de TIME contiennent 200 millions de mots, c'est une tâche bien adaptée à la nouvelle génération de technologie d'intelligence artificielle, capable d'analyser d'énormes quantités de texte généré par l'homme en quelques secondes.

Alors, que se passe-t-il lorsque vous utilisez la puissance de l'IA de pointe pour générer des quiz d'actualité basés sur des articles de magazines ?

Ci-dessous, vous trouverez 10 quiz que nous avons formés à la production de la technologie derrière ChatGPT, basés sur 10 histoires triées sur le volet dans les archives TIME, qui sont désormais disponibles gratuitement pour tous. Cliquez simplement sur le titre de l'article, à côté de la date de publication originale, pour passer à l'histoire sur laquelle chaque quiz est basé. Ci-dessous l'interactif, nous évoquons comment nous avons négocié avec l'intelligence artificielle pour lui apprendre à faire ce que nous lui demandions.

Compte tenu de certaines des sorties vraiment étonnantes que ChatGPT peut produire - une intrigue pour un roman de science-fiction, par exemple, ou des textes bibliques simulés - produire un quiz peut sembler une tâche triviale (pour ainsi dire). Et à première vue, ça l'est. Lorsque nous avons demandé à ChatGPT de simplement "créer un quiz basé sur cet article" et fourni un lien vers l'article de couverture de TIME de 2014 sur Taylor Swift, il a rapidement craché un quiz de 10 questions avec quatre choix pour chaque réponse.

Certaines des questions étaient justes. (Q : Les fans de Taylor Swift sont connus sous le nom de quoi ? R : Swifties.) Mais beaucoup ont fait référence à des albums et à des événements qui se sont produits bien après la publication de l'histoire, et l'un d'entre eux s'est tout simplement trompé. ("Quel événement l'a amenée à approuver publiquement un candidat politique pour la première fois?" ChatGPT a affirmé qu'il s'agissait des élections de 2020, mais a fait marche arrière et s'est excusé lorsque nous lui avons rappelé qu'elle avait approuvé deux démocrates du Tennessee en 2018.)

Dans de nombreux cas, ChatGPT et ses différents rivaux peuvent sembler indiscernables de la magie. Il est donc instructif de trouver des missions où les bots ne sont pas immédiatement capables d'atteindre la quasi-perfection. Chaque échec est un indice sur ce qui se passe sous le capot.

Alors décomposons ce qui se passe dans un quiz à choix multiples et ce que cela nécessite qu'une machine fasse :

Pour un être humain - en particulier celui qui a vu quelques jeux-questionnaires sur l'actualité et qui est familier avec l'exercice - c'est probablement plus d'instructions que nécessaire. Mais jusqu'à récemment, cela n'aurait pas suffi pour une machine. Il y a un an, cet exercice aurait impliqué d'écrire beaucoup de code, de choisir entre différents algorithmes et modèles de langage pré-formés, et de peaufiner constamment les "hyperparamètres", ou conditions de départ définies par l'homme pour le processus de formation.

Dans ce nouveau monde, la tâche se situe quelque part au milieu. Au lieu d'écrire des instructions en Python, où une seule frappe mal placée peut faire dérailler toute l'opération, vous fournissez les instructions à la machine en langage clair, aussi précisément et littéralement que possible.

Ceci est connu sous le nom d'invite de "chaîne de pensée", que vous pouvez transmettre directement à l'API OpenAI, en contournant la conversation avec un chatbot et en vous connectant directement avec le cerveau de ChatGPT. Vous utilisez toujours un langage comme Python pour faire l'introduction, mais c'est le bot qui fait tout le travail.

Nous avons envoyé une version des instructions ci-dessus à l'API et défini la "température" - si elle randomise les résultats - à zéro, ce qui signifie que le modèle répondrait de la même manière chaque fois que nous lui enverrions des commandes identiques. Lorsque nous l'avons alimenté avec la même histoire de Taylor Swift et que nous avons récupéré une autre série de 10 questions à choix multiples. En voici un :

Qui a été nommée femme de l'année 2014 par Billboard ?

R : Rihanna

b : Taylor Swift

c: Lady Gaga

d: Beyoncé

Des suppositions? Indice : la réponse à cinq des neuf autres questions était également "Taylor Swift".

Notre première élaboration a été de demander au modèle de mieux cacher la balle et de limiter les réponses au texte de l'article, plutôt que de se rabattre sur ce qu'il sait de l'énorme quantité de texte qu'il a analysé dans le passé. Au maximum, il peut gérer environ 2 000 mots à la fois, donc dans la plupart des cas, nous avons dû diviser les histoires en morceaux de paragraphes complets.

Les instructions sur lesquelles nous nous sommes arrêtés ressemblaient à ceci, paraphrasées :

Lors des premiers essais, nous avons constaté que la sortie incluait souvent des phrases telles que "selon le texte", comme si l'on demandait à l'utilisateur s'il avait réellement lu l'article. Il avait du mal à se rappeler qu'il était censé rédiger des questions de type jeu-questionnaire, et non des tests de compréhension en lecture. Pour un quiz basé sur une nécrologie de 2016 pour Muhammad Ali, il a parfois fait référence au boxeur dans les questions comme "Cassius Clay" - et a également interrogé les utilisateurs sur le nom d'origine d'Ali.

Aussi impénétrable que l'intelligence artificielle puisse souvent sembler, la beauté de l'incitation à la chaîne de pensée est que nous pourrions demander au modèle ce qu'il "pensait" à chaque étape du processus et ajuster le langage pour démêler les meilleurs résultats. La machine doit-elle récupérer tous les faits ? Juste trois faits ? Cinq? Comment peut-on lui demander de cesser d'utiliser l'expression « selon le texte » ?

Tous ces dilemmes étaient des sous-produits naturels du fait que, bien que les instructions en langage clair soient plus faciles à construire que celles écrites en code, elles sont parfois beaucoup plus difficiles à déboguer. À un moment donné, nous avons même renvoyé les instructions dans le modèle pour lui demander ce qu'il pensait de la façon dont elles étaient formulées et comment nous pourrions l'écrire différemment pour obtenir des résultats plus cohérents. Ses réflexions ont été utiles.

Les résultats ont nécessité une série de modifications par les éditeurs de TIME, principalement pour supprimer les options difficiles à analyser ou trop obscures des années plus tard. Chaque question qui a été supprimée devient une question que nous pouvons demander au modèle d'éviter lors de tentatives futures.

Voici à quoi pourrait ressembler une grande partie de la programmation informatique moderne dans les années à venir : des humains et des machines collaborant dans le langage des premiers et la logique des seconds pour accomplir des tâches et résoudre des problèmes. Ceux qui annoncent la fin de la programmation informatique ont peut-être raison de dire que les futurs développeurs s'appuieront moins sur les langages informatiques formels pour écrire des logiciels. Mais si cet exercice est un guide, ils devront toujours penser comme des programmeurs.

Écrire àChris Wilson à [email protected].