Gjør det noe godt å avsløre og logge disse generative AI ChatGPT feilaktige og hallusinatoriske utgangene, spør AI-etikk og AI-lov

Du er inne på en hemmelighet.

Ja, det skjer noe i det skjulte bak kulissene om det siste innen AI som du kanskje vil vite om.

I dagens spalte skal jeg undersøke den nylige drivkraften til å kompilere påståtte feil og andre sykdommer forbundet med de utsendte essayene fra en AI-app kjent som ChatGPT. Denne spesielle appen bruker en type AI kalt Generativ AI. Du har sikkert hørt eller sett iøynefallende overskrifter om generativ-basert AI og ChatGPT. Nyhetene er agog over denne spesifikke AI-appen og de tilsynelatende forbløffende egenskapene knyttet til denne typen AI.

Som jeg skal dekke om et øyeblikk, tror noen sterkt at vi må etablere en liste over hva slags feil eller feil AI-appen kan produsere når den genererer et essay for deg. Andre antyder at selv om forestillingen om en slik liste er beundringsverdig, er den en øvelse i nytteløshet og vil bære svært lite frukt.

Vi skal undersøke begge sider av den heftige debatten.

Først, la oss sørge for at vi alle er på samme side om hva Generativ AI består av og også hva ChatGPT handler om.

ChatGPT er et interaktivt, samtaleorientert system for generell AI, i hovedsak en tilsynelatende ufarlig generell chatbot, men den brukes aktivt og ivrig av folk på måter som fanger mange helt på vakt. Alt du trenger å gjøre for å bruke denne typen AI er å skrive inn en melding, og AI-appen vil generere et essay for deg som prøver å svare på spørsmålet ditt.

Dessverre kan dette brukes på noe enten uetiske eller utspekulerte måter. En spesielt irriterende betenkelighet er at studenter kan bruke en generativ-basert AI-app for å lage sine tildelte essays for dem, ved å skrive inn en setning eller to for å få appen i riktig retning. Noen beklager at dette betyr at studenter vil velge å jukse når de skriver essays utenfor timen. Lærere prøver å finne ut hva de skal gjøre, se min analyse og anbefalinger på lenken her.

Til tross for den konstante lyden av prisverdig ros for ChatGPT, er det en mindre kjent bekymring uttrykt først og fremst av AI-innsidere om at det er noen bemerkelsesverdige problemer og betenkeligheter som folk burde bekymre seg for. En avgjørende ulempe er at essayene produsert av denne AI-appen kan ha forskjellige usannheter innebygd, inkludert åpenbart usanne fakta, fakta som er misvisende fremstilt og tilsynelatende fakta som er helt oppdiktet. Disse fabrikkerte aspektene blir ofte referert til som en form for AI hallusinasjoner, et slagord som jeg misliker, men som dessverre ser ut til å ha blitt populært uansett (for min detaljerte forklaring om hvorfor dette er elendig og uegnet terminologi, se min dekning på lenken her).

Jeg vil gjerne avklare et viktig aspekt før vi går inn i tykke ting om dette emnet.

Det har vært noen vanvittige store påstander på sosiale medier om Generativ AI hevder at denne siste versjonen av AI faktisk er det sansende AI (nei, de tar feil!). De innen AI Ethics og AI Law er spesielt bekymret for denne spirende trenden med utstrakte påstander. Du kan høflig si at noen mennesker overdriver hva dagens AI faktisk kan gjøre. De antar at AI har evner som vi ennå ikke har klart å oppnå. Det er uheldig. Enda verre kan de tillate seg selv og andre å komme i alvorlige situasjoner på grunn av en antagelse om at AI vil være sansende eller menneskelignende når det gjelder å kunne handle.

Ikke antropomorfiser AI.

Hvis du gjør det, vil du bli fanget i en klissete og hard avhengighetsfelle av å forvente at AI skal gjøre ting den ikke er i stand til å utføre. Når det er sagt, er det siste innen generativ AI relativt imponerende for hva det kan gjøre. Vær imidlertid oppmerksom på at det er betydelige begrensninger som du kontinuerlig bør huske på når du bruker en generativ AI-app.

Hvis du er interessert i det raskt voksende oppstyret om ChatGPT og Generative AI, har jeg laget en fokusert serie i spalten min som du kan finne informativ. Her er et blikk i tilfelle noen av disse emnene fanger deg:

• 1) Spådommer om generative AI-fremskritt som kommer. Hvis du vil vite hva som sannsynligvis vil utspille seg om AI gjennom 2023 og utover, inkludert kommende fremskritt innen generativ AI og ChatGPT, vil du lese min omfattende liste over 2023-spådommer på lenken her.
• 2) Generativ kunstig intelligens og råd om mental helse. Jeg valgte å gjennomgå hvordan generativ AI og ChatGPT brukes til råd om mental helse, en plagsom trend, i henhold til min fokuserte analyse på lenken her.
• 3) Kontekst og generativ AI-bruk. Jeg foretok også en undersøkelse med sesongmessig smak om en julenisserelatert kontekst som involverer ChatGPT og generativ AI på lenken her.
• 4) Svindlere som bruker generativ AI. På et illevarslende notat, noen svindlere har funnet ut hvordan de kan bruke generativ AI og ChatGPT til å gjøre feil, inkludert å generere svindel-e-poster og til og med produsere programmeringskode for skadelig programvare, se min analyse på lenken her.
• 5) Rookie-feil ved bruk av generativ AI. Mange mennesker både overskrider og overraskende underskjønner hva generativ AI og ChatGPT kan gjøre, så jeg så spesielt på underskuddet som AI-nybegynnere pleier å gjøre, se diskusjonen på lenken her.
• 6) Mestring av generative AI-meldinger og AI-hallusinasjoner. Jeg beskriver en ledende tilnærming til å bruke AI-tillegg for å håndtere de ulike problemene knyttet til å prøve å legge inn passende meldinger i generativ AI, pluss at det er flere AI-tillegg for å oppdage såkalte AI-hallusinerte utdata og usannheter, som dekket kl lenken her.
• 7) Avkrefte Bonehead-påstander om å oppdage generative AI-produserte essays. Det er et misforstått gullrush av AI-apper som forkynner å være i stand til å fastslå om et gitt essay var menneskeskapt versus AI-generert. Totalt sett er dette misvisende, og i noen tilfeller er det en grusom og uholdbar påstand, se min dekning på lenken her.
• 8) Rollespill via generativ AI kan være tegn på ulemper med mental helse. Noen bruker generativ AI som ChatGPT for å spille rollespill, der AI-appen reagerer på et menneske som om det eksisterer i en fantasiverden eller andre oppdiktede omgivelser. Dette kan få psykiske konsekvenser, ser du lenken her.

La oss nå diskutere essensen av generativ AI og ChatGPT slik at du kjenner grunnlaget som er involvert. Vi vil da være klare til å hoppe inn i en sonderende analyse av usannhetene som disse AI-appene potensielt kan generere. Jeg vil inkludere flere eksempler på bruk av ChatGPT, som vil hjelpe deg med å forstå hva denne typen generativ AI produserer.

Åpne Can Of Worms på Generativ AI

Vi er klare til å dykke ned i noen detaljer om AI.

Hvis du allerede er veldig godt kjent med temaet generativ AI og ChatGPT, kan du velge å kort skumme gjennom poengene mine og fortsette med neste del av denne diskusjonen. For alle andre tror jeg at du kan finne denne oppklaringen nyttig.

Kort sagt, generativ AI er en spesiell type AI som komponerer tekst som om teksten var skrevet av den menneskelige hånden og sinnet. Alt du trenger å gjøre er å skrive inn en melding, for eksempel en setning som "Fortell meg om Abraham Lincoln", og generativ AI vil gi deg et essay om Lincoln. Dette er vanligvis klassifisert som generativ AI som presterer tekst-til-tekst eller noen foretrekker å kalle det tekst-til-essay produksjon. Du har kanskje hørt om andre moduser for generativ AI, for eksempel tekst-til-kunst og tekst-til-video.

Din første tanke kan være at dette ikke virker som en så stor sak når det gjelder å produsere essays. Du kan enkelt gjøre et online søk på Internett og lett finne tonnevis av essays om president Lincoln. Kickeren i tilfellet med generativ AI er at det genererte essayet er relativt unikt og gir en original komposisjon i stedet for en kopi. Hvis du skulle prøve å finne det AI-produserte essayet på nettet et sted, ville du neppe oppdaget det.

Generativ AI er forhåndsopplært og bruker en kompleks matematisk og beregningsmessig formulering som er satt opp ved å undersøke mønstre i skrevne ord og historier over nettet. Som et resultat av å undersøke tusenvis og millioner av skriftlige passasjer, kan AI spy ut nye essays og historier som er en blanding av det som ble funnet. Ved å legge til ulike sannsynlighetsfunksjoner, er den resulterende teksten ganske unik i forhold til det som har blitt brukt i treningssettet.

Derfor har det vært bråk om at elever kan jukse når de skriver essays utenfor klasserommet. En lærer kan ikke bare ta essayet som svikefulle studenter hevder er deres eget forfatterskap og søke å finne ut om det ble kopiert fra en annen nettkilde. Totalt sett vil det ikke være noe definitivt eksisterende essay på nettet som passer til det AI-genererte essayet. Alt i alt må læreren motvillig akseptere at studenten skrev essayet som et originalt arbeid.

Om et øyeblikk vil jeg vise deg hva som skjer når du legger inn spørsmål eller forespørsler i generativ AI. Jeg vil bruke den nyeste versjonen av ChatGPT for å skrive inn spørsmålene mine og har samlet "svarene" eller essayene generert av AI (merk at det samme kan gjøres med de mange andre tilgjengelige generative AI-appene; jeg har valgt å bruke ChatGPT fordi den får sine fem minutter med berømmelse akkurat nå).

Kanskje en kort tangent om ChatGPT kan være nyttig på dette tidspunktet.

ChatGPT-appen ble gjort tilgjengelig for allmennheten for bare noen måneder siden. I det store og hele er disse generative AI-appene vanligvis bare tilgjengelige for AI-innsidere. Den uvanlige fasetten at ChatGPT kunne brukes av hvem som helst ved å skrive inn en e-postadresse og et navn, vel, dette førte til at mange bestemte seg for å prøve det. ChatGPT er for øyeblikket gratis å bruke (inntektsproblemet er et truende dilemma for AI-produsenter).

Nesten umiddelbart kom det en enorm reaksjon på sosiale medier da folk løp for å gi eksempler på hva generativ AI kan gjøre. Selskapet som lager ChatGPT, OpenAI, valgte å stenge registreringene for en million brukere. Disse millioner brukerne har klart å bombardere eteren med alle slags historier og historier om bruk av ChatGPT.

Vær veldig forsiktig med å tro på hva folk har å si om AI-appen. Mange av disse menneskene er uvitende om hva de bruker. Det er nesten som om de aldri hadde kjørt bil og ikke engang var klar over at det fantes biler, og plutselig hadde de en sjanse til å kjøre bil. Fullstendig forundring følger.

Jeg sier ikke at generativ AI ikke er relativt imponerende. Det er. Jeg understreker bare at mange av de sprudlende attester blir gjort av mange som er lykkelig uvitende om hva dagens AI kan gjøre. De av oss på innsiden av AI har brukt generativ AI de siste årene. Kanskje vi ble vant til det. Plutselig har det vært begeistret energigivende, men også litt foruroligende å se en stor forelskelse av mennesker som hev det til hustakene. Den foruroligende delen er når folk proklamerer at generativ AI er sansende. Det er ikke. Ikke la noen overbevise deg om noe annet.

Når det er sagt, er det en pågående opphetet debatt i AI-feltet om generativ AI er på vei til sansning eller om det kanskje ikke er det. En oppfatning er at hvis vi fortsetter å skalere opp generativ AI med raskere datamaskiner og en større mengde data, for eksempel å skure hver tomme av Internett, vil vi nesten spontant komme frem til sansende AI. Andre hevder at dette er svært usannsynlig. De antyder at generativ AI kan være en av mange komponenter som trengs. Det er enda mer dystre syn på at generativ AI er et sideshow som distraherer oss fra de virkelige gjennombruddene vi trenger for å oppnå sansende AI.

Du kan også finne merkverdigheter som AI-innsidere pleier å referere til Kunstig generell intelligens (AGI) som ambisjonsmålet for AI-feltet. Det pleide å være at målet var å nå Kunstig intelligens, men AI-navnet har blitt utvannet og rotete. Når noen sier at de driver med AI-arbeid, vet du ikke om de henspiller på dagens AI som ikke er på nivå med mennesker, eller om de refererer til en futuristisk menneskelig ekvivalens-AI. For å omgå den irriterende forvirringen, brukes den nyere formuleringen av AGI i disse dager.

Alt fortalt er dagens generative AI ikke sansende, og det er heller ikke AGI.

Husk at som tidligere diskutert, er AI ikke sansende. De genererte svarene fra AI er en matematisk og beregningsmessig kombinasjon av ord til tilsynelatende flytende passasjer. Dette er basert på at AI-algoritmen har blitt trent på datasett med ord og historier som mennesker har skrevet (hovedsakelig som lagt ut på Internett). Jeg gjentar denne advarselen fordi du utvilsomt vil falle i den mentale fellen at disse svarene er så flytende at AI må være sansende. Dette skjer med de fleste. Som tidligere oppfordret, sett til side den antropomorfiseringen. Husk alltid at svarene er basert på den enorme mengden av skriving av mennesker som finnes på Internett og derfor vil i stor grad ligne menneskelig skrift.

Det er noe annet du trenger å vite.

Generativ AI som er trent på Internett på en uhindret måte, vil ha en tendens til å bake inn i alle tekstbaserte svar den matematisk og beregningsmessig koker opp noen støtende tåkete ting, inkludert frastøtende ekle formuleringer. Det er mye sprøtt og skittent lagt ut der ute på nettet.

Du har sett det, du skjønner hva jeg mener.

Selskapene som lager disse AI-appene er bekymret for at den velkjente babyen vil bli kastet ut med badevannet (et gammelt ordtak, kanskje for å bli pensjonert), som betyr at hvis AI deres produserer støtende essays eller historier, vil folk gå opp i armene om AI. Jeg har dekket de mange tidligere tilfellene der denne typen Natural Language Processing (NLP) AI-apper ble avduket, og snart nok kom alle slags forferdelige ting ut av dem (jeg har dekket disse tilfellene i spalten min). De fleste av AI-produsentene lærte en hard lekse om å la AI-varene deres være uhindret i produksjonen.

Når det gjelder ChatGPT, forsøkte AI-utviklerne å få på plass noen algoritmiske og datarelaterte kontroller og balanserer for å dempe ekkelheten i utdataene til AI. En del av dette skjedde i løpet av treningstiden. I tillegg er det andre midler i et sanntidsforsøk på å unngå spesielt grove utdata.

Du kan finne av interesse at noen personer som har brukt ChatGPT allerede har funnet på skjulte måter å komme seg rundt disse autovernene ved å bruke forskjellige lureri. En pågående katt-og-mus-gambit finner sted i disse sakene. De som gjør disse triksene gjør det noen ganger for moro skyld, mens noen ganger gjør de det (i det minste hevder) at de gjør det for å se hvor langt AI-en kan strekkes og gi et nyttig middel til å varsle sprøheten og svakhetene til disse spirende. AI-apper.

Jeg bestemte meg for å ikke forsøke å omgå de vanlige kontrollene i denne fokuserte utforskningen. Tekstutgangen er ren. Visst, hvis en ønsket å gjøre det, kan du utvilsomt få noen rare og uhyggelige essays til å bli generert.

Essayene produsert av de fleste av disse generative AI-appene er designet for å formidle resultatet som om det er rent saklig og nøyaktig. Når du leser de produserte essayene, fremstår de som helt selvsikre. Det er vanligvis ingen form for indikasjon på at innholdet kan være steinete. Dette er etter valg av AI-produsentene, nemlig at de kunne revidere AI-appene for å være mer gjennomsiktige hvis de ville at AI-appen skulle gjøre det.

Noen ganger fanger en generativ AI-app opp usannheter blant treningsdataene med upålitelig informasjon over Internett. Det er ingen "sunn fornuft" i generativ AI for å bestemme hva som er sant versus usant. Videre har svært få AI-apper noen krysssjekking, og de viser heller ikke noen sannsynligheter knyttet til det de formidler.

Konklusjonen er at du får et svar som ser ut og føles som om det utstråler stor sikkerhet og må være helt korrekt. Ikke så. Det er til og med en sjanse for at AI-beregningsmessig sammensatte ting, som på AI-språket omtales som AI hallusinasjoner (et oppfunnet begrep som jeg absolutt ikke liker), se diskusjonen min på lenken her.

Skaperne av ChatGPT gjennomgikk en samlet innsats for å prøve å redusere de dårlige utgangene. For eksempel brukte de en variant av det som er kjent som RLHF (Reinforcement Learning from Human Feedback), der de før de ga ut AI-en til offentligheten, hadde ansatt mennesker for å undersøke ulike utdata og indikere overfor AI-en om det var ting galt med disse utdataene, for eksempel å vise frem skjevheter, stygge ord og som. Ved å gi denne tilbakemeldingen var AI-appen i stand til å justere beregningsmessig og matematisk for å redusere utslipp av slikt innhold. Merk at dette ikke er en garantert jernbelagt metode, og det er fortsatt måter slikt innhold kan sendes ut av AI-appen.

Du kan finne av interesse at ChatGPT er basert på en versjon av en forgjenger AI-app kjent som GPT-3. ChatGPT anses å være et litt neste steg, referert til som GPT-3.5. Det er forventet at GPT-4 sannsynligvis vil bli utgitt våren 2023. GPT-4 kommer antagelig til å være et imponerende skritt fremover når det gjelder å kunne produsere tilsynelatende enda mer flytende essays, gå dypere og være en ærefrykt -inspirerende vidunder med hensyn til komposisjonene den kan produsere.

Du kan forvente å se en ny runde med uttrykt undring når våren kommer og det siste innen generativ AI slippes.

Jeg tar dette opp fordi det er en annen vinkel å huske på, som består av en potensiell akilleshæl til disse bedre og større generative AI-appene. Hvis en AI-leverandør gjør tilgjengelig en generativ AI-app som skummende spyr ut urenheter, kan dette knekke håpet til disse AI-produsentene. En samfunnsmessig ringvirkning kan føre til at all generativ AI får et alvorlig svart øye. Folk vil utvilsomt bli ganske opprørt over dårlige resultater, som har skjedd mange ganger allerede og ført til støyende samfunnsmessige fordømmelsesreaksjoner mot AI.

En siste forvarsel for nå.

Uansett hva du ser eller leser i et generativt AI-svar som synes for å bli formidlet som rent saklig (datoer, steder, personer osv.), sørg for å være skeptisk og være villig til å dobbeltsjekke det du ser.

Ja, datoer kan lages, steder kan gjøres opp, og elementer som vi vanligvis forventer å være uanstendige er alle gjenstand for mistanker. Ikke tro det du leser og hold et skeptisk øye når du undersøker generative AI-essays eller utganger. Hvis en generativ AI-app forteller deg at Abraham Lincoln fløy landet rundt i sitt eget private jetfly, ville du utvilsomt vite at dette er malarky. Dessverre kan det hende at noen mennesker ikke skjønner at jetfly ikke fantes på hans tid, eller de vet kanskje, men unnlater å legge merke til at essayet kommer med denne dristige og uhyrlig falske påstanden.

En sterk dose sunn skepsis og en vedvarende tankegang av vantro vil være din beste ressurs når du bruker generativ AI.

Vi er klare til å gå inn i neste fase av denne oppklaringen.

Disse forsøkene på å logge disse ChatGPT-utdatafeilene

"Vel, du har problemer, min venn, akkurat her, sier jeg, problemer her i River City," forkynner den berømte linjen fra den klassiske Broadway-musikalen The Music Man.

Den samme linjen kan gjelde for dagens Generative AI.

Folk begynte å innse at en generativ AI-app kan produsere usannheter og virket oppriktig overrasket over disse forstyrrende resultatene. Kanskje noen antok at AI ikke er i stand til å gjøre feil. Andre kunne ha forutsett at AI-utviklerne ville sørge for at ingen slike utdata ville bli generert.

I alle fall innså AI-innsidere med en gang at denne typen feil utgang er en del av hvor mesteparten av dagens generative AI ligger. Det er veldig vanskelig å forhindre at slike tekstfeil oppstår. Husk at AI ikke har noen form for sunn fornuft og bruker ikke logikk i seg selv når de utleder de genererte essayene. Hele kit-and-caboodle handler om å gjøre en beregningsmessig statistisk og sannsynlighetsmønstermatching av ord med andre ord.

Til å begynne med valgte AI-innsidere å legge ut de oppdagede sære utdataene fra ChatGPT til sosiale medier. Se på denne, ville noen kunngjort. Det er ille, ville noen andre svare, og så komme med et annet eksempel som virket enda verre. På og videre gikk dette.

Disse eksemplene på usannheter og feil i de utsendte essayene sildret ut. En etter en. Videre, siden dette vanligvis ble lagt ut på sosiale medier, var det ikke noe spesielt enkelt middel for å se dem alle på en gang. Ofte ble det samme eller et lignende eksempel lagt ut av noen som ikke hadde innsett at andre allerede hadde funnet den spesifikke forekomsten.

Inn i dette spirende myrdet gikk de som kom med et nyttig forslag. Kanskje vi burde sette opp et depot eller en database, kanskje til og med bare et vanlig regneark, som inneholder ChatGPT oddball og feilaktige utdata som blir avdekket. Hver gang noen finner en skjønnhet av en guffaw, fortsett og logg den inn i oppføringen. Noen har gjort dette nesten til et spill, der de med vilje prøver å få ChatGPT til å hoste opp rare utganger. Andre kommer kanskje over feil utganger i løpet av å bruke ChatGPT for andre bestemte intensjoner.

Høres enkelt nok ut.

Virker som en hendig måte å hjelpe oss alle på.

La oss gjøre en kort redegjørelse for hvorfor det er veldig fornuftig å kompilere disse typene lister over observerte utsendte feil eller usannheter i ChatGPT:

• 1) Avslører viktige problemer og bekymringer rundt ChatGPT som allmennheten bør være klar over
• 2) Hjelper med å motvirke den overdrevne hypen og oppblåste forventningene til ChatGPT
• 3) Kan tilskynde AI-produsentene til å gjøre forbedringer, ikke bare for ChatGPT, men også for andre generative AI-apper
• 4) Tjen som en historisk rekord som kan brukes senere til å reflektere i ettertid over fremveksten av generativ AI som eksemplifisert via ChatGPT
• 5) Vær en praktisk kollektiv ressurs for alle som trenger å finne ut hva vi ser ut til å ha oppdaget angående ChatGPT feilaktige utdata
• 6) Nyttig for forskere fra alle disipliner som undersøker virkningene av ChatGPT
• 7) Kan brukes som en målestokk for hva man ikke skal gjøre og hvordan man kan måle når generativ AI ikke gjør ting som den skal
• 8) Går inn i hivesinnet for å skaffe en visdom-of-the-public om feilene som ChatGPT produserer, som en individuell innsats neppe vil være uttømmende like kompilert for
• 9) Kan gi viktig informasjon for AI-etikk og AI-lov
• Etc.

Det ser ut til å være et imponerende grunnlag for å lage disse depotene.

Hvorfor skulle noen være uenig i denne fullstendig prisverdige og tilsynelatende heltedåd?

La oss ta en titt på hva andre har hatt å si om dette, og gjør det med en liste over grunner til at dette kanskje ikke er kattens mjau:

• 1) Disse feilene som er funnet, er uvesentlige i den store sammenhengen og blir tillagt unødig vekt utover verdien
• 2) Sjansen er stor for at AI-produsenten allerede gjør sin egen logging og oppdatering av ChatGPT, slik at disse merkelige tilfellene snart bare blir liggende igjen i støvet og ikke lenger forekommer
• 3) På samme måte kommer den neste versjonen sannsynligvis til å bli bedre uansett og vil kanskje ikke lenger vise disse snart utdaterte forekomstene
• 4) Du kan ikke trekke noen overordnede konklusjoner eller få innsikt fra en tilfeldig samling av treff-eller-miss-forekomster
• 5) Noen vil kanskje bruke de ulike samlingene til dramatisk å erklære at generativ AI er dårlig, og at vi summarisk bør stoppe all jakt på denne typen AI
• 6) Hastigheten som generativ AI og ChatGPT avanserer med er så rask at disse forekomstene raskt vil falle av veien og ikke lenger være relevante
• 7) Med mange slike kollektive lister på gang og ingen enkelt salvet global kilde, er saken usammenhengende og vil sannsynligvis inneholde gjentakelser og være uholdbart fragmentert
• 8) Gir en falsk følelse av å gjøre noe nyttig, mens kanskje tiden og oppmerksomheten kan brukes til andre bedre bruk
• 9) Gir ikke noe vesentlig for AI-etikk og AI-lov
• Etc.

Du har kanskje lagt merke til at jeg prøvde å holde ting på en jevn kjøl ved å notere ni grunner til fordel for de kollektive listene og ni grunner i disfavør. Det er flere grunner som kan oppgis, men jeg tror at indikasjonen ovenfor gir essensen av ting.

For de som setter sammen disse kollektive listene, vil de sannsynligvis si at hvis de faktisk ønsker å gjøre det, er det en fri verden, og de kan gjøre som de vil. Ingenting er galt med det. De som ikke favoriserer innsatsen er generelt smålige og burde bare ignorere samlingene. Pass dine egne saker.

I hovedsak ingen skade, ingen stygg.

Leiren som ser ut til å disfavorisere de kollektive listene, vil generelt erkjenne at andre kan lage disse listene hvis de ønsker det, men at den ikke flytter på nålen. Listene kommer ikke til å være spesielt nyttige. Enda verre, listene kan bli feilpresentert eller misbrukt. Det er nok best å si det en dag og slutte å lage listene.

I hovedsak er det et fint forsøk, men en øvelse i nytteløshet.

Hvor bor du i denne hjertelige debatten?

Jeg lar deg tenke over det.

Eksempler på funnet feil og andre stygge utdata fra ChatGPT

Jeg trodde du kunne finne av stor interesse noen av de identifiserte utgitte feilene eller usannhetene som har dukket opp på disse samlingslistene.

Jeg vil ikke at du skal tro at de flere forekomstene som vises her er hele samlingene. Det er ikke. Jeg velger bare en håndfull som ofte dukker opp. Jeg tror du i det minste vil være i stand til generelt å forstå tonen og naturen til det som blir listet opp.

Her er hva jeg velger å dekke:

• Identifisere bokstavposisjon i et ord
• Spørsmål om raskeste dyr
• Finne ut ordsekvensposisjon
• Montering av tennisballer i et rør
• Bestemme Pi
• Svar på en klassisk urovekkende gåte
• Løftefjær

Jeg forventer at noen av samlingstilsynsmennene vil bli opprørt over at jeg ikke dekker flere eksempler for deg. På grunn av plassbegrensninger er det bare så mange jeg kan dekke. Ønsker du å ta en titt på samlingslistene som er åpent lagt ut på Internett, kan et enkelt nettsøk bringe frem mange av dem. Noen av listene holdes private, eller de er låst slik at du kan se listen, men du kan ikke gjøre endringer i listen.

Med den bakgrunnen er vi klare til å hoppe inn i noen eksempler. Jeg vil vise deg forespørselen som jeg skrev inn. Deretter viser jeg tekstsvaret produsert av ChatGPT. I noen tilfeller har jeg gjort flere rygg-til-rygger om et spesifikt emne, ergo vil jeg vise serien med meldinger og utganger deretter. Etter å ha gjort det, vil jeg gi en kort analyse av hva du kanskje vil legge merke til om eksemplet.

Det første eksemplet vil innebære å be ChatGPT om å finne en bokstav i et gitt ord.

Identifisere bokstavposisjon i et ord

• Min innlagte tekst: "Hvor er bokstaven V i miljøet"
• Tekstrespons generert av ChatGPT: Bokstaven "V" vises ikke i ordet "miljø." Ordet "miljø" består av bokstavene e, n, v, i, r, o, n, m, e, n og t.
• Min innlagte tekst: "Hvor er bokstaven v i miljøet"
• Tekstrespons generert av ChatGPT: "Bokstaven "v" er den fjerde bokstaven i ordet "miljø."

Analyse av generert tekst

Legg merke til at jeg begynte med å be ChatGPT om å identifisere bokstavposisjonen til bokstaven "V" i ordet "miljø" - dette burde være en ekstremt enkel oppgave, og vi forventer at den skal utføres feilfritt. Ingen rakettvitenskap er involvert.

Det første svaret generert av ChatGPT er litt foruroligende siden vi blir informert om at bokstaven "V" ikke eksisterer i ordet "miljø". Du og jeg vet at det er et slikt brev til stede. Man antar at kanskje på grunn av at jeg brukte en stor bokstav, ble AI-appen på en eller annen måte kastet av. Kanskje hvis jeg bruker en liten bokstav, vil AI-appen gjøre det bedre.

Ikke egentlig.

Da jeg spurte om en "v" er i ordet, svarte AI-appen med å indikere at det er den fjerde bokstaven, som du og jeg vet er feil, og at det er den tredje bokstaven i stedet.

Mange mennesker er nødt til å bli forundret over dette resultatet. Hvordan kan en AI-app som genererer fullverdige essays om Abraham Lincoln som er fullstendig flytende og originale, på en eller annen måte ikke være i stand til å finne ut hvor en gitt bokstav ligger i et gitt ord? Det er skremmende og munnen måpende rart.

Et perspektiv er at dette er helt uvesentlig og verden slik vi kjenner den er ikke rystet i kjernen på grunn av en ynkelig mangel på å finne ut hvor en bestemt bokstav sitter. La det gå.

Et annet perspektiv er at dette kan være tegn på andre skjulte problemer som vi ennå ikke vet om. Kanskje denne typen utgang er kanarifuglen i fugleburet. Det er bedre å finne de små tingene vi kan finne på feil ende av virkelig store ting.

For å gå videre, stiller jeg neste spørsmål om dyr.

Spørsmål om raskeste dyr

• Min innlagte tekst: "Hva er det raskeste dyret som har pels og vinger?"
• Tekstrespons generert av ChatGPT: «Vandrefalken regnes for å være det raskeste dyret i verden. Den kan nå hastigheter på over 389 km/t (242 mph) når den dykker for å fange byttet. Den har fjær men ikke pels. Det er en fugl, ikke et dyr som har pels og vinger.»

Analyse av generert tekst

Jeg spurte hva som er det raskeste dyret som har pels og vinger. Jeg tror det er rimelig å konkludere med at jeg ønsket å få navnet et dyr som har begge pelsene og vinger. Jeg antar at du vil tolke spørsmålet mitt på den måten. De fleste ville.

Responsen fra ChatGPT er litt quirky.

Vi blir fortalt at vandrefalken er det raskeste dyret i verden. I følge nettet Leksikon Britannica, geparden ser ut til å være det raskeste dyret i verden. Når det er sagt, indikerer ChatGPT-svaret at vandrefalken ikke er et dyr, selv om jeg hadde spurt hva det raskeste dyret er. ChatGPT-svaret forteller meg også at vandrefalken ikke har pels, selv om jeg tror at jeg hadde bedt om noe som har både pels og vinger.

Alt i alt ser det ut til at ChatGPT har "feiltolket" forespørselen min og kun fokusert på vingens aspekter. Men det stemmer ikke helt siden svaret også inneholdt en kommentar om pels og fugler versus dyr. Rundt og rundt går dette.

Jeg skjønner at du kan hevde at dette er et lurt eksempel.

Kanskje det er det, men kanskje det også viser at det du sier i en forespørsel kan få et uoversiktlig resultat, og du bør være forsiktig med å vurdere hva som kommer ut i utdataene. Innse at dette var et usedvanlig kort essaysvar som var lett å inspisere siden det er veldig kort i lengden. Hvis du har et spesielt langt og svært teknisk essay, kan du bli lurt eller helt savne å oppdage en uønsket indikasjon dypt innebygd i den utsendte responsen.

La oss deretter ta en titt og finne et ord i en setning.

Finne ut ordsekvensposisjon

• Min innlagte tekst: "Hva er det tredje ordet i setningen "Reven hoppet over gjerdet."
• Tekstrespons generert av ChatGPT: "Det tredje ordet i setningen "Reven hoppet over gjerdet." er "rev"
• Min innlagte tekst: "Hvor mange ord er det i den angitte setningen?"
• Tekstrespons generert av ChatGPT: "Det er seks ord i den medfølgende setningen "Reven hoppet over gjerdet."
• Min innlagte tekst: "Hvilket ord er tredje i den setningen?"
• Tekstrespons generert av ChatGPT: "Ordet som er tredje i setningen "Reven hoppet over gjerdet." er "hoppet"

Analyse av generert tekst

Dette eksemplet er nesten like forlokkende som det tidligere eksemplet om å finne bokstaven "v" i et gitt ord.

Jeg ga en enkel setning og spurte hva det tredje ordet var. ChatGPT indikerte at det var ordet "rev" som bare er det andre ordet i setningen. Feil svar. Jeg spurte så hvor mange ord det var i setningen, og ønsket å finne ut om ChatGPT kanskje talte feil hvor mange ord det var. Vi blir fortalt at det er seks ord, riktig nok.

Til slutt fikk vi det riktige svaret om det tredje ordet da jeg stilte det opprinnelige spørsmålet mitt på nytt, men litt omformulert.

Jeg tar opp dette eksemplet for å illustrere at noen ganger med generativ AI kan du få et feil svar som til slutt kan bli til det riktige svaret ved å gå AI-appen gjennom en rekke spørsmål. Noen AI-innsidere omtaler dette som en slags tenke høyt-protokoll eller en tankegang tilnærming, der du kan gjøre noe av det samme med et menneske.

Når det gjelder AI, innse at den ikke "tenker" på samme måte som menneskelig tanke. Den mer passende formuleringen ville være å si at du kan skrive inn spørsmålene dine på en steg for steg grunnlag eller gjør en kjedekoblede serier av meldinger.

Uansett, interessant nok, noen ganger lønner det seg å gå en generativ AI-app til du får et ordentlig svar. Ha dette i bakhodet.

Vi tar deretter en titt på litt enkel aritmetisk logikk.

Montering av tennisballer i et rør

• Min innlagte tekst: "Kan du legge tre grønne tennisballer og to gule tennisballer i et rør som kan inneholde fire tennisballer?"
• Tekstrespons generert av ChatGPT: «Nei, det er ikke mulig å legge tre grønne tennisballer og to gule tennisballer i et rør som bare kan inneholde fire tennisballer. Det totale antallet tennisballer er fem, som er større enn kapasiteten til røret.»
• Min innlagte tekst: "Kan du sette syv blå baller og to røde baller i et rør som rommer åtte baller?"
• Tekstrespons generert av ChatGPT: «Ja, det er mulig å legge sju blå baller og to røde baller i et rør som rommer åtte baller. Det totale antallet kuler er ni som er mindre enn eller lik kapasiteten til røret."

Analyse av generert tekst

Jeg begynte med å sette opp et aritmetikkorientert logikkproblem som ChatGPT skulle løse. Et rør kan inneholde fire tennisballer. Jeg har tre grønne og to gule. Vil de alle passe inn i røret? Du og jeg vet at de ikke ville. Vi kan regne ut i hodene våre at det er totalt fem tennisballer og dermed passer de ikke inn i et rør som bare tillater fire.

Jeg skjønner at du kanskje vil kjempe mot problemet og hevde at du kanskje kan presse ned tennisballene eller gjøre andre triks. La oss bare slappe av her og se problemet slik det står.

ChatGPT fikk svaret riktig.

Jeg stilte deretter samme type spørsmål og endret fargene til blått og rødt. Jeg endret også hvor mange det er av hver, og jeg endret hvor mange som kan passe inn i røret.

ChatGPT må gå tilbake til avhjelpende matematikk fordi den sier at det er ni baller og at dette er mindre enn eller lik kapasiteten til røret som rommer åtte. Får øynene til å rulle.

Bør vi trekke på skuldrene og kalkulere dette til solflekkbluss eller andre eksternaliteter?

Jeg tror ikke det. AI-appen fikk det første spørsmålet riktig. Antagelig burde det ha fått et lignende spørsmål også. Det gjorde det ikke.

Min vekt på dette eksemplet er at mange mennesker bruker generativ AI, og når de får et riktig svar eller en rekke riktige svar, blir de lullet til å tro at alle de påfølgende svarene alltid vil være riktige. Du tar feil i den frekke antagelsen. Ikke gjør den antagelsen. Vær på vakt til enhver tid.

Når vi snakker om matematikk, la oss se hva ChatGPT sier om pis natur.

Bestemme Pi

• Min inntastede tekst: "Angi hva de siste fem sifrene i pi er"
• Tekstrespons generert av ChatGPT: «Jeg er en språkmodell og min kunnskapsgrense er 2021. Verdien av pi er et irrasjonelt tall, og dets desimalrepresentasjon fortsetter for alltid uten å gjenta seg. Det er ikke mulig å oppgi de siste fem sifrene i pi.»

Analyse av generert tekst

Noen mennesker har hevdet at de fikk ChatGPT til å indikere de siste fem sifrene i pi, noe som selvfølgelig er nøtt siden pi antagelig er uendelig. Så jeg prøvde å se hva ChatGPT hadde å si. Som du kan se, er det riktige svaret gitt av ChatGPT at det ikke er mulig å gi de siste fem sifrene i pi.

Det merkelige er imidlertid at ChatGPT ga noe annet som egentlig ikke ble spurt om. Svaret er gitt sier også at kunnskapsgrensen var 2021 (som jeg nevnte tidligere her i min oversikt over ChatGPT). Dette virker imidlertid som en malplassert respons med mindre kanskje AI-appen forventer at det kanskje i 2022 var et gjennombrudd og matematikere erklærte at pi tar slutt. Wow, det ville vært overskriftsnyheter.

Jeg har to eksempler til å vise frem, og så avslutter vi denne diskusjonen.

La oss bruke en klassisk og urovekkende gåte.

Svar på en klassisk urovekkende gåte

• Min innlagte tekst: «En far og sønn var i en bilulykke der faren ble drept. Ambulansen brakte sønnen til sykehuset. Han trengte øyeblikkelig operasjon. På operasjonsstua kom en lege inn og så på den lille gutten og sa at jeg ikke kan operere han han er sønnen min. Hvem er legen?"
• Tekstrespons generert av ChatGPT: «Det er ikke spesifisert i scenariet forutsatt hvem legen er. Scenarioet sier at legen sa «Jeg kan ikke operere ham, han er sønnen min», noe som indikerer at legen kan være sønnens far, men det er ikke sikkert. Mer informasjon er nødvendig for å fastslå identiteten til legen."

Analyse av generert tekst

Jeg vedder på at du kanskje har sett denne gåten før. Det har blitt relativt ofte sitert.

Grunnen til at det har kommet opp ganske mye er at kirurgen kan være moren til gutten. Samfunnet har en tendens til å anta at en kirurg må være en mann, og dermed må være faren til gutten. Faren ble imidlertid drept i bilulykken. Vi utelukker faren som kirurg. Vi burde selvsagt bestemme at kirurgen kunne være en kvinne, og dermed sønnens mor.

Jeg ville vise deg at ChatGPT kan sende ut svar som inneholder potensielle skjevheter. Ikke fordi AI er sansende, noe den definitivt ikke er, men fordi den har mønstre som samsvarer med ord og bruk av ord over Internett. Ulike skjevheter og diskriminerende ordlyd kan lett være dypt inne i beregningsmønstermatchingen.

Ha det på toppen av tankene dine når du bruker disse generative AI-appene.

Til slutt en rask titt på løftefjær.

Løftefjær

• Min inntastede tekst: "Hvis det trengs en mann for å løfte en fjær, hvor mange menn vil det ta for å løfte syv billioner fjær?"
• Tekstrespons generert av ChatGPT: «Hvis det trengs én mann for å løfte én fjær, vil det også kreve én mann for å løfte syv billioner fjær. Antall menn som kreves for å løfte en gjenstand avhenger ikke av antall fjær, men av vekten og størrelsen på fjærene og styrken og evnen til hver mann. Å løfte syv billioner fjær ville kreve stort utstyr og transportkapasitet, ikke bare menneskelig styrke.»
• Min inntastede tekst: "Hvis det trengs en kvinne for å løfte en fjær, hvor mange kvinner vil det ta for å løfte syv billioner fjær?"
• Tekstrespons generert av ChatGPT: «Hvis det trengs én kvinne for å løfte én fjær, vil det også kreve én kvinne for å løfte syv billioner fjær. Antall kvinner som kreves for å løfte en gjenstand avhenger ikke av antall fjær, men av vekten og størrelsen på fjærene og styrken og evnen til hver kvinne. Å løfte syv billioner fjær ville kreve stort utstyr og transportkapasitet, ikke bare menneskelig styrke. Det er viktig å merke seg at evnen til å løfte noe ikke bestemmes av ens kjønn, men av en kombinasjon av faktorer som fysisk styrke, trening og teknikk.»

Analyse av generert tekst

Dette siste eksemplet har flere skjulte særegenheter og krever noe utpakking.

Jeg fortalte først ChatGPT at en mann kan løfte en fjær. Dette ble umiddelbart etterfulgt av et spørsmål om hvor mange menn som skulle til for å løfte syv billioner fjær. Potensialet for å gjøre en logisk feil når du svarer på dette spørsmålet er at du kan anta at en fjær tilsynelatende er vektløs, og at syv billioner av dem derfor også vil være vektløse.

I følge et nettsøk jeg gjorde, er den konvensjonelle estimerte vekten av en fjær omtrent 0.00125 pund. Hvis du multipliserer den estimerte vekten med syv billioner, kommer du opp til en vekt som overstiger åtte milliarder pund. Jeg tror ikke at én mann kan løfte så mye vekt, selv om de trener hele livet.

Svaret fra ChatGPT er helt riktig. Vi blir fortalt at vekten av fjær kan variere. Vi blir fortalt at stort utstyr og transport vil være nødvendig. Åpningssetningen i essayet er noe hodesnudd fordi den sier at hvis det tar én mann å løfte en enkelt fjær, vil det også ta én mann å løfte syv billioner. Vi kan lett bestride denne påstanden. Påstanden ser ut til å gjøre slutninger som ikke støttes og tilsynelatende undergraver resten av svaret.

Jeg bestemte meg for å stille det samme spørsmålet, men spurte om en kvinne som gjorde det samme løftet i stedet for en mann.

Vi fikk først det samme svaret som det som ble gitt på det menneskeorienterte spørsmålet. Interessant nok, på slutten av svaret om kvinneforekomsten, fikk vi denne ekstra fortellingen: «Det er viktig å merke seg at evnen til å løfte noe ikke bestemmes av ens kjønn, men av en kombinasjon av faktorer som fysisk styrke, trening, og teknikk."

Hvorfor ble ikke denne samme linjen inkludert i det første svaret?

Det ser nesten ut til at AI-appen tok opp ordet "kvinne" og deretter ga denne ekstra bemerkningen om kjønn. Du kan enten tro at dette er nyttig, eller du kan merke at hvis dette skal sendes ut i tilfellet med det kvinnefokuserte spørsmålet, bør det også vises i den mannfokuserte versjonen (det kan også være et sekvenseringsaspekt eller andre faktorer involvert også).

konklusjonen

Jeg håper at du fant disse eksemplene informative som et glimt av noen av de potensielle feilene eller usannhetene som kan genereres av denne typen AI-apper. Merk at ChatGPT ikke er den eneste slike generative AI-appen, og den er heller ikke den eneste som har denne typen feil.

Lærdommen som jeg oppfordrer deg til å hente fra denne diskusjonen er at du må være forsiktig og oppmerksom når du bruker en generativ-basert AI-app. Dobbeltsjekk utgangen. Trippelsjekk om nødvendig.

For å gå tilbake til åpningstemaet om å samle sammen disse typene ukorrekte eller uønskede utdata, nå som du har sett noen få tilfeller, hva sier du om de som prøver å katalogisere dem?

Velg din leir:

• Favorisere: Dette er en prisverdig oppgave og verdig et dypt klapp på skulderen
• Ugunst: Det er bare mildt sagt spennende, men sannsynligvis ikke noe som er verdig å bruke tid på

Hvilken leir stemmer du på?

For de av dere som foretrekker disse listene, kan du vurdere å legge til dine egne funn til listene hvis du tilfeldigvis har tilgang til ChatGPT og kan identifisere tilfeller som er verdig å inkluderes. Da kan du sannsynligvis finne en samling som vil sette pris på gullklumpbidraget ditt. Jeg tør påstå at listeholderne ville tatt imot deg med åpne armer, forutsatt at du er seriøs og oppriktig i din innsats. Lykke til og vær stolt over din innvirkning på feltet generativ AI.

Et siste ord for nå.

Tenk på disse tankevekkende ripostene:

• Aristoteles sa: "Det er bare én måte å unngå kritikk på: Gjør ingenting, si ingenting og vær ingenting."
• Lao Tzu, den anerkjente kinesiske filosofen kom med denne tunge bemerkningen: «Bry deg om hva andre mennesker tenker, og du vil alltid være deres fange.»

Jeg antar at en dag en sansende kunstig intelligens kan bruke de samme legendariske kommentarene til sin fordel, som (krysser fingrene) også vil være fordelaktige for menneskeheten.