Dette er det fjerde og sidste indlæg i vores serie om "videnskaben bag Raffle-lution". Det anbefales, at du først læser del 1, del 2og del 3.

Deep learning-baserede systemer erstatter den traditionelle chatbot-tilgang til samtalebaseret AI. Med traditionelle chatbots skal man konstruere hele samtalen, en arbejdskrævende opgave, der er sårbar over for ændringer i den udfordring, vi ønsker at løse.

Deep learning lærer på den anden side af data. Så nu er udfordringen, hvordan man designer et system, der kan lære af en samtalekontekst, og hvordan man indsamler træningsdata.

I de foregående fire indlæg har vi diskuteret den teknologi, vi bruger i vores værktøjer, i detaljer. Nu vil vi kigge i vores krystalkugle for kunstig intelligens for at komme med nogle forudsigelser om, hvad vi kan forvente i de næste par år.

Hvad vi har brug for fra Conversational AI

‍Lados først undersøge, hvad en samtalebaseret AI skal kunne mestre, før den er klar:

1. Kontekstuel bevidsthed. AI'en skal kunne tage højde for, hvad der er blevet sagt før, og andre sammenhænge, når den formulerer et svar.
2. Nøjagtighed. For raffle.ai's produkter er det helt afgørende, at de svar, vi giver, er nøjagtige.
3. Tæt på upartisk. En eller anden form for bias er svær at undgå, men det er meget lettere at undgå uønskede bias, hvis vores træningsdata er fuldt ud vedligeholdt af os selv. Dette går imod tendensen med at udnytte store offentlige datasæt.
4. Behersk nye domæner med et lille behov for tilpasning. Vi ønsker at bruge så få ressourcer som muligt på at indsamle træningsdata, når vi onboarder en ny kunde.
5. Håndter store vidensbaser. Jo mere information vores værktøjer kan håndtere, jo mere nyttige er de.
6. Ræsonnement. Evnen til at udføre logiske ræsonnementer er ikke et must for at gøre dialogisk AI brugbar, men det gør helt sikkert oplevelsen sjovere, fordi det giver brugeren en følelse af at blive forstået.

Er GPT-3 løsningen?

GPT-3 fra OpenAI er et eksempel på banebrydende NLP-forskning fra 2020. GPT-3-sprogmodellen, som er en investering på en milliard dollars fra Microsoft, har 175 milliarder parametre og kan kun køre i skyen. Den er trænet på en betydelig del af hele internettet. Resultaterne har været imponerende, men kommer med alvorlige begrænsninger og bias. 

Det er en generativ sprogmodel, der kan læse teksten og derfra begynde at generere mere tekst, et ord ad gangen. Den leverede tekst sætter konteksten, kaldet en "prompt" i GPT-3-lingo. Så hvis vi vil lave et system til besvarelse af spørgsmål om emnet raffle.ai, kunne en prompt være: 

"raffle.ai er en AI-virksomhed. Vores mission er at hjælpe virksomheder og kunder med at frigøre tid ved hjælp af AI-drevet søgning.

Q: Hvad er den AI-teknologi, der bruges af raffle.ai?

A: raffle.ai bruger NLP med dyb læring. 

Q: Hvad kan raffle.ai Customer Service-produkter bruges til?

Svar: raffle.ai Customer Service hjælper kundeservicemedarbejdere med at besvare kundehenvendelser.

Q: Er raffle.ai en chatbot?

Svar: Nej, raffle.ai er en AI-drevet søgemaskine, der har en kontekstuel forståelse af et spørgsmål, hvilket fører til øjeblikkelige resultater og løsninger.

Efter denne opfordring vil GPT-3 svare på det tredje spørgsmål ("Nej..."!)

Da GPT-3 er trænet på en stor del af det offentlige internet , vil den have lagret oplysninger om raffle.ai i sine 175 milliarder parametre . Den har også gemt en masse information om AI generelt. Den kombinerer begge dele for at give et fornuftigt svar på spørgsmålet.

Den kontekst, som prompten sætter, får modellen til at "tune ind" på de oplysninger, der er lagret i modellen, og som er relevante for raffle.ai-konteksten. Listen over spørgsmål og svar, som vi bruger i prompten, er ikke træningsdata, men i stedet en måde, hvorpå vi kan skabe en kontekst for spørgsmål og svar.

For nylig udgav OpenAI endnu et spektakulært eksempel på, hvordan man kan opskalere modeller og bruge data fra internettet til at skabe kunstig intelligens, der kan generere ikke-trivielt nyt indhold. DALL-E - en hyldest til både Salvador Dali og Pixars WALL-E - genererer billeder ud fra tekstbeskeder. Den bruger en model, der ligner GPT-3, som er trænet på milliarder af billeder fra internettet, herunder både billedet og en billedtekst.

Sandheden er derude ... men det er løgnene også!

Så GPT-3 forstår kontekst, mestrer nye domæner uden eksplicit træning og kan håndtere store vidensbaser, fordi den har opsamlet en masse information ved at blive trænet på en stor del af internettet. Men har den opfyldt alle vores betingelser for samtalebaseret AI?

Svaret er desværre stadig et rungende nej. 

Vi har ingen kontrol over, om svarene er faktuelt korrekte. GPT-3 opfinder ting baseret på, hvad den har læst. GPT-3 har de samme bias som de data, den er blevet trænet på.

GPT-3-udviklerne har forsøgt at filtrere uønsket indhold, men internettet indeholder en masse information, og meget af det kan siges at være forudindtaget eller direkte usandt. Et andet aspekt er, at hvis vi skalerer sprogmodeller, kan de huske mere og mere. De risikerer at blive stokastiske papegøjer, der genererer en forvrænget version af det oprindelige indhold, de blev trænet på. Forhåbentlig kan denne kritik føre til en fællesskabsdrevet indsats for at finde ud af, hvilke data der skal medtages, når vi træner offentligt delte sprogmodeller, og metoder til systematisk at teste for en række bias, som de fleste kan blive enige om ikke bør være der. 

Det er ret nemt at trykprøve GPT-3 for at afsløre dens begrænsninger, når det gælder ræsonnement. Men hvis den nyere historie inden for udviklingen af AI har fortalt os noget, så er det, at dette også kan løses.

To nye udvidelser af vores nuværende yndlingsarbejdshest, transformeren - switch-transformeren og feedback-transformeren - har til formål at gøre modellen større eller give den mulighed for at behandle data internt i flere trin. 

Switch-transformeren fra Google Brain Research beskriver en model med 1 trillion parametre, som sender forskellige data til forskellige delkomponenter i modellen. Det giver mulighed for en meget større model uden at kræve flere beregninger. 

Feedback-transformeren fra Facebook AI omstiller transformeren, så modellen har adgang til mere abstrakte repræsentationer på højt niveau fra det foregående trin ved hvert trin i beregningen. Det gør modellen noget langsommere, men det kan opvejes af, at den nye formulering fungerer bedre med mindre modeller. Kombineret kan sådanne tilgange tage naturlige sprogmodeller til det næste niveau.

Fremtiden er lys for Raffle

Alligevel kan GPT-3 have mange anvendelsesmuligheder, som eksemplificeret her, og OpenAI har forpligtet sig til snart at gøre den tilgængelig. På Raffle kan vi integrere GPT-3 API'en for at hjælpe med at generere træningsdata. Vi har stadig brug for menneskelige gatekeepere til at validere dataene, men vi kan outsource noget af kreativiteten i at indfange menneskelig variabilitet til AI'en.

GPT-3 har vist, at vi kan lave kontekstbevidst AI ved at opskalere sprogmodeller, og at vi måske ikke behøver at træne modeller i fremtiden, men i stedet blot kan bede dem om at sætte dem ind i den rigtige kontekst. 

Som beskrevet ovenfor inspirerer GPT-3's mangler i øjeblikket til en masse forskning. Måske er den tætte indekssøgning, vi diskuterede i et tidligere blogindlæg, den mest lovende måde at forbinde dialogisk AI med den viden, vi ønsker, at AI'en skal bruge. Så på Raffle er vi overbeviste om, at vi vil bruge gennembrud inden for AI til at gøre vores produkter mere intelligente, lettere at implementere i nye sammenhænge og i stand til at arbejde med stadig større vidensbaser. For raffle.ai er fremtiden kun lige begyndt.

Så på Raffle er vi overbeviste om, at vi vil bruge gennembruddene inden for AI til at gøre vores produkter mere intelligente, lettere at implementere i nye sammenhænge og i stand til at arbejde med stadig større vidensbaser. For raffle.ai er fremtiden kun lige begyndt.

Vil du høre, hvordan vores AI-produkter kan hjælpe med at optimere din virksomhed?

Vis mig hvordan