Dette er det tredje indlæg i vores serie 'Videnskaben bag Raffle-lution'. 

Vi anbefaler, at du læser del 1 og del 2 først .

AI drevet af deep learning har oplevet store fremskridt i de seneste år. Det ville ikke have været muligt uden en stærk open source AI API-bevægelse.

De to vigtigste open-source deep learning frameworks, PyTorch og TensorFlow, er open-source. Interessant nok er Facebook en stærk støtte for PyTorch, og TensorFlow er et Google-projekt.

I stedet for en lang diskussion om, hvorfor Big Tech måske støtter open source og åben forskning, vil dette blogindlæg se på nogle af de rammer og modeller, der er tilgængelige inden for naturlig sprogbehandling (NLP), og hvordan de kan bruges i produkter.     

Rammeværk

En open source deep learning-ramme er et bibliotek, der har de nødvendige elementer til at træne deep learning-modeller, så vi skal kunne indlæse og manipulere data samt definere, træne og implementere modeller.

På Raffleforetrækker vi i øjeblikket PyTorch, fordi det er et "pythonisk" (= svarende til Python) programmeringssprog. TensorFlow har nogle fordele med hensyn til at sætte modeller i produktion.

Keras er et andet bibliotek, der gør det lettere at komme i gang med deep learning. Men vær advaret, det er svært at blive en mester i dyb læring.  

Open source NLP-modeller

Raffle bygget NLP AI for at gøre det lettere for medarbejderne at finde virksomhedsinformation. Så vi har brug for modeller, der kan forstå spørgsmål på naturligt sprog og forbinde spørgsmålet med vidensbaser for at levere et passende svar.

Talebaserede grænseflader (speech2text og text2speech) og forståelse af alle sprog er også meget ønskværdige. Så hvad er tilgængeligt i dag?

1. Sprogmodellering. Som omtalt i det forrige indlæg kan vi bygge AI, der forstår naturlig tekst bedre, ved at bruge sprogmodeller som BERT som fundament. Hugging Face er et firma, der har specialiseret sig i at distribuere kode og trænede modeller til NLP.
2. Maskinoversættelse vil med tiden nedbryde sprogbarrierer. For nylig offentliggjorde Facebook AI et maskinoversættelsessystem, der kan oversætte mellem 100 sprog. 
3. Talegenkendelse og talesyntese er allerede indbygget i din smartphone, men er også tilgængelig som open source, så den kan integreres i produkter. 

Babel-fisken vækket til live?

Når man har adgang til maskinoversættelse, kan en bruger stille et spørgsmål på et andet sprog end det, modellen er trænet på:

1. Registrering af sprog
2. oversætter
3. indtaste det oversatte spørgsmål i vores system for at få et svar
4. oversætter svaret tilbage til brugerens sprog.

Talegenkendelse åbner mulighed for, at Raffle Site Search kan køre i stemmebaseret kundeservice . Modellernes størrelse forhindrer os i øjeblikket i at implementere disse løsninger. For eksempel har 100-til-100-maskinoversættelsesmodellen 15 milliarder parametre! Vi kan simpelthen ikke køre så stor en model.

Heldigvis ved vi, at vi takket være open source deep learning-bidragsydere snart vil få en meget mindre model, som vi kan køre. Så en dag i en ikke så fjern fremtid kan Raffle besvare dine spørgsmål på mange sprog - det ser ud til , at Hitchhiker's Guide to the Galaxy alligevel fik ret!

Derudover er der infrastrukturværktøjer, som hjælper os med at forbedre modellerne:

1. A/B-test - til afprøvning af alternative modeller i produktionen
2. Bayesiansk optimering - til automatiseret søgning over modelarkitekturer 
3. Automatisk omskoling - for løbende at træne og forbedre vores produktionsmodeller
4. Aktive læringsordninger - for at finde ud af, hvilke data vi skal mærke næste gang for at forbedre mest muligt

Forbliver topmoderne

Open-source deep learning AI-frameworks har været med til at muliggøre Raffle's unikke AI-teknologi.

Vi har et tæt samarbejde med Danmarks Tekniske Universitet og Københavns Universitet for at være på forkant med den nyeste udvikling inden for forskning. Det er en vigtig inspiration for vores arbejde.

Det er stadig i sin vorden, men vi tror fuldt og fast på, at den teknologi, vi udvikler, hurtigt vil blive bedre og finde anvendelse langt ud over de nuværende produkter. 

I vores sidste indlæg i denne serie vil vi se på de seneste tendenser inden for NLP AI-forskning for at se, hvad der venter lige om hjørnet. 

Læs om vores brugercases her.