Semi-overvåget generering med klyngebevidste generative modeller

Dybe generative modeller, der er trænet med store mængder umærkede data, har vist sig at være effektive inden for uovervåget læring.

Artikel

Læsetid:

Af

Lars Maaløe, Marco Fraccaro, Ole Winther

INDHOLDSFORTEGNELSE

Opdag Raffle Søg

En AI-søgemaskine, der forenkler datahåndtering, analyse og insights for smartere forretningsbeslutninger og markedsstrategier.

Oplev nu

Mange datasæt fra det virkelige liv indeholder et lille antal mærkede datapunkter, som man typisk ser bort fra, når man træner generative modeller.

Vi foreslår den klyngebevidste generative model, der bruger umærkede oplysninger til at udlede en latent repræsentation, der modellerer den naturlige klyngedannelse af data, og yderligere mærkede datapunkter til at forfine denne klyngedannelse.

Modellens generative præstationer forbedres betydeligt, når mærket information udnyttes, og der opnås en log-likelihood på 79,38 nat på permutationsinvariant MNIST, mens der også opnås konkurrencedygtige semi-overvågede klassifikationsnøjagtigheder. Modellen kan også trænes helt uden overvågning og stadig forbedre log-likelihood-præstationen i forhold til relaterede metoder.
Download

Mere fra nyhedsrummet

Artikel

11. september 2023

Kan du ikke forhindre dine kundeservicemedarbejdere i at sige op? Instant Answers Det kan vi hjælpe med.

Semi-overvåget generering med klyngebevidste generative modeller

Dybe generative modeller, der er trænet med store mængder umærkede data, har vist sig at være effektive inden for uovervåget læring.

Mange datasæt fra det virkelige liv indeholder et lille antal mærkede datapunkter, som man typisk ser bort fra, når man træner generative modeller.

Vi foreslår den klyngebevidste generative model, der bruger umærkede oplysninger til at udlede en latent repræsentation, der modellerer den naturlige klyngedannelse af data, og yderligere mærkede datapunkter til at forfine denne klyngedannelse.

Modellens generative præstationer forbedres betydeligt, når mærket information udnyttes, og der opnås en log-likelihood på 79,38 nat på permutationsinvariant MNIST, mens der også opnås konkurrencedygtige semi-overvågede klassifikationsnøjagtigheder. Modellen kan også trænes helt uden overvågning og stadig forbedre log-likelihood-præstationen i forhold til relaterede metoder.
Download

Læs kundens historie