En del av dere har spurt oss om hva det forventes at dere kan/husker av formler til eksamen, under f?lger en oversikt. Generelt er tommelfingerregelen at jo mer tid vi bruker p? en formel i forelesning, jo mer detaljert kunnskap forventer vi at dere har om den.
Vektorrom?
- Generell vektornotasjon
- Lengde (norm) og lengdenormalisering
- Avstands-/likhetsm?l; euklidsk avstand, kosinus, prikkprodukt
- TF-IDF
- Sentroidevektor
- Evaluering av klassifikasjon: N?yaktighet, presisjon sensitivitet, F1-m?l,
- Klyngeanalyse: klyngeintern kvadratsum (within-cluster sum of squares)
Line?r og logistisk regresjon
Alle formlene som vi har g?tt gjennom i forelesningene er pensum. Det inkluderer:
- grunnformelen for line?r regresjon
- Gjennomsnittlig kvadratfeil
- Line?r og logistisk regresjon i matriseformat
- Matriseoperasjoner, deriblant matriseprodukter
- Logistisk regresjon, enten med 2 klasser (med sigmoid) eller > 2 klasser (med softmax). Dere m? kunne sigmoid og softmax-funksjoner.
- Bin?r og kategorisk kryssentropi
Nevrale nettverk
- Her forventer vi at dere kjenner og kan anvende formlene for beregningene av ut-verdi i perseptronet, og formelen for oppdatering av vekter i perseptron.
- For flerlags nevrale nettverk forventer vi at dere kjenner og kan anvende formlene som brukes i forover-fasen. Bakoverfasen (tilbakepropagering) forventer vi at dere kjenner intuisjonen bak, og at dere vet hvordan den fungerer p? h?yt niv? inkludert hvordan den henger sammen med gradientnedstigning - men ikke at dere kjenner matematikken her.
- Aktiveringsfunksjoner: Vi forventer at dere kjenner intuisjonen bak og kan anvende aktiveringsfunksjonene gjennomg?tt i forelesning. Terskel-funksjonen og ReLU er s?pass enkle, at her regner vi med dere ogs? kan huske formelen hvis dere kjenner intuisjonen.
Beslutningstr?r og ensembler
- Beslutningstr?r: Intuisjonen for hvordan vi velger trekk ? splitte p? i noder, og hvordan vi steg for steg bygger treet forventer vi at dere kjenner. Akkurat hvordan vi beregner splitten varierer mellom ulike beslutningstre-algoritmer, s? vi forventer ikke at dere husker spesifikke formler her, men det kan hende vi gir dere en formel (f.eks. for entropi) og ber dere bruke den til ? finne den reneste splitten i et datasett.
- Ensembler: Her er ogs? intuisjonen det sentrale, dere m? kjenne til hvordan vi kan bygge ensembler og bruke dem til ? ta flertallsavgj?relser, og vektede flertallsavgj?relser i myk avstemming - men her inng?r det ikke noen nye formler.
ML i praksis
Alle formlene fra forelesningen er pensum, deriblant:
- gjennomsnitt, medianen og typetallet
- standardavviket
- One-hot encoding
- Skalering
- L1 og L2 regularisering
Forsterkende L?ring
Her er det ikke mye ny matematikk, men viktige konsepter ? skj?nne - formuleringen av problemer i forsterkende l?ring, med agent, tilstander, bel?nning, handliger og milj? m? dere naturlig nok kjenne til, samt hva vi mener med en Markov-beslutningsprosess og en policy. Formlene vi forventer at dere kjenner og kan anvende er:
- Formel for beregning av fremtidig diskontert bel?nning
- Formlene for ? oppdatere Q-verdier i Q-l?ring og sarsa
- Formlene for de ulike strategiene for handlingsvalg (gr?dig, epsilon-gr?dig og softmax)