Møte 2018.03.01
- Sikter på 14. april.
- Background, State-of-the-Art
- Hva er suksessraten til nåværende (regelbaserte, hardkodete) versjon?
- Hvilken algoritme bruker den?
- SVM, LR (LogRes) er mye brukt i naturlig samtale.
- SotA: Hvilke algoritmer og suksessrater eksisterer allerede.
- Hva er suksessraten til nåværende (regelbaserte, hardkodete) versjon?
Metode
Oppsett for sammenligning,
TF-IDF, P, R, F-score, P@3
- Kan systemet oppgi sin egen konfidens?
Statistikk/Konfidensintervall.
- Hvilken algoritme bruker du?
- Baseline: Hvor god er bot'en ift treff-rate på spørsmål
- Q er relevant, A er treff/bom.
- Q er relevant eller ikke, A er korrekt svar eller ikke.
- Hvor mange Q/A-kategorier finnes?
- 1500 linjer med potensielle spørsmål.
- Hvor mange grupper? Hvilken gruppe er størst? Hvor stor prosent utgjør den av totalen.
- Most frequent - baseline, nåværende system - baseline.
- 100.000 linjer med spørsmål/svar (bot 60%, bruker 40%), 10-15% gir "kan ikke svare".
- Skille mellom metodebeskrivelse nå, og resultatmåling i masteroppgaven.
Tentativ plan fremover:
Uke 1:
Sette opp messenger rammeverk for chatbot
Bestemme teknologier som skal brukes
Mål:
Programmering
Fullføre bot-oppsett med nåværende knowledge base
Strukturere loggdata for bruk
Skrivning
Kapittel 2 - beskrive chatbot oppsett
Bestemme resterende innhold - teknologier som skal undersøkes
Uke 2:
Hovedsakelig arbeid med chatbot og implementasjon av bestemte teknologier
Dokumentasjon av metodologi og background underveis
Ta utgangspunkt i faglitteratur
Uke 3:
Ferdigstille utvikling
Produsere grafer og tabeller over resultater
Skrive ferdig background og metodologi når utvikling er ferdig
Fortsette med skriving av dette i uke 4 om ikke ferdig
Uke 4:
Oppgaveskriving
Fullføre kapitler 1-5 (etter behov)
Resultater og konklusjon etter fullført
Ferdigstille oppgave
Uke 5:
Fullføre kapitler ikke ferdig
Lese korrektur - rette feil
Fullføre vedlegg og litteratruliste
Mulig klar til levering
Uke 6:
Korrektur og fullføre ikke ferdige kapitler om nødvendig
Levering av oppgave
Referat møte 2018.02.26
- Mangler nok erfaring til å skrive god background
- Metode
- Har så langt bare gjort TDF-IF, etc.
- Facebook API. La seg inspirere av hvordan DNB sin knowledge-base for facebook-boten virker.
- Trenger tilbakemelding på planen. Skriver en grov skisse til torsdag.
...