Møte 2018.03.01
- Sikter på 14. april.
- Background, State-of-the-Art
- Hva er suksessraten til nåværende (regelbaserte, hardkodete) versjon?
- Hvilken algoritme bruker den?
- SVM, LR (LogRes) er mye brukt i naturlig samtale.
- SotA: Hvilke algoritmer og suksessrater eksisterer allerede.
- Hva er suksessraten til nåværende (regelbaserte, hardkodete) versjon?
Metode
Oppsett for sammenligning,
TF-IDF, P, R, F-score, P@3
- Kan systemet oppgi sin egen konfidens?
Statistikk/Konfidensintervall.
- Hvilken algoritme bruker du?
- Baseline: Hvor god er bot'en ift treff-rate på spørsmål
- Q er relevant, A er treff/bom.
- Q er relevant eller ikke, A er korrekt svar eller ikke.
- Hvor mange Q/A-kategorier finnes?
- 1500 linjer med potensielle spørsmål.
- Hvor mange grupper? Hvilken gruppe er størst? Hvor stor prosent utgjør den av totalen.
- Most frequent - baseline, nåværende system - baseline.
- 100.000 linjer med spørsmål/svar (bot 60%, bruker 40%), 10-15% gir "kan ikke svare".
- Skille mellom metodebeskrivelse nå, og resultatmåling i masteroppgaven.
Tentativ plan fremover:
Uke 1:
Sette opp messenger rammeverk for chatbot
Bestemme teknologier som skal brukes
Mål:
Programmering
Fullføre bot-oppsett med nåværende knowledge base
Strukturere loggdata for bruk
Skrivning
Kapittel 2 - beskrive chatbot oppsett
Bestemme resterende innhold - teknologier som skal undersøkes
Uke 2:
Hovedsakelig arbeid med chatbot og implementasjon av bestemte teknologier
Dokumentasjon av metodologi og background underveis
Ta utgangspunkt i faglitteratur
Uke 3:
Ferdigstille utvikling
Produsere grafer og tabeller over resultater
Skrive ferdig background og metodologi når utvikling er ferdig
Fortsette med skriving av dette i uke 4 om ikke ferdig
Uke 4:
Oppgaveskriving
Fullføre kapitler 1-5 (etter behov)
Resultater og konklusjon etter fullført
Ferdigstille oppgave
Uke 5:
Fullføre kapitler ikke ferdig
Lese korrektur - rette feil
Fullføre vedlegg og litteratruliste
Mulig klar til levering
Uke 6:
Korrektur og fullføre ikke ferdige kapitler om nødvendig
Levering av oppgave
Referat møte 2018.02.26
- Mangler nok erfaring til å skrive god background
- Metode
- Har så langt bare gjort TDF-IF, etc.
- Facebook API. La seg inspirere av hvordan DNB sin knowledge-base for facebook-boten virker.
- Trenger tilbakemelding på planen. Skriver en grov skisse til torsdag.
Frist: 4. februar (Nei, ... men ...Når?)
- Her er en lenke til en side som inneholder et eksempel på en plan fra IT3010
- Andreas Røyrvik og Magnus Lund - Improving the process of comparing university courses
Meeting 2018.09.01
Ingen identifiserbare data i chat-loggene.
Planlegger gå igjennom Introduction og Problembeskrivelses-kapitlene onsdag 17/1.
PSD2-direktivet sier at du kan dele all kundedata med tredje-part hvis du ønsker å bruke deres tjenester (betalings-agent, etc). API-bygging
https://www.dn.no/grunder/2017/04/16/0844/Handel/her-er-56-sporsmal-dnbs-robot-kan-svare-pa
Referat skype møte 2017.11.29
Frist: 4. februar
Her er en lenke til en side som inneholder et eksempel på en plan fra IT3010
Andreas Røyrvik og Magnus Lund - Improving the process of comparing university courses
Referat møte 17.11.2017
...
er på eksisterende Facebook chat og vise med eksempler hva som fungerer og ikke fungerer
gir ikke eksakt svar på spørsmål men linker til høyere i hierarkiet
kvatitative og kvalitative undersøkelser samt benchmarking av system
TODO:
- Spørreundersøkelse etter chat i Facebook?
- Kvalitative intervju med personer etter bruk
- Analysere hvor mange som har tatt kontakt med kunderådgiver/fått fullstendige svar
- Se hvilke kategorier bot bommer mest på
- Undersøke server, hvor mye data den kan håndtere, trene opp på nytt
- Beskrivelse av dagens tekniske implementasjon
- Undersøke hvilke teknologier som kan være potensielle til bruk
- Bjørn gambeck, kontakt angående tidligere oppgaver og artikler
...
:
- Testet messenger bot (DNB facebook)
- Fått tilbakemelding av Björn Gambäck
- Tipset om Masimilliano Ruocco
- Christoffer: reiser til Oslo i morgen 30.11 for møte med chatbot team
...
- Facebook messenger chatbot er en MVP for å teste ut hva som var mulig å få til
- Det arbeides med utvikling av en chatbot med API som kan brukes i flere applikasjoner
- DNBs egne apper (Android, iOS)
- Brukes i nettbank og på DNBs hjemmesider
- Eventuelt brukes av tredjeparter (Apps f.eks.) gjennom APIer
- Denne er ikke i produksjon da det fremdeles arbeides med kravspesifikasjon og bestemmes hvilke løsninger som skal benyttes
- DNB arbeider med Artificial Solutions (Stockholm), men det er fremdeles manuell validering og kartlegging av intent som må til da det ikke er laget for læring ut over det som allerede er lagt inn
- Ønsker fra DNB:
- Identifisere intent ut i fra chatlogger og se hvor det er størst forbedringspotensiale for boten
- Foreslå til agenter som driver manuell opplæring hva boten tror er intent, gjerne med hvor stor sikkerhet den tror den har funnet intent
- Vil ikke at det skal være helt automatisk da det er ikke bra om bot gir feil svar, men en kombinasjon av unsupervised og supervised learning
- Data:
- Maskerte logger fra messenger bot, både bot og eventuell overgang til kunderådgiver
- Maskerte logger fra chat i nettbank direkte med rådgiver
- Kan brukes til å identifisere patterns på hva kunder spør mer/mindre om
- Både bot og kunderådgiver har krav om å ikke hente ut eller gjøre noe med personlig data, alt som kan identifisere en kunde er fjernet fra loggene
Meeting 9/1-2018
Ingen identifiserbare data i chat-loggene.
Planlegger gå igjennom Introduction og Problembeskrivelses-kapitlene onsdag 17/1.
PSD2-direktivet sier at du kan dele all kundedata med tredje-part hvis du ønsker å bruke deres tjenester (betalings-agent, etc). API-bygging
Referat møte 2017.11.17
Spørsmål:
- Evaluere eksisterende eller forsøke nye teknologier?
- Krav til utviklingsarbeid
- Grunnleggende problemstilling
- Innhold til prosjektoppgave
- Hypoteser
- Resultater
- Avgrensning
Info fra dnb
- Endelig rammeverk ikke satt
- MVP i produksjon
- morphological and syntactic analysis
- nevrale nett for NLP
- ikke detaljert informasjon om klassifisering algoritme
- arbeide med team i Oslo for dypere forståelse av nåværende produkt
er på eksisterende Facebook chat og vise med eksempler hva som fungerer og ikke fungerer
gir ikke eksakt svar på spørsmål men linker til høyere i hierarkiet
kvatitative og kvalitative undersøkelser samt benchmarking av system
TODO:
- Spørreundersøkelse etter chat i Facebook?
- Kvalitative intervju med personer etter bruk
- Analysere hvor mange som har tatt kontakt med kunderådgiver/fått fullstendige svar
- Se hvilke kategorier bot bommer mest på
- Undersøke server, hvor mye data den kan håndtere, trene opp på nytt
- Beskrivelse av dagens tekniske implementasjon
- Undersøke hvilke teknologier som kan være potensielle til bruk
- Bjørn gambeck, kontakt angående tidligere oppgaver og artiklerhttps://www.dn.no/grunder/2017/04/16/0844/Handel/her-er-56-sporsmal-dnbs-robot-kan-svare-pa