Møte 2018.03.01

  • Sikter på 14. april.
  • Background, State-of-the-Art
    • Hva er suksessraten til nåværende (regelbaserte, hardkodete) versjon?
      • Hvilken algoritme bruker den?
    • SVM, LR (LogRes) er mye brukt i naturlig samtale.
    • SotA: Hvilke algoritmer og suksessrater eksisterer allerede.

  • Metode

    • Oppsett for sammenligning,

      • TF-IDF, P, R, F-score, P@3

      • Kan systemet oppgi sin egen konfidens?

      • Statistikk/Konfidensintervall.

    • Hvilken algoritme bruker du?
    • Baseline: Hvor god er bot'en ift treff-rate på spørsmål
      • Q er relevant, A er treff/bom.
      • Q er relevant eller ikke, A er korrekt svar eller ikke.
      • Hvor mange Q/A-kategorier finnes?
        • 1500 linjer med potensielle spørsmål.
        • Hvor mange grupper? Hvilken gruppe er størst? Hvor stor prosent utgjør den av totalen.
      • Most frequent - baseline, nåværende system - baseline.
  • 100.000 linjer med spørsmål/svar (bot 60%, bruker 40%), 10-15% gir "kan ikke svare".
  • Skille mellom metodebeskrivelse nå, og resultatmåling i masteroppgaven.

Tentativ plan fremover:

Uke 1:

  • Sette opp messenger rammeverk for chatbot

  • Bestemme teknologier som skal brukes

  • Mål:

    • Programmering

      • Fullføre bot-oppsett med nåværende knowledge base

      • Strukturere loggdata for bruk

    • Skrivning

      • Kapittel 2 - beskrive chatbot oppsett

      • Bestemme resterende innhold - teknologier som skal undersøkes

Uke 2:

  • Hovedsakelig arbeid med chatbot og implementasjon av bestemte teknologier

  • Dokumentasjon av metodologi og background underveis

  • Ta utgangspunkt i faglitteratur

 

Uke 3:

  • Ferdigstille utvikling

  • Produsere grafer og tabeller over resultater

  • Skrive ferdig background og metodologi når utvikling er ferdig

    • Fortsette med skriving av dette i uke 4 om ikke ferdig

Uke 4:

  • Oppgaveskriving

    • Fullføre kapitler 1-5 (etter behov)

    • Resultater og konklusjon etter fullført

    • Ferdigstille oppgave

Uke 5:

  • Fullføre kapitler ikke ferdig

  • Lese korrektur - rette feil

  • Fullføre vedlegg og litteratruliste

  • Mulig klar til levering

Uke 6:

  • Korrektur og fullføre ikke ferdige kapitler om nødvendig

  • Levering av oppgave

Referat møte 2018.02.26

  • Mangler nok erfaring til å skrive god background
    • Metode
  • Har så langt bare gjort TDF-IF, etc.
  • Facebook API. La seg inspirere av hvordan DNB sin knowledge-base for facebook-boten virker.
  • Trenger tilbakemelding på planen. Skriver en grov skisse til torsdag.


Frist: 4. februar (Nei, ... men ...Når?)

Meeting 2018.09.01

Ingen identifiserbare data i chat-loggene.

Planlegger gå igjennom Introduction og Problembeskrivelses-kapitlene onsdag 17/1.

PSD2-direktivet sier at du kan dele all kundedata med tredje-part hvis du ønsker å bruke deres tjenester (betalings-agent, etc). API-bygging

https://www.dn.no/grunder/2017/04/16/0844/Handel/her-er-56-sporsmal-dnbs-robot-kan-svare-pa

Referat skype møte 2017.11.29:

  • Testet messenger bot (DNB facebook)
  • Fått tilbakemelding av Björn Gambäck
    • Tipset om Masimilliano Ruocco
  • Christoffer: reiser til Oslo i morgen 30.11 for møte med chatbot team
  • Plan fremover
    • Kvalitative intervju (utgår siden facebook boten MVP ikke skal brukes videre allikevel)
    • Arbeid med DNB chatbot team
    • Ferdigstille introduksjon og problembeskrivelse før jul

 

Beskrivelse av chatbot fra DNB

  • Facebook messenger chatbot er en MVP for å teste ut hva som var mulig å få til
  • Det arbeides med utvikling av en chatbot med API som kan brukes i flere applikasjoner
    • DNBs egne apper (Android, iOS)
    • Brukes i nettbank og på DNBs hjemmesider
    • Eventuelt brukes av tredjeparter (Apps f.eks.) gjennom APIer
  • Denne er ikke i produksjon da det fremdeles arbeides med kravspesifikasjon og bestemmes hvilke løsninger som skal benyttes
  • DNB arbeider med Artificial Solutions (Stockholm), men det er fremdeles manuell validering og kartlegging av intent som må til da det ikke er laget for læring ut over det som allerede er lagt inn
  • Ønsker fra DNB:
    • Identifisere intent ut i fra chatlogger og se hvor det er størst forbedringspotensiale for boten
    • Foreslå til agenter som driver manuell opplæring hva boten tror er intent, gjerne med hvor stor sikkerhet den tror den har funnet intent
    • Vil ikke at det skal være helt automatisk da det er ikke bra om bot gir feil svar, men en kombinasjon av unsupervised og supervised learning
  • Data:
    • Maskerte logger fra messenger bot, både bot og eventuell overgang til kunderådgiver
    • Maskerte logger fra chat i nettbank direkte med rådgiver
      • Kan brukes til å identifisere patterns på hva kunder spør mer/mindre om
  • Både bot og kunderådgiver har krav om å ikke hente ut eller gjøre noe med personlig data, alt som kan identifisere en kunde er fjernet fra loggene

Referat møte 2017.11.17

Spørsmål:
- Evaluere eksisterende eller forsøke nye teknologier?
- Krav til utviklingsarbeid
- Grunnleggende problemstilling
- Innhold til prosjektoppgave
- Hypoteser
- Resultater
- Avgrensning

Info fra dnb
    - Endelig rammeverk ikke satt
    - MVP i produksjon
    - morphological and syntactic analysis
    - nevrale nett for NLP
    - ikke detaljert informasjon om klassifisering algoritme
    - arbeide med team i Oslo for dypere forståelse av nåværende produkt

er på eksisterende Facebook chat og vise med eksempler hva som fungerer og ikke fungerer
gir ikke eksakt svar på spørsmål men linker til høyere i hierarkiet
kvatitative og kvalitative undersøkelser samt benchmarking av system

TODO:
    - Spørreundersøkelse etter chat i Facebook?
    - Kvalitative intervju med personer etter bruk
    - Analysere hvor mange som har tatt kontakt med kunderådgiver/fått fullstendige svar
    - Se hvilke kategorier bot bommer mest på
    - Undersøke server, hvor mye data den kan håndtere, trene opp på nytt
    - Beskrivelse av dagens tekniske implementasjon
    - Undersøke hvilke teknologier som kan være potensielle til bruk
    - Bjørn gambeck, kontakt angående tidligere oppgaver og artikler

 

  • No labels