Project Robin- Dialog

Înțelegerea și sinteza limbajului natural pentru roboți asistivi
și interacțiunea cu mediul Robin-Dialog

Pe măsură ce tehnologiile inteligente și adaptive au devenit din ce în ce mai integrate în viața personală, este de așteptat ca roboții asistivi să devină adevărați parteneri și companioni ai utilizatorilor umani pe care îi servesc. Totuși, roboții de uz general nu sunt încă gata, dar observăm tehnologii emergente în viitorul apropiat care să ajute oamenii.
Daniel P. Siewiorek

Proiect Robin

Impreuna cu alte patru proiecte, Robin - Dialog este parte componenta a proiectului Robin

ROBIN-Social

Roboți sociali cognitivi pentru o societate digitală a viitorului, centrată pe utilizator

pagina ROBIN-Social

ROBIN-Car

Sisteme cognitive autoinstruibile pentru vehicule autonome

pagina ROBIN-Car

ROBIN-Context

Servicii inteligente, dependente de context, pentru personalizarea roboţilor şi conducere autonomă

pagina ROBIN-Context

ROBIN-Cloud

Platformă informatică distribuită pentru sisteme pervasive, în contextul sistemelor Cloud-Edge

pagina ROBIN-Cloud

Obiective:

Prin acest proiect ne propunem să dezvoltăm o serie de scenarii pentru câteva micro-lumi [1, 2] și tehnologia de prelucrare a limbii române pentru dialoguri situaționale în aceste micro-lumi. Această tehnologie va fi validată pe scenariile și micro-lumile cercetate, dar va fi dezvoltată în așa fel încât să poată fi aplicată cu ușurință și pe alte scenarii și/sau micro-lumi. Caracterul de generalitate va fi asigurat de metodele de învățare automată de tip ”deep learning” și de specificarea resurselor (e.g. baze de cunoștințe) în limbaje standard (e.g. XML/RDF) care vor asigura funcționarea sistemului în orice micro-lume și/sau scenariu, atâta timp cât datele de antrenare și resursele specifice vor fi disponibile pentru acestea.

Etape Robin-Dialog

Etapa 4-1: Specificarea sistemului ROBIN-Dialog și construirea lexicoanelor.

4-1-1: Definirea specificațiilor funcționale și arhitecturale ale modulelor software și micro-lumilor.

4-1-2: Construirea lexiconului/lexicoanelor de cuvinte și a expresiilor reprezentative pentru micro-lumea/lumile țintă.

4-1-3: Extensia automată a lexiconului/lexicoanelor creat(e) manual la 4-1-2. Extensia se va baza pe metode semantice moderne („continuous vector spaces”) exploatând cel mai mare corpus de limbă română contemporană (CoRoLA – corpus de referință de limbă română contemporană scrisă și vorbită), și, de asemenea, pe colecțiile de date puse la dispoziție de companiile care doresc transferul tehnologic al rezultatelor proiectului, dacă acestea există.

4-1-4: Validarea și corectarea lexiconului/lexicoanelor extins(e) în activitatea 4-1-3.

Etapa 4-2: Proiectarea și implementarea soluțiilor ROBIN-Dialog.

4-2-1: Crearea universului de discurs pentru micro-lumile și scenariile de interes.

4-2-2: Transcrierea fonetică a cuvintelor din lexiconul validat în activitatea 4-2-1 și alinierea cu semnalul vocal corespunzător. Această activitate va presupune și crearea înregistrărilor vocale pentru cuvinte pentru care nu există înregistrări în corpusul CoRoLA.

4-2-3: Sistemele de antrenare ASR și TTS vor fi alimentate cu rezultatele activității 4-2-2. Sistemele ASR si TTS vor fi testate și evaluate. În funcție de rezultatul evaluării, sistemele ASR sau TTS vor fi re-antrenate cu date noi și cu parametri modificați.

4-2-4: Integrarea soluțiilor de asistență robotică cu interfețe multimodale pentru interacțiunea cu roboții și comanda senzorilor ambientali – se vor utiliza și soluții din ROBIN-Social.

4-2-5: Implementarea prototipului generic de sistem de dialog cooperant (analiză morfo-lexicală și sintactică a comenzilor, dezambiguizarea automată, identificarea automată a predicatelor (verbul împreună cu argumentele sale) care exprimă comanda dată, construirea stivei de dialog și a strategiei de dialog, generarea comenzii către sistemul efectoriu, generarea de răspunsuri sau comentarii către utilizator).

4-2-6: Diseminarea, exploatarea și valorificarea rezultatelor prin publicații științifice. Organizarea unui seminar de lucru la sfârșitul primului an al proiectului ROBIN-Dialog. Realizarea site-ului proiectului ROBIN- Dialog și integrarea acestuia în site-ul proiectului complex.

Etapa 4-3: Implementarea use-case-urilor, oferirea de servicii robotice, validarea și rafinarea soluțiilor, testarea acceptanție, valorificarea ROBIN-Dialog.

4-3-1: Implementarea sistemului de dialog în limbaj natural pentru micro-lumea unui robot asistiv/teleprezență.

4-3-2: Implementarea sistemului de dialog în limbaj natural pentru micro-lumea unei case inteligente.

4-3-3: Implementarea sistemului de dialog în limbaj natural pentru asistenta soferului.

4-3-4: Definitivarea, testarea, validarea și împachetarea într-o soluție ready-to-use a modulului configurabil de dialog în limba română.

4-3-5: Diseminarea, exploatarea și valorificarea rezultatelor prin publicații științifice (elaborarea a minim 3 lucrări științifice la conferințe de prestigiu – A, A+ și/sau în reviste Q1 sau Q2) și 1 cerere de brevet; organizare Workshop2 proiect și participare la Workshop2 proiect complex și Brokerage Event.

Rapoarte

2018
Robin
RAPORT TEHNICO-ȘTIINȚIFIC

Rezumat: O primă etapă a cercetărilor noastre s-a referit la analiza literaturii de specialitate în privința sistemelor de dialog și a capabilităților incorporate ale robotului Pepper. De asemenea, s-a precizat noțiunea de micro-lume pentru care proiectul va implementa arhitectura funțională de prelucrare. Au fost definite specificații funcționale ale sistemului ...

citeste
2019
Robin

In curs de actualizare!

Publicații

A Bird’s-eye View of Language Processing Projects at Romanian Academy -- LREC

Autori: Dan Tufiș, Dan Cristea
Loctie: Miyazaki, Japan
pp. 2445-2451, ISBN 979-10-95546-00-9.

Extracting Actions from Romanian Instructions for IoT Devices. -- ConsILR

Autori: Nenciu, B., Ruseti, S., & Dascalu, M..
Jurnal: 13th Int. Conf. on Linguistic Resources and Tools for Processing Romanian Language
Editori: V. Pais, D. Gifu, D. Trandabat, D. Cristea & D. Tufis
Locație: Iasi, Romania
pp. 168–176.

Contact

Marele avantaj constă în posibilitățile de a anticipa intențiile partenerului uman, conținutul cel mai probabil al unei cereri sau comenzi, precum și de a formula solicitări inteligente de clarificare în condițiile insuficienței cunoștințelor pentru prelucrarea mesajului transmis.

Adresa

calea 13 Septembrie nr.13
Bucharest, Ro

Telefon

021 123 3456
0746 123 3457

E-mail

Fax: 021 123 3456
Email: robin@racai.ro