Proiect ReTeRom

Proiect finanțat de Ministerul Cercetării și Inovării, Program PN-III-P1-1.2.-PCCDI, nr. 73/2018, durata: 2018-2020

COBILIRO TEPROLIN TADARAV SINTERO
This work was supported by a grant of the Romanian Ministry of Research and Innovation, CCCDI – UEFISCDI, project number PN-III-P1-1.2-PCCDI-2017-0818 - 73/2018 , within PNCDI III

Descriere COBILIRO

Denumire: Corpus bimodal pentru limba română adnotat pe multiple niveluri (COBILIRO)

Obiectivul general al acestui proiect este crearea unui tezaur cu resurse audio și textuale, adnotate pe diferite niveluri de realizare acustică, respectiv lingvistică, care să constituie cea mai importantă referință de acest tip pentru limba română.

Aplicabilitate: Resursele de date audio și text adnotate vor reprezenta fundamentul pentru dezvoltarea tehnologiilor de interfețe om mașină în limbaj natural în limba română:
Proiect 2 (TEPROLIN), Proiect 3 (TADARAV) și Proiect 4 (SINTERO).

Activitățile vor avea în vedere: inventarierea atentă a resurselor bimodale existente la parteneri; armonizarea formatelor de reprezentare, adnotare și metadate; proiectarea, realizarea și testarea infrastructurii care va găzdui resursele; dezvoltarea instrumentele de prelucrare și acces ale consorțiului; augmentarea corpusului voce-text, cu completarea lui cu metadate, alinieri și adnotări; efectuarea de studii statistice asupra corpusului, exploatarea pentru cercetare și producție, precum si larga diseminare a corpusului bimodal, valorizare și utilizare cecuri de tip A1, A2, B.

1.1. Studiu state-of-the-art asupra realizării corpusurilor bimodale

1.2. Inventarierea colecțiilor de date lingvistice românești disponibile la parteneri sau în terțe coaliții și a formatelor de stocare a acestora.

1.3. Proiectarea funcțională și arhitecturală a infrastructurii care va găzdui resursele și instrumentele de prelucrare și acces ale consorțiului și realizarea unui prototip

1.4. Diseminare.

2.1. Realizarea infrastructurii comune de calcul care va găzdui resursele și instrumentele de prelucrare și acces la corpusul bimodal

2.2. Proiectarea de soluții de armonizare a reprezentărilor colecțiilor existente text/vorbire (metadate și adnotări)

2.3. Realizarea de convertoare de format pentru armonizarea diferitelor reprezentări ale partenerilor la reprezentarea standard agreată în consorțiu

2.4. Armonizarea colecțiilor existente

2.5. Diseminare

3.1. Augmentarea corpusului vocal prin noi înregistrări vocale care dublează texte existente în corpusul CoRoLa

3.2. Augmentarea corpusului voce-text: completare de metadate, alinieri prin rularea algoritmilor dezvoltați în proiectele P2, P3 și P4 și adnotări manuale și semiautomate la corpusul voce/text

3.3. Realizarea de statistici privind corpusul bimodal voce/text

3.4. Proiectare de aplicații de exploatare a corpusului bimodal și a tehnologiilor de prelucrări textuale și voce, create în proiectele P2, P3, P4.

3.5. Management și diseminare.

4.1. Alte aplicatii de exploatare a corpusului bimodal si a tehnologiilor de prelucrari textuale si de voce create in Pr. 2, Pr. 3 si Pr. 4

4.2. Diseminarea corpusului bimodal

Descriere TEPROLIN

Denumire: Tehnologii pentru procesarea limbajului natural - text (TEPROLIN)

Obiectivul general al acestul proiect este dezvoltarea unui set de tehnologii avansate pentru procesarea limbajului natural (text) în limba română: analiza morfologică, sintactică și semantică a textelor, cu adnotarea textului colectat în Proiectul 1 (COBILIRO) pe diferite nivele lingvistice (fonem, silabă, lemă, parte de vorbire, etc).

Aplicabilitate: Aceste tehnologii vor fi aplicate în sisteme de procesare și interpretare automată a textelor în limba română, în crearea modelelor de limbaj pentru interfețele de recunoaștere a vorbirii, respectiv în procesarea textului pentru realizarea interfețelor de sinteză din text a vorbirii.

Activitățile vor avea în vedere: Inventarierea atentă a producerea unei tehnologii integrate pentru procesarea limbajului natural în limba română, procesarea și adnotarea pe diferite niveluri lingvistice a corpusului bimodal generat în cadrul Proeictului 1 COBILIRO, evaluarea sistemelor de recunoaștere a vorbirii (Proiect 3, TADARAV) și de sinteză din text a vorbirii (Proiect 4, SINTERO) antrenate cu corpusul bimodal din Proiectul 1 COBILIRO. Valorizare și utilizare cecuri de tip A1, A2, B.

1.5. Definirea specificațiilor funcționale și arhitecturale ale platformei integrate și configurabile de prelucrare a textelor

1.6. Definirea modulelor software și a serviciilor oferite de proiect; identificarea adaptărilor pentru modulele NLP existente și a modulelor noi necesare

1.7. Realizarea adaptărilor necesare pentru modulele NLP existente, identificate în activitățile 1.5 și 1.6

1.8. Crearea și validarea (eventual cu corectările manuale necesare) a unui lexicon specific corpusului bimodal și încorporarea sa în lexiconul existent

1.9. Diseminare

2.6. Implementarea modulelor noi identificate anterior în conformitate cu specificațiile funcționale definite

2.7. Transcrierea fonetică a cuvintelor din lexiconul validat

2.8. Implementarea prototipului de platformă integrată și configurabilă, testarea, evaluarea si validarea prototipului

2.9. Prelucrare părții textuale a corpusului bimodal colectat în proiectul 1. Validarea și corectarea (dacă este necesară) a erorilor de prelucrare

2.10. Diseminare

3.6. Analiza erorilor sistemelor ASR și TTS antrenate în proiectele 3 și 4 pe corpusul bimodal agregat în proiectul 1, adnotat și corectat

3.7. Definitivarea, testarea, validarea și împachetarea într-o soluție „ready-to-use” a platformei integrate și configurabile de prelucrare a textelor în limba română

3.8. Diseminarea rezultatelor proiectului component TEPROLIN

4.3. Testarea pe noi corpusuri a platformei dockerizate Teprolin

4.4. Diseminarea platformei dockerizate Teprolin

Descriere TADARAV

Denumire: Tehnologii pentru adnotarea automată a datelor audio şi pentru realizarea interfeţelor de recunoaştere automată a vorbirii (TADARAV)

Obiectivul general al acestui proiect este dezvoltarea unui set de tehnologii avansate pentru adnotarea fonetică automată a semnalului vocal colectat în corpusul din Proiectul 1 COBILIRO, respectiv pentru realizarea interfețelor de recunoaștere automată a vorbirii în limba română folosind modelele lingvistice generate în Proiect 2 TEPROLIN.

Aplicabilitate: Aceste tehnologii vor fi aplicate în sisteme de recunoaștere automată a vorbirii, respectiv în segmentarea și adnotarea automată a semnalului vocal necesara în Proiectul P4 Expressive TTS.

Activitățile vor avea în vedere: Inventarierea atentă a elaborarea metodelor de adnotare fonetică automată a semnalului vocal folosind sisteme de RAV complementare, proiectarea și implementarea metodelor de filtrare și aliniere a estimărilor de transcriere, elaborarea și implementarea algoritmilor de generare a scorului de încredere, livrarea unei tehnologii de RAV și transcriere automată bazată pe scoruri de încredere. valorizarea și utilizarea cecurilor de tip A1, A2, B.

1.10. Studiul metodelor din literatură privind utilizarea sistemelor de RAV complementare pentru generarea automată de adnotari

1.11. Studiul metodelor din literatura pentru alinierea transcrierilor aproximative cu semnalul de vorbire

1.12. Studiul metodelor din literatura pentru generarea scorurilor de incredere (SI) pentru recunoasterea automata a vorbirii (RAV)

1.13. Proiectarea și implementarea unei soluții de bază de adnotare automată a semnalului de vorbire utilizând sisteme de RAV complementare

1.14. Diseminare

2.11. Proiectarea și implementarea unei soluții de bază de filtrare și aliniere a transcrierilor aproximative cu semnalul de vorbire

2.12. Proiectarea și implementarea unei soluții de bază pentru generarea de scoruri de încredere pentru RAV

2.13. Îmbunătățirea soluției de adnotare automată a semnalului de vorbire utilizând sisteme de RAV complementare

2.14. Diseminare

3.9. Raport de analiză a impactului utilizării de RAV complementare pentru generarea de adnotări în contextul îmbunătățirii sistemelor de RAV

3.10. Diseminare

3.11. Diseminare

3.12. Raport de analiză a impactului utilizării transcrierilor aproximative în vederea reantrenării sistemelor de RAV

3.13. Raport de analiză a impactului utilizării scorurilor de încredere pentru filtrarea transcrierilor RAV în vederea reantrenării sistemelor RAV

3.14 Diseminare

4.5. Management si diseminare

Descriere SINTERO

Denumire: Tehnologii de realizare a interfețelor om-mașină pentru sinteza text-vorbire cu expresivitate (SINTERO)

Obiectivul general al acestul proiect este dezvoltarea unei tehnologii avansate pentru sinteza text vorbire de înaltă calitate si expresivitate în limba română pe baza resurselor colectate in Proiectul 1 COBILIRO si a adnotarilor automate generate în Proiectul 2 TEPROLIN (text) și Proiectul 3 TADARAV (audio).

Aplicabilitate: Această tehnologie va fi aplicată pentru sinteza text vorbire în limba română, pentru generarea de noi voci sintetizate, respectiv pentru adaptarea unor aplicații dependente de stillul și expresivitatea în vorbire (de ex. știri TV, discurs oratoric, voci cu emotivitate).

Activitățile vor avea în vedere: Inventarierea atentă a dezvoltarea metodelor de modelare și control a expresivității în sistemele de sinteză text-vorbire, implementarea componentelor pentru modelarea prozodiei și adaptarea la noi vorbitori a vocilor sintetizate, dezvoltarea unei noi tehnologii pentru realizarea interfețelor de sinteză text vorbire cu expresivitate. Valorizare și utilizare cecuri de tip A1, A2, B.

1.15. Identificarea pattern-urilor prozodice; evidențierea corelațiilor între text (morfologie, sintaxă) si semnal vocal

1.16. Identificarea metodelor de recunoaștere și clasificare automată a stilului de exprimare în surse de date text

1.17. Analiza metodelor de control și adaptare automată a expresivității vorbitorilor în sistemele de sinteză text-vorbire

1.18. Implementarea modulului de control automat al prozodiei

1.19. Diseminare

2.15. Implementarea modulului de identificare a stilului de vorbire și nivelului de expresivitate din analiza textului

2.16. Implementarea unui modul de adaptare la un nou vorbitor a sistemului de sinteză

2.17. Implementarea unui modul de transplantare a prozodiei unui vorbitor în sistemul de sinteză

2.18. Îmbunătățirea componentei de modelare și control al prozodiei; activități de testare, validare/demonstrare module software

2.19. Diseminare

3.15. Dezvoltarea unei noi tehnologii pentru adaptarea vocii sintetice la stilul și expresivitatea unui nou vorbitor

3.16. Dezvoltarea unei noi metode de adaptare rapidă a vocii sintetice folosind date audio atipice

3.17. Integrare tehnologie nouă și demonstrarea în realizarea interfețelor om-mașină pentru sinteza text – vorbire.

3.18. Diseminare

4.6. Evaluare și distribuție finală tehnologii dezvoltate in Proiectul 4

4.7. Diseminare rezultate pe anul 2021

rapoarte si publicatii

  • Raport Tehnico-Științific
    ReTeRom faza 2018.

  • TADARAV
    Sisteme complementare de recunoaștere automată a vorbirii.

  • TADARAV
    Estimarea scorurilor de încredere pentru sistemele de recunoaștere automată a vorbirii.

  • TADARAV
    Alinierea transcrierilor aproximative cu semnalul de vorbire.

  • SINTERO
    Identificarea pattern-urilor prozodice și evidențierea corelațiilor între text și semnal vocal.

  • SINTERO
    Identificarea metodelor de clasificare automată a stilului de exprimare din surse de date text și audio.

  • SINTERO
    Analiza metodelor de control și adaptare automată a expresivității vorbitorilor în sistemele de sinteză text-vorbire.

  • SINTERO
    Implementarea modulului de control automat al prozodiei.

  • 1.1

    COBILIRO:
    Studiu state-of-the-art asupra realizării corpusurilor bimodale.

  • 1.2

    COBILIRO:
    Inventarierea colecțiilor de date lingvistice românești disponibile.

  • 1.3

    COBILIRO:
    Proiectarea funcțională și arhitecturală a infrastructurii care va găzdui resursele și instrumentele de prelucrare și acces ale consorțiului și realizarea unui prototip.

  • 1.4

    DISEMINARE
    Diseminare și participare la manifestări tehnico-științifice, inclusiv în mass-media.

  • 1.5

    TEPROLIN:
    Definirea specificațiilor funcționale și arhitecturale ale platformei integrate și configurabile de prelucrare a textelor.

  • 1.6

    TEPROLIN:
    Definirea modulelor software și a serviciilor oferite de proiect; identificarea adaptărilor pentru modulele NLP existente și a modulelor noi necesare.

  • 1.8

    TEPROLIN:
    Crearea și validarea (eventual cu corectările manuale necesare) a unui lexicon specific corpusului bimodal și încorporarea sa în lexiconul deja existent

  • 1.9

    ICIA:
    Realizare pagina web.

  • 2.1

    COBILIRO:
    Realizarea infrastructurii comune de calcul care va găzdui resursele și instrumentele de prelucrare și acces la corpusul bimodal.

  • 2.2

    COBILIRO:
    Raport asupra soluțiilor de armonizare a reprezentărilor colecțiilor existente text /vorbire (metadate și adnotări).

  • 2.3

    COBILIRO:
    Realizarea de convertoare de format pentru armonizarea diferitelor reprezentări ale partenerilor la reprezentarea standard agreată în consorțiu.

  • 2.4

    COBILIRO:
    Armonizarea colecțiilor existente (la sfârșitul celui de-al doilea an, colecțiile partenerilor trebuie să se găsească pe platforma nou creată și să fie disponibile acolo).

  • 2.5

    COBILIRO:
    Activități suport -Diseminare și participare la manifestări tehnico-științifice, inclusiv în mass-media.

  • 2.6

    TEPROLIN:
    Raport asupra implementării modulelor NLP noi.

  • 2.7

    TEPROLIN:
    Transcrierea fonetică a cuvintelor din lexiconul validat.

  • 2.8

    TEPROLIN:
    Implementarea prototipului de platformă integrată și configurabilă, testarea, evaluarea și validarea prototipului.

  • TADARAV:
    Act 2.11 - Proiectarea şi implementarea unei soluţii de bază de filtrare și aliniere a transcrierilor aproximative cu semnalul de vorbire
    Act 2.12 - Proiectarea şi implementarea unei soluţii de bază pentru generarea de scoruri de încredere pentru RAV
    Act 2.13 - Îmbunătăţirea soluţiei de adnotare automată a semnalului de vorbire utilizând sisteme de RAV complementare
    Act 2.14 - Diseminare

  • TEPROLIN:
    Prelucrarea părții textuale a corpusului bimodal colectat în proiectul 1. Validarea și corectarea (dacă este necesară) a erorilor de prelucrare.

  • SINTERO:
    Implementarea modulului de identificare a stilului de vorbire și nivelului de expresivitate din analiza textului.

  • SINTERO:
    Implementarea unui modul de adaptare la un nou vorbitor a sistemului de sinteză.

  • SINTERO:
    Implementarea unui modul de transplantare a prozodiei unui vorbitor în sistemului de sinteză.

  • SINTERO:
    Îmbunătățirea componentei de modelare și control al prozodiei; activități de testare, validare / demonstrare module software.

  • SINTERO:
    Diseminare.

  • Raport Tehnico-Științific
    ReTeRom faza 2019.

  • TEPROLIN:
    Diseminări.

  • Manifestări organizate de
    proiectul ReTeRom

  • TEPROLIN:
    Diseminări.

  • Manifestări organizate de
    proiectul ReTeRom

  • TEPROLIN:
    Romanian Portal of Language Technologies.

  • Raport științific - tehnic
    (2018 - septembrie 2020)

  • 3.1

    COBILIRO:
    Augmentarea corpusului vocal prin noi înregistrări vocale care dublează texte existente în corpusul CoRoLa

  • 3.2

    COBILIRO:
    Activitate 3.2 - Augmentarea corpusului voce-text: completare de metadate, alinieri prin rularea algoritmilor dezvoltați în proiectele P2, P3 și P4 și adnotări manuale și semiautomate la corpusul voce/text

  • 3.3

    COBILIRO:
    Realizarea de statistici privind corpusul bimodal voce/text

  • 3.4

    COBILIRO:
    Proiectare de aplicații de exploatare a corpusului bimodal și a tehnologiilor de prelucrări textuale și voce, create în proiectele P2, P3, P4.

  • 3.5

    COBILIRO:
    Management și diseminare

  • 3.6

    TEPROLIN:
    Analiza erorilor sistemelor ASR și TTS antrenate în proiectele 3 și 4 pe corpusul bimodal agregat în proiectul 1, adnotat și corectat

  • 3.7

    TEPROLIN:
    Definitivarea, testarea, validarea și împachetarea într-o soluție „ready-to-use” a platformei integrate și configurabile de prelucrare a textelor în limba română

  • 3.8

    TEPROLIN:
    Diseminare

  • 3.9

    TADARAV:
    Raport de analiză a impactului utilizării de RAV complementare pentru generarea de adnotări în contextul îmbunătățirii sistemelor de RAV

  • TADARAV:
    Raport de analiză a impactului utilizării transcrierilor aproximative în vederea reantrenării sistemelor de RAV

  • TADARAV:
    Raport de analiză a impactului utilizării scorurilor de încredere pentru filtrarea transcrierilor RAV în vederea reantrenării sistemelor RAV

  • TADARAV:
    Diseminare

  • SINTERO:
    Dezvoltarea unei noi tehnologii pentru adaptarea vocii sintetice la stilul și expresivitatea unui nou vorbitor

  • SINTERO:
    Dezvoltarea unei noi metode de adaptare rapidă a vocii sintetice folosind date audio atipice

  • SINTERO:
    Integrare tehnologie nouă și demonstrarea în realizarea interfețelor om-mașină pentru sinteza text – vorbire.

  • SINTERO:
    Diseminare

  • Raport ştiinţific şi tehnic Etapa a III-a
    Resurse şi tehnologii pentru dezvoltarea interfeţelor om-maşină în limba română.

  • Workshop pentru faza finala

  • COBILIRO:
    Alte aplicatii de exploatare a corpusului bimodal si a tehnologiilor de prelucrari textuale si de voce create in Pr. 2, Pr. 3 si Pr. 4" de la Descriere si sa ii creezi locul lui la sectiunea Rapoarte, la proiectul COBILIRO

  • COBILIRO:
    Diseminarea corpusului bimodal

  • TEPROLIN:
    Testarea pe noi corpusuri a platformei dockerizate Teprolin

  • 4.6

    SINTERO:
    Evaluare și distribuție finală tehnologii dezvoltate in Proiectul 4

  • SINTERO:
    Diseminare rezultate pe anul 2021

Echipa de proiect

Acad. Dan TUFIȘ

Dr. Verginica BARBU MITITELU

Dr. Radu ION

Dr. Elena IRIMIA

Eric Curea

prof. Corneliu BURILEANU

prof. Dragoș BURILEANU

dr. Horia CUCU

dr. Dan ONEAȚĂ

Dan Cristea

Anca Bibiri

Daniela Gifu

Mihaela Onofrei

Ionuț Pistol

Andrei Scutelnicu

Diana Trandabat

prof. Mircea GIURGIU

dr. Adriana STAN