1.1. Studiu state-of-the-art asupra realizării corpusurilor bimodale

1.2. Inventarierea colecțiilor de date lingvistice românești disponibile la parteneri sau în terțe coaliții și a formatelor de stocare a acestora.

1.3. Proiectarea funcțională și arhitecturală a infrastructurii care va găzdui resursele și instrumentele de prelucrare și acces ale consorțiului și realizarea unui prototip

1.4. Diseminare.

2.1. Realizarea infrastructurii comune de calcul care va găzdui resursele și instrumentele de prelucrare și acces la corpusul bimodal

2.2. Proiectarea de soluții de armonizare a reprezentărilor colecțiilor existente text/vorbire (metadate și adnotări)

2.3. Realizarea de convertoare de format pentru armonizarea diferitelor reprezentări ale partenerilor la reprezentarea standard agreată în consorțiu

2.4. Armonizarea colecțiilor existente

2.5. Diseminare

3.1. Augmentarea corpusului vocal prin noi înregistrări vocale care dublează texte existente în corpusul CoRoLa

3.2. Augmentarea corpusului voce-text: completare de metadate, alinieri prin rularea algoritmilor dezvoltați în proiectele P2, P3 și P4 și adnotări manuale și semiautomate la corpusul voce/text

3.3. Realizarea de statistici privind corpusul bimodal voce/text

3.4. Proiectare de aplicații de exploatare a corpusului bimodal și a tehnologiilor de prelucrări textuale și voce, create în proiectele P2, P3, P4.

3.5. Management și diseminare.

4.1. Alte aplicatii de exploatare a corpusului bimodal si a tehnologiilor de prelucrari textuale si de voce create in Pr. 2, Pr. 3 si Pr. 4

4.2. Diseminarea corpusului bimodal

1.5. Definirea specificațiilor funcționale și arhitecturale ale platformei integrate și configurabile de prelucrare a textelor

1.6. Definirea modulelor software și a serviciilor oferite de proiect; identificarea adaptărilor pentru modulele NLP existente și a modulelor noi necesare

1.7. Realizarea adaptărilor necesare pentru modulele NLP existente, identificate în activitățile 1.5 și 1.6

1.8. Crearea și validarea (eventual cu corectările manuale necesare) a unui lexicon specific corpusului bimodal și încorporarea sa în lexiconul existent

1.9. Diseminare

2.6. Implementarea modulelor noi identificate anterior în conformitate cu specificațiile funcționale definite

2.7. Transcrierea fonetică a cuvintelor din lexiconul validat

2.8. Implementarea prototipului de platformă integrată și configurabilă, testarea, evaluarea si validarea prototipului

2.9. Prelucrare părții textuale a corpusului bimodal colectat în proiectul 1. Validarea și corectarea (dacă este necesară) a erorilor de prelucrare

2.10. Diseminare

3.6. Analiza erorilor sistemelor ASR și TTS antrenate în proiectele 3 și 4 pe corpusul bimodal agregat în proiectul 1, adnotat și corectat

3.7. Definitivarea, testarea, validarea și împachetarea într-o soluție „ready-to-use” a platformei integrate și configurabile de prelucrare a textelor în limba română

3.8. Diseminarea rezultatelor proiectului component TEPROLIN

4.3. Testarea pe noi corpusuri a platformei dockerizate Teprolin

4.4. Diseminarea platformei dockerizate Teprolin

1.10. Studiul metodelor din literatură privind utilizarea sistemelor de RAV complementare pentru generarea automată de adnotari

1.11. Studiul metodelor din literatura pentru alinierea transcrierilor aproximative cu semnalul de vorbire

1.12. Studiul metodelor din literatura pentru generarea scorurilor de incredere (SI) pentru recunoasterea automata a vorbirii (RAV)

1.13. Proiectarea și implementarea unei soluții de bază de adnotare automată a semnalului de vorbire utilizând sisteme de RAV complementare

1.14. Diseminare

2.11. Proiectarea și implementarea unei soluții de bază de filtrare și aliniere a transcrierilor aproximative cu semnalul de vorbire

2.12. Proiectarea și implementarea unei soluții de bază pentru generarea de scoruri de încredere pentru RAV

2.13. Îmbunătățirea soluției de adnotare automată a semnalului de vorbire utilizând sisteme de RAV complementare

2.14. Diseminare

3.9. Raport de analiză a impactului utilizării de RAV complementare pentru generarea de adnotări în contextul îmbunătățirii sistemelor de RAV

3.10. Diseminare

3.11. Diseminare

3.12. Raport de analiză a impactului utilizării transcrierilor aproximative în vederea reantrenării sistemelor de RAV

3.13. Raport de analiză a impactului utilizării scorurilor de încredere pentru filtrarea transcrierilor RAV în vederea reantrenării sistemelor RAV

3.14 Diseminare

4.5. Management si diseminare

1.15. Identificarea pattern-urilor prozodice; evidențierea corelațiilor între text (morfologie, sintaxă) si semnal vocal

1.16. Identificarea metodelor de recunoaștere și clasificare automată a stilului de exprimare în surse de date text

1.17. Analiza metodelor de control și adaptare automată a expresivității vorbitorilor în sistemele de sinteză text-vorbire

1.18. Implementarea modulului de control automat al prozodiei

1.19. Diseminare

2.15. Implementarea modulului de identificare a stilului de vorbire și nivelului de expresivitate din analiza textului

2.16. Implementarea unui modul de adaptare la un nou vorbitor a sistemului de sinteză

2.17. Implementarea unui modul de transplantare a prozodiei unui vorbitor în sistemul de sinteză

2.18. Îmbunătățirea componentei de modelare și control al prozodiei; activități de testare, validare/demonstrare module software

2.19. Diseminare

3.15. Dezvoltarea unei noi tehnologii pentru adaptarea vocii sintetice la stilul și expresivitatea unui nou vorbitor

3.16. Dezvoltarea unei noi metode de adaptare rapidă a vocii sintetice folosind date audio atipice

3.17. Integrare tehnologie nouă și demonstrarea în realizarea interfețelor om-mașină pentru sinteza text – vorbire.

3.18. Diseminare

4.6. Evaluare și distribuție finală tehnologii dezvoltate in Proiectul 4

4.7. Diseminare rezultate pe anul 2021