• «La Orden Carlos J. Finlay llega hasta el País Vasco» Trabajadores, Labañino, Arleen. (2023-02-16).
•  Condecoran hoy con la Orden Carlos J. Finlay a cubanos y extranjeros (+Fotos). Agencia Cubana de Noticias. Luben Pérez, Lino; Dìaz Caballero, Yury. (2023-02-16).
• «Orden “Carlos J. Finlay” a oficiales, trabajadores, profesores extranjeros e instituciones.» Gaceta Oficial de la República de Cuba (MINISTERIO DE JUSTICIA ISSN 1682-7511Información en este número Gaceta Oficial No. 2 Ext. Especial de 19 de enero de 2023).
• 2021; Ixa Taldeari esker ona Cubatik (CLA zentroak 50 urte)
• 2019: Vitelio Ruiz lankide kubatarra hil zaigu
• 2015: Eloína Miyares lankide kubatarra hil zaigu
• 2011: Santiago de Cubako Centro de Lingüística Aplicada-k 40 urte
• 2010: XML teknologiaren erabilera hiztegigintzan: Diccionario Básico Escolar

LINGUATEC proiektua ekainean bukatu zen. Emaitza oparoak lortu ditugu, 20 produktu aurkeztu genituen Bruselako META-FORUMean (2021-11-15). Geroago Udaberrian hainbat ekitaldi antolatuko genituen enpresei proiektuaren emaitzak aurkezteko.

• 2021/02/23 Pau, Emaitzak aurkeztea
• 2021/04/13 Jaca, Emaitzak aurkeztea eta erakusketa-tailerrak
  Jacan Aragoiko enpresek sinatu zuten hitzarmen bat
• 2021/06/17 Donostia/Baiona: Emaitzak aurkeztea eta erakusketa-tailerrak
  Pauen Okzitaniako enpresek sinatu zuten  hitzarmen bat
• 2021/06/18 Donostia: LINGUATEC kongresua. Erakusketa-tailerrak
  Donostian euskal enpresek sinatu zuten hitzarmen bat eta Linguatec AI Bikaintasun-Sarea sortu genuen (2021-06-18)

Proiektuko emaitzak zabaltzen urrats berri bat egin dugu. Jacan 2022ko urtarrilaren 20an Linguatec Proiektuak lankidetza-hitzarmen bat sinatu du lau unibertsitaterekin: Euskal Herriko Unibertsitatea, Zaragozako Unibertsitatea, Paueko eta Aturrialdeko Unibertsitatea, eta  Nafarroako Unibertsitate Publikoa. POCTEFA proiektuen arduraduna ere egon da sinatze-ekitaldian.

• Hitzarmen horri esker, euskararentzat, aragoierarentzat eta okzitanierarentzat EFA 227/16/LINGUATEC proiektuan garatutako tresna eta aplikazio teknologikoak erabili eta inplementatu ahal izango dituzte unibertsitateek.
• Lankidetza-hitzarmenak lau urteko iraupena izango du, eta sinatu duten erakundeek elkarlanean aritzeko konpromisoa hartu dute, adimen artifizialaren esparruan euskara, okzitaniera eta aragoierarentzako proiektu teknologikoak garatzeko.

Hitzarmen hau beste urrats estrategiko bat da mugaz gaindiko azpiegitura linguistiko inklusibo, eleaniztun eta adimendun baten eraikuntza zientifiko-teknologikorako.

Albisteak:

• Europapress: Hizkuntzan adimen artifiziala sustatzeko lankidetza hitzarmena sinatu dute Elhuyarrek eta lau unibertsitate publikok
• EHU Campus: Zaragozako, Paueko eta Euskal Herriko unibertsitateek eta Nafarroako Unibertsitate Publikoak hizkuntzan adimen artifiziala sustatuko dute Elhuyarrekin
• Elhuyar: Lankidetza-hitzarmen bat sinatu dute Zaragozako, Paueko eta Euskal Herriko unibertsitateek eta Nafarroako Unibertsitate Publikoak Elhuyarrekin, hizkuntzan adimen artifiziala sustatzeko

Irakurri albistea sei hizkuntzatan: eu, es, ca, gl, fr, en 

Bukatu da aurten LINGUATEC proiektu europarra. Proeiktuaren xedea okzitanieraren, aragoieraren eta euskararen digitalizazio-maila hobetzea izan da, eta neurri handi batean lortu dugu helburua.

• 2021eko maiatzeko workshopean emaitza zientifikoak konpartitu genituen komunitate akademikoarekin,
• Ekaineko biltzar publikoan Linguatec AI Bikaintasun-Sarea sortu genuen proiektuko kideen artean, 2018-2021 urteetan egin dugun lankidetza-lan eredugarriari jarraipena emateko.
  

Sare berria sortzeko adierazpena lau hizkuntzatan idatzi genuen (espainieraz, frantsesez, okzitanieraz eta euskaraz, LINGUATEC-AI_ES-EU-FR-OC.pdf). Hau da euskarazko bertsioa:

LINGUATEC AI BIKAINTASUN-SAREA

Adimen Artifiziala Hizkuntzan Mugaz Gaindiko Bikaintasun Sarea eratzea (Pirinioez gaindiko hizkuntza-azpiegitura eraikitzeko lankidetza teknologikoa)

Pirinioetako Lan Elkartearen lurraldea eraikitzen ari diren mugaz gaindiko proiektua da, eta 15 milioi herritarrek baino gehiagok partekatzen dituzte 6 hizkuntza eta horien tokiko barietateak. Eleaniztasuna gure lurraldeko aktiborik handienetako bat da, eta erronka garrantzitsuenetako bat ere bada, kulturaren eta ekonomiaren ikuspegitik kohesionatutako lurralde bat sortzeko. Gauza bera gertatzen da Europan, non hogeita lau hizkuntza ofizial eta 60 hizkuntza gutxitu baino gehiago osatzen duten eremu eleaniztun aberatsa baita; garai batean, eleaniztasuna komunikazioa eta informazioaren zirkulazio librea zailtzen zituzten hizkuntza-oztopo gisa ikusi ziren.

Adimen artifiziala hizkuntza eguneroko produktu digital askotan erabiltzen da, gehienak hizkuntzaz baliatzen baitira. Komunikazio mugikorrek, sare sozialek, laguntzaile adimendunek eta ahotsean oinarritutako interfazeek herritarrak, enpresak eta administrazio publikoak mundu digitalean elkarreraginean aritzeko modua aldatzen ari dira

Hizkuntza-teknologiek eraginkortasunez laguntzen dute Europako herritar guztien (eta Pirinioetako Lan Elkartearen lurraldearen) arteko berdintasuna lortzen eguneroko bizitzan, edozein dela ere hitz egiten duten hizkuntza. Nahiz eta hizkuntza gutxituek asko duten irabazteko hizkuntza-teknologiekin, egoera teknologiko ahula dute abiapuntu; izan ere, hizkuntza horiek digitalki garatzeko behar diren tresna eta baliabideak oso urriak dira, eta, kasu batzuetan, ez dira existitzen. 2018ko irailaren 11n Europako Parlamentuak onartutako ebazpenean (“On language equality in the digital age” 2018/2028(INI)) argiki egiaztatu du Europako hizkuntzen artean desoreka dagoela hizkuntzaren teknologien barruan, eta ekintzarako deia egin du, hizkuntzen arteko arrakala horiek lehenbailehen gainditzeko.

Hizkuntza baten garapena, eta beraz, hizkuntza horretatik elikatzen den kultura, erabat loturik dago hizkuntza horrek ingurune moderno eta aldakorretan, hala nola mundu digitalean funtzionatzeko duen gaitasunarekin. Hala, hizkuntza- eta kultura-aniztasuna estu lotuta dago mundu digitalean hizkuntza batek dituen gaitasun eta baliabideekin, hau da, gure kasuan mugaz gaindiko hizkuntza-azpiegitura sortzearekin. Hori dela eta, oso garrantzitsua da hizkuntza-oztopoak gainditzea eta, hartara, Pirinioetako Lan Elkartearen lurraldeko hizkuntzak indartzea, lurraldeak duen balio ekonomiko, kultural eta linguistikoa osorik bultzatu ahal izateko.

Lurraldeko hizkuntza guztientzat euskarri teknologiko egokia bermatzeak enplegua sortuko dugu, hazkuntza, aukerak, kulturarteko harremanak eta nazioarteko erreferentzialtasuna.

Era berean, funtsezkoa da ingurune digitaleko hizkuntza-oztopoak gainditzea, funtsezkoa baita gizarte inklusiborako eta aniztasunari batasuna eta kohesioa emateko urte askoan.

Linguatec AI Bikaintasun Sarearen xedea

Adimen Artifiziala Hizkuntza Mugaz Gaindiko Bikaintasun Sarea sortzea, lankidetza teknologikoaren bidez Pirinioez gaindiko hizkuntza-azpiegitura eraikitzen laguntzeko.

Helburuak

1. LINGUATEC bezalako mugaz gaindiko proiektuen beharra balioan jarri eta transmititzea, gure lurraldearen aberastasun eleaniztunak balio ekonomiko, turistiko eta kulturala sortzen baitu. Hau da, hizkuntza-hesia gainditzea eta ahaleginak batzea gure kultura- eta hizkuntza-aberastasuna motor ekonomiko gisa aprobetxatzeko.

2. Agenda estrategiko baten oinarriak eta ibilbide-orri bat ezartzea, hizkuntza-berdintasun digitala errealitate izan dadin Pirinioetako Lan Elkartearen lurraldean 2030ean.

3. Euskararen, katalanaren, aragoieraren eta okzitanieraren arteko lankidetza estua abiaraztea, guztiek oinarri teknologiko nahikoa izan dezaten, eta, hartara, pertsona bakoitzak bere hizkuntzan eroso parte har dezan mundu digitalean.

4. Adimen artifizialak hizkuntza eskaintzen dizkigun aukerak eta ahalmenak gizarteratzea, lurralde kohesionatua, integratzailea, eleaniztuna eta adimenduna lortzeko.

5. Adimen artifizialean azken belaunaldiko ezagutza eta teknologia sortzea, enpresek, erakundeek eta gizarte-erakundeek teknologiaren ahalmena aprobetxa dezaten Pirinioetako Lan Elkartearen lurraldearen garapen ekonomiko, sozial eta instituzionalerako.

6. Beste lurralde eleaniztun batzuetan, Europan zein mundu osoan, Pirinioetako Lan Elkartearen lurraldean lortutako lorpenak zabaltzea, esperientzia, prestakuntza, aholkularitza eta teknologia eskainiz.

7. Pirinioetako Lan Elkartearen lurraldea erreferentzia garrantzitsu bihurtzea hizkuntza-teknologietan baliabide urriak dituzten hizkuntzentzat eta haren garapen digitalean aurrera egin nahi duten hizkuntzentzat.

Bukatzen da. Okzitanieraren, aragoieraren eta euskararen  digitalizazio-maila hobetzea izan da LINGUATEC proiektu europarraren helburua. 2021eko maiatzaren 12an workshop batean konpartitu genuen komunitate akademikoarekin. Orain gizarte osoari gonbitea luzatzen diogu.

Ezagutu nahi dituzu Linguatec proiektuan sortu ditugun tresnak eta baliabideak?

Ostegunean, ekainak 17, Pauen
eta ostiralean, ekainak 18, Donostian.

Interesa duten guztientzat, proiektuaren barruan egindako lana zabaltzeko.
Biltzarra jende guztiarentzat dago irekita, baina erregistratu egin behar da (MATRIKULATU)

Informazio gehiago: https://www.uik.eus/sites/default/files/linguatec_eu_-_0806202

MUGAZ GAINDIKO BILTZARRA
Adimen artifiziala eta mugaz gaindiko lankidetza: azpiegitura linguistiko, adimendun eta irisgarri baten bidean

Ekainaren 17a, Paue.

• Toki Fisikoa: Complexe de la République (700 aretoa)
• Ordutegia: 9:00etatik 15:00etara.
• Formatua:Aurrez aurrekoa (erakundeak eta prentsa) eta streaming bidez emango da Facebook-en eta Youtube-n. Ekitaldiaren grabazioa Interneten jarriko da ikusgai, gero.

PROGRAMA

10h – Irekiera

9:00 –HASIERA (15 min)

• Gilabèrt Mercadièr, Okzitanieraren Kongresu Iraunkorreko lehendakaria.
• Jon Abril Olaetxea, Elhuyarreko koordinatzaile nagusia. POCTEFA LINGUATEC proiektuko taldeburua da Elhuyar.

9:15 –TEKNOPOLISEN BIDEO-EMANALDIA (15 min)

9:30 –MAHAI-INGURUAK
Moderatzailea: Marius Blénet, kazetaria

9:30 –1. mahai-ingurua: “Europako eta mugaz gaindiko lankidetza, Pirinioetako hizkuntzen garapen digitalerako esparru pribilegiatua” (1:30)

• Charline Claveau, Okzitanieraren Bulego Publikoko lehendakaria.
• Antton Curutcharry, Euskararen Bulego Publikoko lehendakaria.
• José Ignacio López Susín, Aragoiko Gobernuko Hizkuntza Politikako zuzendari nagusia

Euskal Herriko Unibertsitateko iXa taldeko kide maiteok:

Santiagoko Linguistika Aplikatuko Zentroak, bere 50. urteurreneko ospakizunen testuinguruan, eskerrak eman nahi dizkie bere zeregin zientifikoa garatzen luzaroan lagundu duten erakundeei eta pertsonei.

Zuek omendatutako kide eta erakunde horien artean zaudete, eta atsegin handiz bidaltzen dizuegu zuen diplomaren irudia. Espero dugu 2023ko urtarrilean ematea.

ESKERRIK ASKO IXAKO LAGUNEI !!!!!

Nire lankideen izenean, jaso ezazue besarkada handi bat.

                  Leonel Ruiz Miyares

Queridos miembros del Grupo iXa de la Universidad del Pais Vasco:

El Centro de Linguistica Aplicada de Santiago de Cuba en el contexto de las celebraciones por su cincuentenario desea agradecer a instituciones y a personalidades que han contribuido durante largo tiempo al desarrollo de su quehacer científico.

Ustedes estan entre esos colegas e instituciones homenajeados y les anexamos con mucho gusto una fotocopia de su diploma que esperamos entregarselo personalmente en enero del 2023.

MUCHAS GRACIAS AMIGOS de IXA!!!!!
En nombre de mis colegas, reciban un fuerte abrazo,

Dr. Leonel Ruiz Miyares
Director  Centro de Linguistica Aplicada (CLA)
Ministerio de Ciencia, Tecnología y Medio Ambiente
http://www.cla.cu/clanuevo/es/       – Sitio web del CLA
http://www.cla.cu/simposio/index.php – Sitio web Simposios
http://ixa2.si.ehu.es/dbe/index.html – Diccionario Basico Escolar

Eta hau izan da Xabier Arregik erantzun duena:

Estamos muy agradecidos por este reconocimiento, que significa mucho para Ixa.
La relación que mantenemos con el centro de Lingüística Aplicada de Santiago de Cuba es muy enriquecedora para nuestro grupo, porque nos brinda la oportunidad de conocer, contrastar y compartir desarrollos y avances en entornos que no son hegemónicos y dominantes en nuestra área. En el mundo, también en la Lingüística Aplicada y en las Tecnologías del Lenguaje, hay mucho más que el inglés y los países ricos.

Gure esker ona adierazi nahi dizuegu, Leonel,  asko esan nahi baitu eskutitz horrek Ixa taldearentzat.
Santiago de Cubako Hizkuntzalaritza Aplikatuko zentroarekin dugun harremana oso aberasgarria da gure taldearentzat, aukera ematen baitigu gure arloan hegemonikoak eta menderatzaileak ez diren inguruneetako garapenak eta aurrerapenak ezagutu, kontrastatu eta partekatzeko. Munduan, Hizkuntzalaritza Aplikatuan eta Hizkuntzaren Teknologietan ere, ingelesa eta herrialde aberatsak baino askoz gehiago daude.

Eskerrik asko, eta besarkada bero bat.

Xabier Arregi (Ixa Taldeko koordinatzailea)

Irakurri gehiago:

• 2010: XML teknologiaren erabilera hiztegigintzan: Diccionario Básico Escolar

• 2011: Santiago de Cubako Centro de Lingüística Aplicada-k 40 urte

• 2015: Eloína Miyares lankide kubatarra hil zaigu

• 2019: Vitelio Ruiz lankide kubatarra hil zaigu

Okzitanieraren, aragoieraren eta euskararen  digitalizazio-maila hobetzea izan da LINGUATEC proiektu europarraren helburua. Hainbat baliabide, tresna eta aplikazio linguistiko berritzaile garatu ditugu 2018tik hona. Proiektuak hizkuntzen arteko lankidetza teknologikoa ahalbidetu du.

Orain online workshop hau antolatu dugu. 2021eko maiatzaren 12an konpartituko dugu komunitate akademikoarekin.
Online izango da, aurkezpenak ingelesez, gaztelaniaz eta frantsesez, eta aldi bereko itzulpenak ingelesez, gaztelaniaz eta frantsesez.

Interesa duten ikertzaile guztientzat, proiektuaren barruan egindako lana zabaltzeko, baita euskararako eta okzitanierarako egindako aurrerapen batzuk aurkezteko ere.

Workshopa jende guztiarentzat dago irekita, baina erregistratu egin behar da (registration form)

Informazio gehiago: ixa.eus/events/linguatec

PROGRAMA

10h – Irekiera

10h15     Hitzaldi gonbidatuak: Katalanaren prozesamendua

    Lluis Padró (Universitat Politècnica de Catalunya)
    Morphological and Syntactic Resources in FreeLing
    Ingelesez – Aldibereko itzulpena espainieraz eta frantsesez

   Mariona Taulé (Universitat de Barcelona)
   AnCora: un corpus anotado a diferentes niveles lingüístico
AnCora hainbat hizkuntza-mailatan etiketatutako corpusa.
    Gaztelaniaz – Aldibereko itzulpena ingelesez eta frantsesez

11h15 — Atsenaldia

11h30 Aurkezpenak: Okzitanierarako eta euskararako corpus anotatuak

   Assaf Urieli, Joliciel
    Talismane, Jochre: automatic syntax analysis and OCR for under-resourced languages
    Ingelesez – Aldibereko itzulpena espainieraz eta frantsesez

   Aleksandra Miletic y Dejan Stosic, CLLE
    Mutualisation des ressources pour la création de treebanks : le cas du serbe et de l’occitan
    Frantsesez – Aldibereko itzulpena espainieraz eta frantsesez

    Ainara Estarrona (IXA, HiTZ, UPV/EHU)
    Construcción del corpus histórico en euskera
    Euskararen corpus historikoa eraikitzea
   Gaztelaniaz – Aldibereko itzulpena ingelesez eta frantsesez

13h — Bazkaltzeko etenaldia

14h30     Hitzaldi gonbidatua: Neurona-sareen erabilera

   Mans Hulden (University of Colorado)
   Neural Networks in Linguistic Research
    Ingelesez – Aldibereko itzulpena espainieraz eta frantsesez

15h30 Aurkezpena: Hizuntzaren prozesamendua

   Rodrigo Agerri (IXA, HITZ, UPV/EHU)
   Contextual lemmatization for inflected languages: statistical and deep-learning approaches
    Ingelesez – Aldibereko itzulpena espainieraz eta frantsesez

16h – Atsedenaldia

16h15 – Aurkezpenak: LINGUATEC proiektuaren emaitzak

    Myriam Bras, Aleksandra Miletic, Marianne Vergez-Couret, Clamença Poujade, Jean Sibille, Louise Esher, CLLE :
    Automatic processing of Occitan: construction of the first annotated corpora.
    Okzitaneraren prozesamendua: lehen corpus etiketatuaren eraikitzea.
    Okzitanierazko bideoa, azpitituluak beste hizkuntzetan.               

    Elhuyar
    Creation and improvement of Basque resources within the framework of Linguatec
    Euskarazko bideoa, azpitituluak beste hizkuntzetan. 

16h45 – Ondorioak
    Espainieraz eta frantsesez, itzulpen zerbitzurik gabe.   

Cuscoko UNSAAC unibertsitateko lankidetzan aritu ginen 2011tik 2014ra bitarte. Lankidetza haren liderra izan zen Juan Cruz irakaslea apirilean hil zaigu.

Zuri esker, Juan, elkarrekin urrats batzuk egin genituen, kitxuaren prozesamendu automatikorako adituak prestatu genituen Hinantin ikerketa-taldearen hazia izan zirenak:

• Hugo Quispe: kitxuaren datu-base lexikalaren lehen bertsioa eta corpusa kontsultatzeko  web-aplikazio bat sortu zuen.
• Richard Castro Mamani: zuzentzailea sortu eta hizketaren tratamendua landu zuen. Geroago Itzulpen automatikoan eta normalizazioan ikertu du:
  • Neural machine translation with a polysynthetic low resource language (2020)
  • Overcoming Resistance: The Normalization of an Amazonian Tribal Language (2020)
  • Allin Qillqay! A Free Online Web Spell Checking Service for Quechua (2014)

• 

  Rosemary Jimenez:  testuak automatikoki sailkatzeko programa sortu zuen master-tesi moduan (Rosemary_Proyecto_2013.pdf). Eta bera da corpusa eratu eta kontsultatzeko aplikazioa sortu zuena.

• José Lozano: Kitxua irakasteko sistema bat sortzen aritu zen Waldir Farfan-ekin.

2012an Madrileko Kooperaziorako Ministerioko proiektu bat izan genuen, 2013an EHUrekin RUNASIMI proiektua.

Agur Juan, jarraituko dugu lanean.

• 2021/02/23 Pau, Emaitzak aurkeztea
• 2021/04/13 Jaca, Emaitzak aurkeztea eta erakusketa-tailerrak
• 2021/05/12 Donostia/Toulouse:  “Morfologia eta sintaxia” Workshopa.
  ………………………………………….Emaitzak aurkeztea eta erakusketa-tailerrak
• Zehazteko   Pau:                      LINGUATEC kongresua. Erakusketa-tailerrak
• 2021/06/17 Donostia/Baiona: Emaitzak aurkeztea eta erakusketa-tailerrak
• 2021/06/18 Donostia:              LINGUATEC kongresua. Erakusketa-tailerrak

Azken txanpan sartu da LINGUATEC proiektu europarra. Aragoieraren, euskararen eta okzitanieraren digitalizazio-maila hobetu du. Baliabide, tresna eta aplikazio linguistiko berritzaileak garatu, frogatu eta zabaldu ditu.

Partzuergoak otsailaren 23an egindako bilera aprobetxatuz datozen aste eta hilabeteetarako antolatutako tailerrak finkatu ditugu eta, batez ere, VOTZ, okzitanieraren lehen ahots-sintesiaren tresna aurkeztu genuen.

VOTZ okzitanieraren lehen ahots-sintesirako tresna da. Urrats handia da okzitanieraren garapen teknologikoan. Mugaz gaindiko lankidetza-proiektuaren emaitza ederra da VOTZ, Lo congrès permanent de la lenga occitana erakundeak garatua, Elhuyar bazkide teknologikoaren eta LINGUATEC proiektuaren koordinatzailearen laguntzarekin.  Esteka honetan eskuragarri dago aurkezpen-ekitaldia osorik.
Eta hemen zenbait komunikabidek aurkezpenari emandako oihartzuna:

• Jornalet
• Euskal irratiak

VOTZ tresnaren aurkezpenaren aurretik, LINGUATEC proiektuko 5 bazkideek bilera egin genuen Pauen. Bertan aurrerapen teknologikoen balantzea egin eta ekaina arteko ekitaldien egutegia zehaztu genuen. COVID-19a gorabehera, proiektua erritmo onean doala berretsi zen: helburu guztiak lortuko direlakoan gaude.
Hizkuntzaren teknologia berriak garatzea, adimen artifizialean oinarrituta, funtsezkoa da Pirinioen bi aldeetan hizkuntza gutxituak garatzeko. LINGUATEC mugaz gaindiko Europako lankidetza da, beharrezko aliantza XXI. mendean.

Hitz-bektoreek (word embedding-ak) eta aurrez entrenatutako hizkuntza-ereduek testuen errepresentazio aberatsak eraikitzeko aukera ematen dute, eta, horri esker, hobekuntzak egin ahal izan dira Hizkuntzaren Prozesamenduko ataza gehienetan. Zoritxarrez, errepresentazio horiek oso garestiak dira entrenatzeko, eta enpresa txiki eta ikerketa-talde askok eurenak eraiki beharrean, Googlek aurrez entrenatutako eta eskura jarritako ereduak baino ez dituzte erabiltzen. Hori ez da biderik onena, hizkuntza askotan ereduak enpresa txikiagoetan (edo kalitate txikiagokoetan) entrenatu baitira. Gainera, ingelesa ez diren hizkuntzetarako beti ez daude erabilgarri aurrez entrenatutako eredu elebakarrak. Kasurik onenean, hizkuntza horietako ereduak bertsio eleaniztunetan sartzen dira, eta hizkuntza bakoitzak gainerako hizkuntzekin partekatzen ditu tamaina eta parametroen zati bat. Hori egia da, bereziki, hizkuntza txikienetarako, hala nola euskararako.

Joan den apirilean Ixa Taldean erakutsi genuen euskarazko corpus handiekin (on-line egunkarietatik arakatuak) trebatutako zenbait eredu elebakarrek (FastText word embeddings, FLAIR eta BERT hizkuntza-ereduak) emaitza askoz hobeak eman zituztela Hizkuntzaren Prozesamenduko zereginetan, publikoki eskuragarri zeuden bertsioek baino. Besteak beste, emaitza hobeak lortu ziren gai-sailkapenean, sentimenduen analisian, baita PoS eta NER etiketatzean ere. Lan hori “Give your Text Representation Models some Love: the Case for Basque” izeneko artikuluan aurkeztu genuen. Hona hemen esperimentu horretan erabilitako Corpusaren osaketa:

Kontuan izan ingeleserako BERT hizkuntza-eredu originala Google Books corpus erabiliz entrenatu zela. 155 mila milioi hitz ditu iamerikako ingelesez, eta 34 mila milioi hitz ingeles brikanikoz. Ingelesezko corpusa euskarazkoa baino 500 aldiz handiagoa da.

Orain, irailean, IXAmBERT argitaratu dugu, ingeleserako, gaztelaniarako eta euskararako aurrez prestatutako hizkuntza-eredu eleaniztuna. Eta arrakastaz erabili dugu  euskarazko elkarrizketetan galderak erantzuteko sistema batean. Transferentzia-esperimentu horiek Googleren mBERT eredu ofizialarekin egin litezke ere, baina, Googleren ereduan hizkuntza asko direnez, euskara ez dago oso ondo ordezkatuta. Ingelesa, gaztelania eta euskara soilik dituen eredu eleaniztun berri hori sortzeko, apirilean aurkeztutako ereduaren konfigurazio bera erabili dugu. Euskal eredu sortzeko  corpus elabkar bera erabili dugu berriz ere, eta gainera Ingeles Wikipedia eta espainierazkoa gehitu ditugu, hurrenez hurren, 2.5 G eta 650M tokenekin. Wikipedia horien tamainak euskarazkoa baino 80 eta 20 aldiz handiagoa dira.

Berri ona zera da, eredu hori arrakastaz erabili dugula ingelesezko testuetan dagoen  ezagutza euskarara transferitzeko, elkarrizketa bidezko galdera-/erantzun-sistema baten bidez. Artikulu honetan azaldu dugu:  Conversational Question Answering in Low Resource Scenarios: A Dataset and Case Study for Basque. IXAmBERT izeneko gure hizkuntza-eredu berria erabiliz mBERT  eredu generikoarekin baino hobeto egin zen ingelesaren ezagutza euskarara transferitzea. Galderak euskaraz egin, informazioa ingelesez, espainieraz eta euskarazko wikipedietan bilatu eta erantzuna euskaraz eman. Taula honetan ikus daiteke zenbatekoa da hobekuntza:

Taula horretan, Elkarrizketa Bidezko Galderak Erantzuteko  (CQA, Conversational Question Anwering) euskarazko sistema baten emaitzak agertzen dira. Zero-shot-ek esan nahi du eredua fine-tuned dagoela QuaC, CQA datu-multzo ingelesa erabiliz. Transfer Learning konfigurazioan, eredua lehenengo aldiz QuaC-n zehazten da, eta gero euskal CQA datu-multzo batean.

Lan hauek koxka bat gorago ezartzen dute artearen egoera  euskararako zeregin horietan.
Lan honetan erabilitako datuak eta eredu guztiak eskuragarri daude publikoki: https://huggingface.co/ixa-ehu/ixambert-base-cased

Hemen duzue ixakidei eta kolaboratzeei onartutako artikuluei buruzko informazioa:

– Selecting Backtranslated Data from Multiple Sources for improved Neural Machine Translation (Xabier Soto, Dimitar Shterionov, Alberto Poncelas, Andy Way): Atzeranzko itzulpen sistema anitzen bitartez itzulitako datuek eu-es eta de-en domeinu klinikoko Itzulpen Automatiko Neuronaleko sistemetan duten eragina aztertzen dugu, eta Datu Hautaketa (DH) erabiltzen dugu corpus sintetikoa optimizatzeko. Ondoren, DHren irteera birkalkulatzen dugu atzeranzko itzulpena egiteko erabilitako sistemen kalitatea eta sortutako corpora sintetikoen aniztasun lexikoa kontuan hartuz.

– On the Cross-lingual Transferability of Monolingual Representations (Mikel Artetxe, Sebastian Ruder, Dani Yogatama): BERT eredu elebakar bat maila lexikoan beste hizkuntzetara transferi daitekeela erakusten dugu, BERT eleaniztunaren inguruko aurreko hipotesiak zalantzan jartzen dituena.

– A Call for More Rigor in Unsupervised Cross-lingual Learning (Mikel Artetxe, Sebastian Ruder, Dani Yogatama, Gorka Labaka, Eneko Agirre): Iritzi-artikulu honetan ikasketa eleaniztun gainbegiratu gabearen motibazio, definizio, hurbilpen eta metodologia berrikusten ditugu, eta euretako bakoitzean zorrotzago jokatzeko deia egiten dugu.

– DoQA – Accessing Domain-Specific FAQs via Conversational QA (Jon Ander Campos, Arantxa Otegi, Aitor Soroa, Jan Deriu, Mark Cieliebak, Eneko Agirre): DoQA datu-multzoa aurkezten dugu, FAQetako informazioa elkarrizketa bidez atzitzeko balio duena. 2.437 elkarrizketa ditu 3 domeinu desberdinetan: sukaldaritza, bidaiak eta filmak.

– A Methodology for Creating Question Answering Corpora Using Inverse Data Annotation (Jan Deriu, Katsiaryna Mlynchyk, Philippe Schläpfer, Alvaro Rodrigo, Dirk von Grünigen, Nicolas Kaiser, Kurt Stockinger, Eneko Agirre, Mark Cieliebak): Datu baseetako informazioa hizkuntzaren bidez atzitzeko entrenamentu datu-multzoak behar dira. Artikulu honetan halako datu-multzoak sortzeko metodologia berria proposatzen dugu, giza-anotazio abiadura hiru aldiz hobetzen duena aurreko metodoekin konparatuta. Gure esperimentuek erakusten dute kalitate oneko datu-multzoa dela, eta asmatu dugun token alineazioak emaitzak hobetzeko balio duela.

Zorionak guztiei!