|
2008
|
|
|
Euskararen Softwarearen Katalogoan (www.ueu.org/softkat)
|
hizkuntzaren
prozesamenduarekin lotuta dauden aplikazioak 44 dira; honela daude sailkatuta: ediziorako laguntzak (Xuxen, Elhuyar Word, sinonimo hiztegiak EuskalBar...), hizketaren tratamendua (Bizkaieraren Fonoteka eta AhoTTS Testu Ahots Bihurgailua, Fonatari), Euskara ikasteko metodoak (Bai & Bye, BOGA eta HEZINET), Lematizatzailea eta informazioa bilatzeko tresna, datu base dokumentala (Kapsula), corpus (XX. mendekoa), eta 20 baliabide lexikal (hiztegiak, esamoldeak,...). Eusko Jaurlaritza" Euskararen IKTen inbentarioa" prestatzen ari da orain eta beste produktu batzuk ere hasi dira ikusten gune berri horretan14, baina oraindik ez dago guztiz osatuta.
|
|
|
Orokorrean aztertuta, ez
|
hizkuntzaren
prozesamenduarekin lotuta dauden aplikazioak bakarrik, euskarak orain informatikaren munduan duen egoera ere ez da guztiz txarra; badira hainbat aplikazio, baina honetan ere oraindik zeregin handia dago egoera normalizatu batera iristeko. Jotzen badugu berriro Euskararen Softwarearen Katalogora aplikazio motaren arabera honako zenbaki hauek aurkituko ditugu:
|
|
|
Tamalez ez dago Interneten gune bakarra
|
hizkuntzaren
prozesamendurako produktu guztien berri biltzen duenik. Hala ere, arloka edo aplikazioaren arabera antolatuta indarrean dauden hainbat produktu honako gunetan aurki daitezke:
|
|
|
Tamalez ez dago Interneten gune bakarra
|
hizkuntzaren
prozesamendurako produktu guztien berri biltzen duenik. gunean 50 baino gehiago bildu dituzte. Beste hizkuntza guztiekin berdin gertatzen bada, existitzen diren hiztegi sistemen kopurua askoz handiagoa izan daiteke.
|
|
|
oso jaki on eta edari onen zale, oso jaki on eta edari on zale baino. Baliteke
|
hizkuntzaren
prozesamenduarekin lotura izatea: zenbat eta sintagmak edo perpausak osagai gehiago (eta urrunago) izan, orduan eta osagaiak nolabait lotzeko premia handiagoa (Oroi Axularren on da/ gauza ona da).
|
|
2009
|
|
|
Tamainak axola du: testu bilduma erraldoiak,
|
hizkuntzaren
prozesamenduan beharrezkoak
|
|
|
|
Hizkuntzaren
prozesamendua ia ia ordenagailuen sorreratik existitzen da. Joan den mendeko 40ko hamarkadan sortutako lehen makina elektroniko programagarriak, Bigarren Mundu Gerra medio, batez ere mezuak deszifratu eta kodeak apurtzeko erabili ziren, baina, gerra amaitu ondoren, hizkuntzaren prozesamendua asko lantzen hasi zen, batez ere itzulpen automatikoaren arloan.
|
|
|
Hizkuntzaren prozesamendua ia ia ordenagailuen sorreratik existitzen da. Joan den mendeko 40ko hamarkadan sortutako lehen makina elektroniko programagarriak, Bigarren Mundu Gerra medio, batez ere mezuak deszifratu eta kodeak apurtzeko erabili ziren, baina, gerra amaitu ondoren,
|
hizkuntzaren
prozesamendua asko lantzen hasi zen, batez ere itzulpen automatikoaren arloan.
|
|
|
Hala, taldeetan hizkuntzalariak sartzen joan ziren, eta Saussure eta Chomskyren teoriak aplikatzen. Geroztik, eta hamarkada askotan zehar,
|
hizkuntzaren
prozesamenduko alor guztietan (morfologian, ortografia zuzenketan, sintaxian, adieren desanbiguazioan...) hurbiltze bat izan da nagusi: hizkuntzalarien intuizioan oinarritutako ezagutza ordenagailuek tratatu ahal izateko moduko egitura sinpleetara egokitzea (erregelak, zuhaitzak, grafoak, programazio lengoaiak...).
|
|
|
Azken bi hamarkadetan, baina, hurbiltze enpirikoago bat ari da nagusitzen
|
hizkuntzaren
prozesamenduan, testu bilduma handien ustiaketan eta metodo estatistikoetan oinarritua. Ezagutza intuitiboan oinarritu beharrean, hizkuntza lagin erreal handiak, hau da, corpusak, erabiltzen dira hizkuntzaren ahalik eta kasu gehien kontuan hartzeko.
|
|
|
Horregatik, metodo estatistikoak hobetzeko azken aldiko joera da teknika linguistikoekin konbinatzea, eta metodo hibridoak sortzea. Eta etorkizunean ere hori izango da bidea
|
hizkuntzaren
prozesamenduan aurrera egiteko. Makinek laster hizkuntza ulertu eta egoki trata dezaten nahi badugu, eta makinek hitz egitea nahi badugu, beharrezko izango da matematikariak, informatikariak eta hizkuntzalariak eskutik joatea.
|
|
|
|
Hizkuntzaren
prozesamenduan, corpusen erabilerak iraultza ekarri du azken urteotan, eta, zalantzarik gabe, Adam Kilgarriff ingelesa horren lekuko izan da. Urteak eman ditu ingelesezko corpusekin lanean, eta, gaur egun, Internet bera corpus gisa erabiltzen dutenen artean erreferentzia da.
|
|
|
Ildo horretan lan egiteko balio duen Sketch Engine (www.sketchengine.co.uk) tresnaren sortzailetako bat da. EHUko IXA taldeak antolatutako
|
hizkuntzaren
prozesamenduari buruzko SEPLN 2009 kongresuan izan zen, Donostian.
|
|
|
Behar beharrezkoa da adimen artifiziala erabiltzea
|
hizkuntzaren
prozesamenduan?
|
|
|
|
Hizkuntzaren
prozesamenduan gero eta gauza gehiagorako ari dira erabiltzen ikasketa automatikoa. Baina adimen artifiziala ez da gauza bakar bat; estrategia ezberdin asko garatu dira esparru ezberdin askotan.
|
|
|
Ikasketa automatikoari esker, adibidez, patroiak bila daitezke, eta ezagutza eraiki ordenagailu bidez. Beraz,
|
hizkuntzaren
prozesamenduaren arazo nagusietako bati aurre egiteko modu bat da, alegia, hitz bakar batek esanahi bat baino gehiago dituen kasua ebazteko bide bat. Hori egin dezakegu corpus handiak erabiltzen baditugu.
|
|
|
|
Hizkuntzaren
prozesamenduan dauden joerez eta euskarak beste hizkuntzekin alderatuta dituen berezitasunez hitz egiteko elkartu ditugu aditu batzuk. EHUko IXA taldeko Kepa Sarasola, I aki Alegria eta Eneko Agirre informatikariekin izan gara.
|
|
|
EHUko IXA taldeko Kepa Sarasola, I aki Alegria eta Eneko Agirre informatikariekin izan gara. Hain zuzen ere, IXA taldeak aurtengo
|
hizkuntzaren
prozesamenduari buruzko SEPLN kongresua antolatu du Donostian, eta gai horretako aditu asko bildu ditu.
|
|
|
Zein dira, gaur egun,
|
hizkuntzaren
prozesamenduaren erronka nagusiak?
|
|
|
Google aipatu duzu, zenbateraino ari dira enpresa handi horiek
|
hizkuntza
prozesamenduan ikertzen?
|
|
|
Hitz egiten duen robot bat, azken batean.
|
Hizkuntzaren
prozesamenduaren eredu ona da; kanpotik ikusita, ANHITZ ez dirudi aplikazio iraultzailea denik, ez baitu fikziozko robot batek bezain azkar eta erraz erantzuten. Proiektuaren atzean dagoen lana ezagutzen duenak, aldiz, oso balorazio ona egiten du.
|
|
|
Proiektuaren atzean dagoen lana ezagutzen duenak, aldiz, oso balorazio ona egiten du. Asko dago egiteko
|
hizkuntzaren
prozesamenduaren arloan; ez dago zalantzarik. Baina eginda dagoena lan ikaragarria da, horren zalantzarik ere ez dago.
|
|
2012
|
|
|
Sirik hainbat teknologia erabiltzen ditu egiten duena egiteko: ahotsaren ezagutza,
|
hizkuntzaren
prozesamendua, ontologiak... Horien guztien konbinazioak ematen dio ahalmena agindu ezberdinak ulertzeko, baina, aldi berean, sentiberago egiten du akatsekiko.
|
|
2013
|
|
|
dokumentu bat kontsulta batentzako adierazgarria izan daiteke, nahiz eta bietan erabilitako hitzak guztiz berdinak ez izan, eta, alderantziz, dokumentu bat ez adierazgarria izan daiteke kontsulta batentzat nahiz eta termino batzuk berdinak eduki. Tesi lan honetan
|
hizkuntzaren
prozesamenduaren (HP) bidez, parekatze arazoa arintzerik ba ote den aztertu da.
|
|
2014
|
|
|
Informatika irakaslea naiz, eta Ixa Taldeko ikertzailea ere banaiz,
|
hizkuntzaren
prozesamenduan. Horretan nabil eta horretan eraman nahi dut denbora gehiena.
|
|
|
Euskaldunon
|
hizkuntza
prozesamendurako ere datu interesgarria hauxe?
|
|
|
Euskarazko egitura konplexuen azterketa egiteko, corpusetan oinarritzen gara.Orain arte erabili ditugun corpusak Euskararen Prozesamendurako ErreferentziaCorpusa (EPEC) (Aduriz et al., 2006a), Consumer corpusa (Alcazar, 2005) etaEuskal Wikipedia9 dira. Azken hori corpusa ez den arren, testu multzo handia daeta
|
hizkuntzaren
prozesamenduko hainbat atazatan erabilia izan da. Corpus horietanagertzen ez diren egituren azterketa egiteko EGLU gramatikak erabili ditugu.
|
|
|
Ikerketa lan hau1 2
|
Hizkuntzaren
Prozesamenduaren alorrean kokatzen da (hemendikaurrera HP), Euskal Herriko Unibertsitateko Informatika Fakultateko IXA Taldearen3jardunaren barruan eta zehazki, baliabideak sortzeko atalean. Azkenaldian hainmodan dagoen corpus based edo corpus driven linguistic delakoaren barnean sartzenda bete betean eta zehatzago, corpusetan oinarritutako lexikografian (Hanks, 2012).
|
|
|
|
hizkuntzaren
prozesamendu automatikoan ikertzen diren hainbat atazatan, hala nolasintaxi mailako desanbiguazioa edo hizkuntzaren ulermena, eta era berean, aplikazioaurreratuen (itzulpen automatikoa, galderak sortzeko sistemak, etab.) emaitzakhobetzeko erabil daitezke. Hizkuntzalaritza teorikoan, aldiz, fenomeno linguistikoenazterketarako balia daitezke horrelako baliabideak baita hizkuntzen arteko aldeakaztertzeko ere (Estarrona et al., 2013).
|
|
2015
|
|
|
Testu bat prozesatzen, normalean, testua hainbat programak exekutatzen dute, batak bestearen atzetik. Programa horiei
|
hizkuntzaren
prozesamendurako modulu (HP modulu) deitzen diegu. Normalean, HP moduluek kate bat osatzen dute, modulu bakoitzaren irteera hurrengoaren sarrera izanik.
|
|
|
Hitz gakoak: Big data,
|
hizkuntzaren
prozesamendua, sistema banatuak
|
|
|
|
Hizkuntzaren
prozesamenduaren (HP) arloan ere gaurkotasun handiko gaia da big dataren kontzeptua.HPn testuak prozesatzen dira, informazio linguistikoaz baliatuz hainbat aplikazio lortzeko. Itzultzaileautomatikoena da HParen aplikazio garrantzitsuenetako bat.
|
|
|
Hitz anitzeko unitateek edo unitate fraseologikoek (UFek) egiteko giltzarria dute, hiztegigintzan eta hizkuntzen irakaskuntzan ez ezik,
|
hizkuntzaren
prozesamendu automatikoan ere (Sag et al., 2010). Gauregun aski onartua dago hizkuntzaren funtzionamendua ezin dela osagai bakunen konbinazio libreaz soilikazaldu, hiztunek erabiltzen dituzten elementu batzuk nolabaiteko unitate aurrez eratuak baitira (Fillmo re, 1979, 92).
|
|
|
Ikerketa honen ekarpenak baliagarriak dira etorkizuneko hiztegigintzak automatizaziorantz izangoduen bilakabidean, eta
|
hizkuntzaren
prozesamenduko arloko zenbait atazatan, hala nola datu base lexikalen elikatzean, corpusen etiketatzean eta, testuinguru eleaniztunean aplikatuta, itzulpen automatikoan.
|
|
|
Hitz gakoak: Izen aipamenen Desanbiguazioa,
|
Hizkuntzaren
Prozesamendua, Wikipedia
|
|
|
Hitz gakoak: aipamen detekzioa, korreferentzia ebazpena,
|
hizkuntzaren
prozesamendua
|
|
|
Hitz gakoak:
|
Hizkuntzaren
prozesamendua, termino kliniko, osasun txosten elebidun, SNOMED CT
|
|
|
CliniTermServer egokitzeko hizkuntza bakoitzerako tokenizatzailea eta lematizatzailea txertatu beharizan ditugu: gaztelaniaren kasuan
|
hizkuntzaren
prozesamendurako Freeling kode irekiko liburutegiaren3.1 (Padro eta Stanilovsky, 2012) bertsioa erabili dugu eta euskararako IXA taldeak garaturiko Eustagger etiketatzaile/ lematizatzailea (Ezeiza et al., 1998). Informatikaren alorrean liburutegi bat programenkodea idazteko eskuragarri dauden prozedura edo programen multzoa da, eta hori kode irekikoa izanik, libreki erabiltzeko edota aldatzeko aukera ematen du, kostu ekonomikorik gabe, betiere jatorriarierreferentzia eginik.
|
|
|
Argi dago hizkuntzaren sorkuntza automatikoak berebiziko garrantzia duela
|
hizkuntzaren
prozesamenduan, eta horren adibide dira atal honetan aurkezten ditugun lanak edo baliabideak.
|
|
|
Madrazo Azpiazu, Jon. 2013
|
Hizkuntzaren
prozesamendurako teknikak irakaskuntza arloan: galderasortzaile automatikoa.
|
|
|
Hitz gakoak:
|
Hizkuntzaren
Prozesamendua, euskarazko hitz konbinazioak, gaztelaniazko hitzkonbinazioak, fraseologia, itzulpengintza
|
|
|
Lan honetatik eratorritako emaitza guztiak eskuragarri daude sarean, eta edozein erabiltzailek duaukera aztertu ditugun hitz konbinazioen gainean bilaketak egiteko. Izan ere, hitz konbinazioak hainfenomeno linguistiko konplexua izanik, sortu dugun baliabidea erabilgarria izango delakoan gaude,
|
Hizkuntzaren
Prozesamenduan dabiltzanentzat ez ezik, baita bestelako hainbat erabiltzailerentzat ere, hizkuntzalariak, itzultzaileak eta euskara ikasleak tarteko.
|
|
|
|
Hizkuntzaren
prozesamenduan (HP) balio handikoa da denbora informazioa, horrek kokatzen baititutestuko gertaerak kronologian edo horien iraupena adierazten baitu. Erauzitako informazio horigertaerak noiz jazo diren jakiteko baliatu ahal izango da, baita gertaerak denboran zehar ordenatuedo etorkizunean zer gertatuko den aurrikusteko.
|
|
|
Hitz gakoak: Denbora informazioa,
|
hizkuntzaren
prozesamendua, corpusa, markaketa lengoaia
|
|
|
Azken urteetan denbora informazioaren analisia ikerketa ildo nabarmena bilakatu da
|
hizkuntzaren
prozesamenduaren (HP) esparruan; esaterako, TempEval lehiaketen( (Verhagen et al. 2007, 2010) eta (UzZaman et al., 2012)) helburua informazio hori prozesatzeko sistemak sortzea izan da, denbora egiturak edoerlazioak erauzteko sistemak, adibidez. Denbora informazioa erauzteko, testuko gertaerak identifikatubehar dira, hala nola denborako uneak eta tarteak adierazten dituzten egiturak eta horiek erlazionatukodituzten erlazio egiturak.
|
|
|
Kronologiako unea, gertaera eta horien arteko erlazioa identifikatzeko prozesu hori automatikoki eginahal izateko,
|
hizkuntzaren
prozesamendua egin behar da. Denbora informazioaren analisi eta prozesamendua egiteko hainbat baliabide nagusi garatu behar dira:
|
|
|
Hizkuntzaren Teoria Motorraren arabera,
|
hizkuntzaren
prozesamenduak prozesamendu motorreandu bere jatorria. Teoria hau frogatu nahian, mugimenduen prozesamenduari lotutako hainbat ezaugarrihizkuntzaren prozesamenduan ere ari dira aurkitzen.
|
|
|
Hitz gakoak: ispilu neuronak,
|
hizkuntz
prozesamendua, mu uhina, Hizkuntzaren Teoria Motorra
|
|
|
Hizkuntzaren Teoria Motorra aurkeztu zenetik (Liberman eta Mattingly, 1985) hizkuntzarenprozesamenduaren ikerketan prozesamendu motorrean ikertzen diren hainbat ezaugarri ikertzenhasi dira, horien artean, mu uhinak. Teoria honek
|
hizkuntzaren
prozesamendua etaprozesamendu motorra hainbat mailatan erlazionatzen ditu: maila fonetikoan, semantikoan, etab.
|
|
|
EEG (elektroentzefalografia) esperimentu honetan
|
hizkuntzaren
prozesamendua aztertzen dafuntzio motorrei dagozkien garun eremuetan. Honetarako, garunak sortzen dituen mu uhinendesinkronizazioa aztertzen dugu perpausak prozesatzean.
|
|
|
Liberman eta bere kideek Hizketaren Hautematearen Teoria Motorra aurkeztu zutenean (Liberman et al., 1967; Liberman eta Mattingly, 1985),
|
hizkuntza
prozesamendua etaprozesamendu motorra fonetika mailatik lotu zituzten. Teoriak dio hizkuntza hautematerakoanjasotzen ditugun objektuak fonemak ahoskatzerakoan kateatzen ditugun mugimendu edotakeinuak direla.
|
|
|
Denborarekin prozesamendu motorra eta
|
hizkuntz
prozesamendua prozesamendu hierarkikobezala identifikatu dira (Pastra eta Aloimonos, 2012; Pulvermuller, 2010; Pulvermuller etaFadiga, 2010). Hala, antzeko prozesu diren unetik, antzeko errekurtsoak erabil ditzaketelapentsatzen da.
|
|
|
Epe luzera, hizkuntza eta sistema motorraren elkarreraginak sakonago aztertzera bultzatzengaitu. Ikerketa bide honek,
|
hizkuntzaren
prozesamendua ulertzen laguntzeaz gain, burmuinarenfuntzionamendua osoki hobeto ulertzen lagun diezaguke. Etorkizunera, burmuina ulertzea dugugaixotasun neurologoikoei aurre egiteko modu bakarra, eta ikerketa alor honek sistema motornahiz hizkuntzazkoan eragiten duten gaixotasunak aztertzen beren eraginak samurtu ahalizateko.
|
|
2017
|
|
|
erabilera sustatzeko neurriaren bila" artikulua idatzi dute. bertan, euskal soziolinguisitikaren esparruan ohikoak diren teknika metodologiko hainbaten azterketa kritikoa egin dute, batez ere, hiztun kategorietan eta hiztunen aitorpenetan oinarritzen direnei eginikoak. izan ere, planteatu nahi du azterketa modu horiek errealitate soziolinguistikoa bera sortzen dutela, edo gutxienez, sortzen laguntzen duten elementuak izan daitezkeela. bere iritzian, ikerketa metodologikoetan aldaketa formala gertatu litzateke, besteak beste, praktika linguistikoak lehenesteko kategoria identitarioen gainetik. atal honetako bigarren artikulua Jaime Altuna Ram� rezek idatzi du gazteen euskararen erabilera generoaren aldagaiaren arabera aztertzeko. ikerketa etnografikoa lezoko eta pasai donibaneko 12 eta 16 urte bitarteko nerabeekin egin du, eta ondorioztatu du, batetik, euskararen erabileran genero desberdintasuna badagoela, euskara gehiago erabiltzeko nesken joera berretsiz. eta, bestetik, baieztatu du, hizkuntza erabiltzeko moduak ere ez direla berdinak. bere ikuspegitik, generoa eraikitzeko sozialiazio sexistak, berak, indartzen du sexuen arteko hizkuntzen erabileraren banaketarako joera hori. bat 104 zenbaki honi amaiera emateko oso bestelako gaia duen artikulua aurkezten dugu: ...enean. beraz, interes apartekoa duen gaia da, baita, ikuspegi sozioionguistikotik begiratuta ere. kasu honetan, fenomenoaren azterketarako baliabide teknologikoaz aritzen da artikulua. izan ere, jakinik fenomenoaren ezaugarri nagusia bat batekotasuna dela, eta ahozko hizkuntzan ez ezik hizkuntza idatzian ere agertzen dela, sare sozialetako kode alternantzia aztertzeko modua erakusten dute. hau da,
|
hizkuntzaren
prozesamenduaren (hp) alorrean garatutako metodologia, eta hizkuntza teknologiaren bitartez corpusa biltzeko eta etiketatzeko baliatuko den metodoaren berri eman dute. irakurle guztion interesekoak izango direlakoan.•
|
|
|
Hizkuntzaren kontrolarekin lotuta dauden eremuen parte hartze zabalagoa zegoen gainera, kortex prefrontal dortsolateralarena eta aurreko kortex zingulatuarena. Gainera, lehen hizkuntzarekin alderatuta, ezkerreko lobulu tenporalaren parte hartze txikiagoa hauteman zen; eremu hori
|
hizkuntzaren
prozesamendu semantikoarekin dago lotuta, eta entzutezko haluzinazioekin ere lotu izan da. Datu hori kontuan hartzen badugu, deigarria da ikusitako lan askok entzutezko haluzinazioak ama hizkuntzan aditzeko joera zegoela behatu izana.
|
|
|
Aurkikuntza honek, hartara, hizkuntzalaritzarentzat eta harekin lotutako hainbatalderdirentzat ondorioak izan ditzake: hizkuntzalaritza historikorako,
|
hizkuntza
prozesamendurako, itzulpengintzarako, hizkuntza jabekuntzarako eta abarretarako. ANTk, gainera, zuzenean inoizlekukotu ez diren hizkuntzen berreraikuntza ahalbidetzen du.
|
|
|
|
Hizkuntzaren
Prozesamenduak testuetako informazioaren erauzketa eta analisia du helburu. Lan honetaneuskarazko ezeztapenaren analisia eta etiketatzea aurkezten ditugu, denbora informazioaren prozesamenduan osagarri gisa, ezeztapenak gertaeren faktualitatearen ebazpena eta gertaera horietako entitateenparte hartzea baldintzatzen baititu.
|
|
|
Hitz gakoak:
|
Hizkuntzaren
Prozesamendua, ezeztapena, denbora informazioa, etiketatzea
|
|
|
UFak fenomeno arazotsua dira
|
Hizkuntzaren
Prozesamendurako; hitz batez baino gehiagoz osatuta daude, baina ez dira beti konposizionalak esanahiari dagokionez eta, hortaz, hitz konbinazio osoa hartu behar dakontuan hizkuntza tresna aurreratuek ondo prozesa ditzaten (Sag et al., 2002). Halako hitz konbinazioaktestuetan identifikatze hutsa nahiko lan nekeza izaten da, askotan ezaugarri morfosintaktiko malguakizaten dituztelako eta, ondorioz, ez delako nahikoa hiztegietan begiratu eta hitz batez baino gehiagozosatutako sarrerak testuetan hitz segida finkoak balira bezala bilatzea.
|
|
|
Bi balio bakarrik har ditzaketen atributuentzat, identifikaziorako bezala, sailkatzaile bitarrak erabili dira. Gainerakoentzat, berriz, multiclass motakoak.Sailkatzaileen eraikuntzarako baliatutako algoritmoa Support Vector Machines SVM (Cortes eta Vapnik, 1995) izan da,
|
hizkuntzaren
prozesamenduko ataza askori algoritmo hau ongi egokitzen zaiela jakinadelako. Sailkatzaileak garatzeko jarraian aurkezten diren ezaugarri linguistikoak erabiltzen dira.
|
|
|
Hitz gakoak:
|
Hizkuntzaren
prozesamendua, adimen artifiziala, semantika, euskara
|
|
|
Zerrendatutako teorietatik,
|
hizkuntzaren
prozesamenduak, historian zehar, Davidsonek proposatutakoa jarraitu izan du (2). Izan ere, semantika konputazionalean perpausak adierazteko teoria honetanoinarritzen den semantika neo davidsondarra (Parsons, 1990) erabili ohi da.
|
|
|
Izan ere, semantika konputazionalean perpausak adierazteko teoria honetanoinarritzen den semantika neo davidsondarra (Parsons, 1990) erabili ohi da. Hortaz,
|
hizkuntzaren
prozesamenduan, eta ondorioz guretzat, gertaeraren definizioa teoria honek proposatzen duena izango da: denboran eta espazioan kokatua dagoen eta kausa jakin baten ondorioz eragin jakin bat sortzen duenjazoera.
|
|
|
Predikatu kontzeptuaren bi definizio ezberdin hauen arteko bereizketa egiteko, azken aldian, egungoteoria gramatikalak predikatuari predikatzailea deitzen hasi zaizkio. Dena den, eta gure predikatuarenulermena egungo teorietatik badator ere, ez diogu predikatuari predikatzaile deituko, predikatu baizik,
|
hizkuntzaren
prozesamenduan horrela deitu izan zaiolako.
|
|
|
Argumentuek eta adjuntuek gertaeren hainbat propietateren berri ematen dute; besteak beste, gertaerak denboran kokatzen laguntzen dute. Jakina denez,
|
hizkuntzaren
prozesamenduan rol semantikoen etiketatze automatikoaz arduratzen den atazak, SRL deitutakoak, argumentuak eta adjuntuak, eta ondorioz propietate hauek, detektatzeko gaitasuna dauka.Esan beharra dago, hala ere, SRLk ematen duen gertaeren inguruko informazio tenporala mugatua dela, eta interesgarria dela, gure ustez behintzat, informazio erauzketa sistemetarako adibidez, gertaereninguruko informaz... Hori erdiestekoISO TimeML (Pustejovsky et al., 2010) estandarrean oinarritutako bEVENT etiketatzailea garatu dugu.ISO TimeML testuetako denbora informazioa etiketatzeko sortutako anotazio eskema eta hizkuntza da.Anotazio eskemak hizkuntza naturaleko informazio linguistikoa nola markatu edo bildu behar den ezartzen duten formalismoak dira.
|
|
|
|
Hizkuntzaren
prozesamenduan ohikoak diren teknikak aplikatu ditugu datuotatik patroiak ikasi eta aurretik ikusi gabeko poemetan aplikatu ahal izateko. Aurretik garatutako Gervas (2000); Hartman (2005) eta Agirrezabal et al. (2016b) sistemen emaitzak erabiltzen ditugu oinarri lerrotzat (lehena gazteleraz etabeste biak ingelesez).
|
|
|
Lan honetan poesiaren eskantsioa, hau da, poemetako egitura erritmikoaren erauztea, burutzen duguautomatikoki. Horretarako
|
hizkuntzaren
prozesamenduko ohiko teknikak eta sare neuronaletan oinarritutakoak erabili ditugu. Esperimentazioa bi hizkuntzarekin egin dugu, ingelesarekin eta gaztelerarekin.Emaitzen arabera, sare neuronalekin lortu ditugu emaitza onenak, bi hizkuntzetan.
|
|
|
Uneko hizkuntzari buruzko informaziorik izan gabe egitura prosodiko hau erauzteko, tradizio poetikoezberdinen azterketa tipologiko bat egitea beharrezkoa dela uste dugu. Bide horretan lehen pausuak emateko ikerlan hau aurkezten dugu, non poesiaren egitura prosodikoa automatikoki aztertzen dugun
|
hizkuntzaren
prozesamenduko oinarrizko algoritmo batzuk erabilita. Metodo hauek ingelesezko eta gaztelerazkopoemetan aplikatu ditugu emaitza onak lortuaz, eta gure egungo erronka lanok euskarara aplikatzea da.
|
|
|
Lan honetan
|
Hizkuntzaren
Prozesamenduaren alorreko bi ikerketa lerro aurkezten ditugu: 1) semantikadistribuzionala eta bektore espazioen konbinaketa, eta, 2) testu lotura eta honek irakaskuntzan duenerabilgarritasuna.
|
|
|
Hitz gakoak:
|
Hizkuntzaren
Prozesamendua, Semantika Distribuzionala, Bektore espazioak, Testuloturak
|
|
|
Lan hau
|
Hizkuntzaren
Prozesamenduaren (HP) esparruan kokatzen da, ingelesez Natural Language Processing gisa ezagutzen den arloan. Ikerketa lerro zeharo zabala dugu HPa, hainbat diziplina konbinatzenbaititu, bereziki:
|
|
|
Arkaitz Zubiaga arrasatearra Ingalaterran dagoen Warwickeko Unibertsitatean doktorego osteko ikertzailea da, sare sozialetan sortzen diren zurrumurruak ikertzen ari da azken urteotan
|
hizkuntzaren
prozesamendurako eta datu meatzaritza teknikak erabilita. Gainera, sare sozialetan azterketa demografikoak egiten ditu, bereziki, talde minoritarioetan edo minorizatuetan interesa jarriz.
|
|
2018
|
|
|
Lantze funtzionalaren erdigunean daude komunikazio egoera berrietan aritu behar diren hiztunak eta, hizkuntzalarien eta hizkuntza bitartekarien rola desberdina da prozesu horretan. Hizkuntzalariek, hizkuntza irakasleek, lexikografoek, terminologoek,
|
hizkuntzaren
prozesamenduko adituek eta itzultzaileek oinarrizko baliabideak eta ereduak sor ditzakete hiztunak hizkuntza erabilera esparru berrietan erabiltzen ausartu daitezen. Oinarrizko baliabide horiek sortzeko eginkizunean, kontzientzia linguistiko garatua duten eta aitzindari izan nahi duten hiztun aktiboen eskutik lotuta joan behar dute hizkuntzalariek eta hizkuntza bitartekariek.
|
|
|
Izan ere, askotariko diskurtso komunitateen barruan gertatzen diren erabilerek eragindako autorregulazio natural hori hizkuntzaren garapen funtzionalaren motorra da (Zabala 2018a). Diskurtso komunitate espezializatuek egiten dituzten hizkuntzaren erabilerak monitorizatzeko tresnak eta prozesuak garatzeko funtsezkoak dira baita
|
hizkuntzaren
prozesamenduaren alorreko informatikariak eta hizkuntzalari konputazionalak. Erabilera berriak aurrera doazen neurrian, hizkuntzalarien eta hizkuntza bitartekarien lana hizkuntza baliabideak sortzea edo estandarizatzea baino, hizkuntza baliabide horien eboluzio eta garapena deskribatzea eta aldakortasunaren harmonizazioan laguntzea izango da (Zabala 2018b).
|
|
|
Eta, mendian edo errepidean galtzean egiten dugun bezalaxe, makinek ere mapak erabiltzen dituzte hizkuntzen labirintoan aurrera egiteko. Embedding esaten zaie mapa horiei, eta, haien bidez, pentsaezinak ziruditen lurretan barneratu da
|
hizkuntzaren
prozesamendua. Goazen gu ere, pausoz pauso, bidaia hori egitera.
|
|
|
Gainera, bilatzaile horiek
|
hizkuntzaren
prozesamenduko teknologia erabiltzen dute. Aspaldian, gutxik ematen zioten garrantzia guk Ixa Taldean garatzen dugun teknologiari.
|
|
2019
|
|
|
Honela, euskararen egoera ezagutzetik gertuago egoteko aukera edukikoda, ikerketa teknika tradizionalen osagarria izango den begirada berria eskainiz. Helburu horretarako
|
Hizkuntzaren
prozesamenduko tekniketan oinarritu gara, informatikako teknologiak gizarte ikerkuntzan aplikatuz. Gizartezientzien eta konputazio zientzien arteko konbinazioan kokatzen da lan honen ekarpen nagusia, aurrerapen teknologikoetan eta informazio mugagabean oinarritutako egungo gizartea interpretatzen eta ulertzen lagunduko duensinbiosia.
|
|
|
Hirugarrenik eta azkenik, gazte eta helduen harremanak nola ematen diren argitu da, bi talde ezberdinen errealitatea zein den erakutsiz. Lan honekin, frogatuta geratzen da gizarte zientzia eta konputazio zientzienarteko konbinaketa aberasgarria dela,
|
Hizkuntzaren
Prozesamenduko teknikak aplikatuz, ezaugarri demografikoakiradoki edota komunitateen azterketa bezalako atazak burutu daitezkeela erakutsi delarik.
|
|
|
Sarean gero eta iritzi testu gehiago daude, iritzi positiboa edo negatiboa izan dezaketenak, eta horiek automatikoki prozesatzeko beharra sortu da, eskuz egitea lan nekeza delako.
|
Hizkuntza
Prozesamenduan, lexikoianoinarritzen diren tresnak daude eta esaldi edo testu bat positiboa edo negatiboa den esaten dute. Lexikoian, hitzek[] (balorazio oso negatiboa) eta[+ 5] (balorazio oso positiboa) arteko sentimendu balentzia dute.
|
|
|
Bestalde, ikerlerro honek ikuspegi berritu bat ekarriko lukeKAren eta elebitasunaren azterketa orokorrera, bi hizkuntzen fonologiak aldi berean nola erabiltzendiren ikertzeko datu adierazgarriak eskainiko lituzke eta. Hau ikusita, iruditzen zaigu azpimarratzekoadela KAren azterketak fenomeno linguistiko orokorragoei buruz datu berriak emateko duen gaitasuna.Horretarako, baina, beharrezkoa litzateke KAren azterketa beste arlo batzuetako ikerlanarekinuztartzea, hala nola fonologian, hizkuntzaren jabekuntzan eta
|
hizkuntzaren
prozesamenduan egitenden lanarekin.
|
|
|
|
Hizkuntzaren
Prozesamenduko (HP) ataza nagusietako bat testuetako informazioa automatikoki erauztea da. Horretarako, tresna automatikoak garatu behar dira eta, askotan, horiek garatzeko oinarrian ikasketa algoritmoakdaude.
|
|
|
Fraseologia mailan etiketatutako corpus bat oinarritzat hartuta, Unitate Fraseologikoen agerpen literalez jardundugu lan honetan, eta erakutsi dugu halako agerpenak urre baina urri direla. Izan ere, urre dira batetik,
|
Hizkuntzaren
Prozesamenduko tresnek behar beharrezkoa dutelako esanahi idiomatikoak eta literalak bereiztea, tresnalinguistikoek taxuzko emaitzak sortuko badituzte. Baina bestetik, urri dira, corpusak erakusten baitu oso gutxitanerabiltzen direla literalki praktikan.
|
|
|
|
Hizkuntzaren
Prozesamendura etorrita, lan asko egin da UFen inguruan, erronka zaila baita halakoak konputazionalki ondo tratatzea (Constant et al., 2017). Agerpen idiomatikoen eta literalen arteko bereizketak sekulakogarrantzia du HPn, bereizketa horren araberakoa baita tresna automatiko askoren kalitatea.
|
|
|
Esanahi idiomatikoen eta literalen arteko bereizketak hizkuntzalaritzako eta psikolinguistikako hainbat ikertzaileren arreta piztu du, eta
|
Hizkuntzaren
Prozesamenduko (HP) erronkarik handienetakotzat hartzen da gauregun, halakoakkonputazionalki desberdintzeaertz askoko lanabaita (Constant et al., 2017). Hain zuzen ere, PARSEME proiektu europarrak (Savary et al., 2015) fraseologia konputazionalaren arloko ikertzaileak bildu nahi izanditu, UFek HPn sortzen dituzten zailtasunei nola aurre egin ikertzeko.
|
|
|
Azkenik, euskarazko corpusa handitzeaz eta arkitektura aldatzeaz gain, hizkuntza arteko sistema bat eraiki daiteke (Kundu et al., 2018; Cruz et al., 2018); baliabide askoko hizkuntza batean (ingelesean adibidez) korreferentzia ebazpenerako sistema bat entrenatuz, eta ondoren sistema hau euskarako korreferentziaebazpenerako baliatuz. Hizkuntza batetik ikasitako ezagutza bigarren hizkuntza bati aplikatuta emaitza onak lortubaitira
|
hizkuntzaren
prozesamenduko ataza ezberdinetan.
|
|
|
|
Hizkuntzaren
prozesamendua (NLP Natural Language Processing) informatika, adimen artifiziala eta hizkuntzalaritza diziplinen arteko arloa da. Hizkuntzaren ulermena behar duten hizkuntzaren prozesamenduko atazetankorreferentzia ebazpena oinarrizko urratsa da.
|
|
|
Hizkuntzaren prozesamendua (NLP Natural Language Processing) informatika, adimen artifiziala eta hizkuntzalaritza diziplinen arteko arloa da. Hizkuntzaren ulermena behar duten
|
hizkuntzaren
prozesamenduko atazetankorreferentzia ebazpena oinarrizko urratsa da.
|
|
|
Korreferentzia ebazpen automatikoa garrantzitsutzat jotzen da, oro har, testu ulermen sakona dakarren
|
hizkuntzaren
prozesamenduko ataza oro burutzeko (Clark, 2015). Besteak beste, informazio erauzketan, testuenlaburpenean, galdera erantzun sistemetan, sentimenduen analisian eta itzulpen automatikoan aplikatzen da.
|
|
|
Azken urteetan
|
hizkuntzaren
prozesamenduan neurona sareek arrakasta handia izan dute, eta korreferentziaebazpenean ere, artearen egoeran emaitzarik onenak lortzen dituzten sistemek, teknologia hori darabilte. Neuronasareetan oinarritutako sistema gehienek ikasketa automatikoko sistemen antzera funtzionatzen dute, ikasteko etasailkatzeko atalak neurona sareekin ordezkatuz.
|
|
|
Hiru laborategiak Bertol Arrieta Kortajarenak (Zarautz, 1975) zuzenduko ditu. “Informatikaria eta idazlea bera,
|
hizkuntzaren
prozesamendu automatikoa xede duen IXA taldean aritu da ikerkuntza lanetan hainbat urtetan. Bertsoak automatikoki aztertzea eta sortzea izan da bere azken eginahaletako bat”.
|
|
2021
|
|
|
Bestalde, TOKIKOMek adimen artifizialaren eremuan sakondu nahi du 2021ean, eta gertutik aztertu hartan oinarritutako teknologiek, eta hain bogan dagoen Industria 4.0 kontzeptuak zer abantaila eta erronka ekar dezaketen euskarazko komunikabideen esparrura. Hala, alde batetik martxan dituen zerbitzuetan txertatuko ditu azken urteetan
|
hizkuntzaren
prozesamenduarekin lotutako garapen informatikoak, eta bestetik, komunikabideen azken hartzaileen fidelizaziorako estrategiak garatzen hasi nahi du, publikoa hobeto ezagutzeko eta bere beharrak modu egokiagoan asetu ahal izateko.
|
|
|
Gaur egun azterketa biologikoan sakontzea ahalbidetzen duten teknikak daude. Horrela,
|
hizkuntzen
prozesamenduarekin zerikusia duten garuneko eremuak zehaztera eta haren egitura ezagutzera heldu gara.
|
|
|
Baina horiez gain, badira beste zenbait gene ere, horien artean, RUNX2 Gene hori, batez ere
|
hizkuntza
prozesamenduan parte hartzen duten zonetan, garunaren garapenaz eta jardueraz arduratzen diren beste gene batzuekin lotuta dago, bai eta hizkuntza kanporatzeko behar diren mekanismoez arduratzen diren geneekin ere. Gainera, hurrengo atalean azalduko den FOXP2 genearen sustatzaileari txertatzen zaion proteina da.
|
|
2022
|
|
|
Perez de Viñaspreren ibilbide akademiko oparoa eta gizarte erronka handiei erantzuteko egiten duen lana sarituko dituzte, besteak beste. Gaur egun, irakaslea da EHUko Informatika Fakultateko Konputagailuen Arkitektura eta Teknologia sailean, eta ikerlari ere aritzen da
|
hizkuntzaren
prozesamenduaren arloan Ixa Taldean eta HiTZ zentroan. Azaldu duenez, haurra zenetik erakarri eta interesatu izan zaizkio ordenagailuak.
|
|
|
|
Hizkuntzaren
prozesamenduaren ikertzailea zara. Zure jakintza euskara bultzatzeko erabiltzen duzu?
|
|
|
Gainera, karrera amaitu nuenean argi neukan ez nuela neure burua enpresa munduan ikusten.
|
Hizkuntzen
prozesamendu informatikoa egiten duen Ixa taldea ezagutu nuenean, oso erakargarria egin zitzaidan, eta hor jarraitzen dut oraindik. Gainera, euskara erreferentziatzat daukan proiektua izan da betidanik Ixa.
|
|
|
Txatbot mota berri bat da,
|
hizkuntzaren
prozesamendu aurreratua erabiltzen duena esaten duzuna ulertu eta erantzuteko, like a pro.
|
|
|
Probatu ChatGPT gaur, eta ikusi AI
|
hizkuntza
prozesamenduaren indarra jardunean!
|
|
|
Entzun duzue ChatGPTri buruz? Txatbot mota berri bat da,
|
hizkuntza
prozesamendurako teknologia aurreratua erabiltzen du galderak eta elkarrizketak era naturalago batean ulertzeko eta erantzuteko.
|
|
|
Gutxik bezala daki elebitasuna ikertzea zein garrantzitsua den, eta liburu honetako ikertzaile guztion inspirazio iturri nagusia izan da. Ikerlerro honen gorakada hasieratik ezagutu du, eta Euskal Herri mailan aitzindari izan da
|
hizkuntzaren
prozesamendua eta elebitasuna ikuspuntu esperimentaletik ikertzen. Lehenengo kapituluak hizkuntzen ikasketaren gaia jorratzen du Kepa Erdozia eta Noelia Sanahujaren eskutik.
|