Objašnjiva veštačka inteligencija

Objašnjiva veštačka inteligencija (engl. Explainable AI, XAI), koji se često preklapa sa interpretabilnom veštačkom inteligencijom, ili objašnjivim mašinskim učenjem (XML), odnosi se bilo na sistem veštačke inteligencije nad kojim je ljudima moguće da zadrži intelektualni nadzor, ili na metode da se to postigne.[1] Glavni fokus je obično na obrazloženju odluka ili predviđanjima koje donosi veštačka inteligencija[2] koje su predstavljena na razumljiv i transparentan način.[3] XAI se suprotstavlja tendenciji mašinskog učenja u vidu „crne kutije“, gde čak ni dizajneri veštačke inteligencije ne mogu da objasne zašto je došao do određene odluke.[4][5]

Pristup objašnjive VI nastoji da pomogne korisnicima sistema sa veštačkom inteligencijom da rade efikasnije tako što će poboljšati njihovo razumevanje načina na koji ti sistemi rezonuju.[6] XAI može biti implementacija društvenog prava na objašnjenje.[7] Čak i ako ne postoji takvo zakonsko pravo ili regulatorni zahtev, XAI može poboljšati korisničko iskustvo proizvoda ili usluge pomažući krajnjim korisnicima da veruju da VI donosi dobre odluke. XAI ima za cilj da objasni šta je urađeno, šta se radi i šta će se dalje raditi, kao i da otkrije na kojim informacijama se ove akcije zasnivaju.[8] Ovo omogućava potvrđivanje postojećeg znanja, izazivanje postojećeg znanja i stvaranje novih pretpostavki.[9]

Algoritmi mašinskog učenja (ML) koji se koriste u VI mogu se kategorisati kao bela ili crna kutija.[10] Modeli bele kutije daju rezultate koji su razumljivi stručnjacima u ovoj oblasti. S druge strane, modele crne kutije je izuzetno teško objasniti i teško ih je razumeti čak i stručnjacima iz domena.[11] XAI algoritmi prate tri principa transparentnosti, interpretabilnosti i objašnjivosti. Model je transparentan „ako procesi koji izdvajaju parametre modela iz podataka obuke i generišu oznake iz podataka testiranja mogu biti opisani i motivisani od strane dizajnera pristupa.“[12] Interpretabilnost opisuje mogućnost razumevanja ML modela i predstavljanja osnove za donošenje odluka ML modela na način koji je razumljiv ljudima.[13][14][15] Objašnjivost je koncept koji je prepoznat kao važan, ali konsenzusna definicija nije dostupna.[12] Jedna od mogućnosti je „kolekcija karakteristika interpretabilnog domena koje su doprinele, za dati primer, donošenju odluke (npr. klasifikacija ili regresija)“.[16] Ako algoritmi ispunjavaju ove principe, oni pružaju osnovu za opravdavanje odluka, njihovo praćenje i na taj način verifikovanje, poboljšanje algoritama i istraživanje novih činjenica.[17]

Ponekad je takođe moguće postići rezultat visoke tačnosti pomoću ML algoritama bele kutije. Ovi algoritmi imaju interpretabilnu strukturu koja se može koristiti za objašnjenje predviđanja.[18] Koncept modela uskog grla, koji koriste apstrakcije da objasne razmišljanje modela, su primeri ovoga i može se primeniti u zadacima predviđanja slike[19] i teksta.[20] Ovo je posebno važno u domenima kao što su medicina, odbrana, finansije i pravo, gde je ključno razumeti odluke i izgraditi poverenje u algoritme.[8] Mnogi istraživači tvrde da je, barem za nadgledano mašinsko učenje, put napredka simbolička regresija, gde algoritam pretražuje prostor matematičkih izraza da pronađe model koji najbolje odgovara datom skupu podataka.[21][22][23]

Sistemi veštačke inteligencije optimizuju ponašanje kako bi zadovoljili matematički precizirani sistem ciljeva koji su odabrali dizajneri sistema, kao što je komanda „maksimizirajte tačnost procene koliko su pozitivne kritike filmova u skupu podataka testa“. VI može naučiti korisna opšta pravila iz skupa testova, kao što su „recenzije koje sadrže reč „užasno“ verovatno će biti negativne“. Međutim, može naučiti i neprikladna pravila, kao što su „recenzije koje sadrže 'Danijel Dej-Luis' su obično pozitivne“; takva pravila mogu biti nepoželjna ako postoji verovatnoća da neće uspeti da se generalizuju izvan skupa za obuku, ili ako ljudi smatraju da je pravilo „varanje“ ili „nepravedno“. Čovek može da revidira pravila u XAI-u da bi dobio predstavu o tome koliko je verovatno da će sistem generalizovati buduće podatke iz stvarnog sveta van testnog skupa.[24]

Reference

  1. ^ Mihály, Héder (2023). „Explainable AI: A Brief History of the Concept” (PDF). ERCIM News (134): 9—10. 
  2. ^ Phillips, P. Jonathon; Hahn, Carina A.; Fontana, Peter C.; Yates, Amy N.; Greene, Kristen; Broniatowski, David A.; Przybocki, Mark A. (2021-09-29). „Four Principles of Explainable Artificial Intelligence”. doi:10.6028/nist.ir.8312. 
  3. ^ Vilone, Giulia; Longo, Luca (2021). „Notions of explainability and evaluation approaches for explainable artificial intelligence”. Information Fusion. December 2021 - Volume 76: 89—106. doi:10.1016/j.inffus.2021.05.009. 
  4. ^ Castelvecchi, Davide (2016-10-06). „Can we open the black box of AI?”. Nature (на језику: енглески). 538 (7623): 20—23. Bibcode:2016Natur.538...20C. ISSN 0028-0836. PMID 27708329. S2CID 4465871. doi:10.1038/538020a. 
  5. ^ Sample, Ian (5. 11. 2017). „Computer says no: why making AIs fair, accountable and transparent is crucial”. The Guardian (на језику: енглески). Приступљено 30. 1. 2018. CS1 одржавање: Формат датума (веза)
  6. ^ Alizadeh, Fatemeh (2021). „I Don't Know, Is AI Also Used in Airbags?: An Empirical Study of Folk Concepts and People's Expectations of Current and Future Artificial Intelligence”. Icom. 20 (1): 3—17. S2CID 233328352. doi:10.1515/icom-2021-0009. 
  7. ^ Edwards, Lilian; Veale, Michael (2017). „Slave to the Algorithm? Why a 'Right to an Explanation' Is Probably Not the Remedy You Are Looking For”. Duke Law and Technology Review. 16: 18. SSRN 2972855 Слободан приступ. 
  8. ^ а б Gunning, D.; Stefik, M.; Choi, J.; Miller, T.; Stumpf, S.; Yang, G.-Z. (2019-12-18). „XAI-Explainable artificial intelligence”. Science Robotics (на језику: енглески). 4 (37): eaay7120. ISSN 2470-9476. PMID 33137719. doi:10.1126/scirobotics.aay7120 Слободан приступ. 
  9. ^ Rieg, Thilo; Frick, Janek; Baumgartl, Hermann; Buettner, Ricardo (2020-12-17). „Demonstration of the potential of white-box machine learning approaches to gain insights from cardiovascular disease electrocardiograms”. PLOS ONE (на језику: енглески). 15 (12): e0243615. Bibcode:2020PLoSO..1543615R. ISSN 1932-6203. PMC 7746264 Слободан приступ. PMID 33332440. doi:10.1371/journal.pone.0243615 Слободан приступ. 
  10. ^ Vilone, Giulia; Longo, Luca (2021). „Classification of Explainable Artificial Intelligence Methods through Their Output Formats”. Machine Learning and Knowledge Extraction. 3 (3): 615—661. doi:10.3390/make3030032 Слободан приступ. 
  11. ^ Loyola-González, O. (2019). „Black-Box vs. White-Box: Understanding Their Advantages and Weaknesses From a Practical Point of View”. IEEE Access. 7: 154096—154113. Bibcode:2019IEEEA...7o4096L. ISSN 2169-3536. doi:10.1109/ACCESS.2019.2949286 Слободан приступ. 
  12. ^ а б Roscher, R.; Bohn, B.; Duarte, M. F.; Garcke, J. (2020). „Explainable Machine Learning for Scientific Insights and Discoveries”. IEEE Access. 8: 42200—42216. Bibcode:2020IEEEA...842200R. ISSN 2169-3536. arXiv:1905.08883 Слободан приступ. doi:10.1109/ACCESS.2020.2976199 Слободан приступ. 
  13. ^ Murdoch, W. James; Singh, Chandan; Kumbier, Karl; Abbasi-Asl, Reza; Yu, Bin (2019-01-14). „Interpretable machine learning: definitions, methods, and applications”. Proceedings of the National Academy of Sciences of the United States of America. 116 (44): 22071—22080. PMC 6825274 Слободан приступ. PMID 31619572. arXiv:1901.04592 Слободан приступ. doi:10.1073/pnas.1900654116 Слободан приступ. 
  14. ^ Lipton, Zachary C. (јун 2018). „The Mythos of Model Interpretability: In machine learning, the concept of interpretability is both important and slippery.”. Queue (на језику: енглески). 16 (3): 31—57. ISSN 1542-7730. doi:10.1145/3236386.3241340 Слободан приступ. CS1 одржавање: Формат датума (веза)
  15. ^ „Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI”. DeepAI. 2019-10-22. Приступљено 2021-01-13. 
  16. ^ Montavon, Grégoire; Samek, Wojciech; Müller, Klaus-Robert (2018-02-01). „Methods for interpreting and understanding deep neural networks”. Digital Signal Processing (на језику: енглески). 73: 1—15. ISSN 1051-2004. doi:10.1016/j.dsp.2017.10.011 Слободан приступ. 
  17. ^ Adadi, A.; Berrada, M. (2018). „Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI)”. IEEE Access. 6: 52138—52160. Bibcode:2018IEEEA...652138A. ISSN 2169-3536. doi:10.1109/ACCESS.2018.2870052 Слободан приступ. 
  18. ^ Rudin, Cynthia (2019). „Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead”. Nature Machine Intelligence (на језику: енглески). 1 (5): 206—215. ISSN 2522-5839. PMC 9122117 Слободан приступ. PMID 35603010. arXiv:1811.10154 Слободан приступ. doi:10.1038/s42256-019-0048-x Слободан приступ. 
  19. ^ Koh, P. W.; Nguyen, T.; Tang, Y. S.; Mussmann, S.; Pierson, E.; Kim, B.; Liang, P. (новембар 2020). „Concept bottleneck models”. International Conference on Machine Learning. PMLR. стр. 5338—5348. CS1 одржавање: Формат датума (веза)
  20. ^ Ludan, J. M.; Lyu, Q.; Yang, Y.; Dugan, L.; Yatskar, M.; Callison-Burch, C. (2023). „Interpretable-by-Design Text Classification with Iteratively Generated Concept Bottleneck”. arXiv:2310.19660 Слободан приступ [cs.CL]. 
  21. ^ Wenninger, Simon; Kaymakci, Can; Wiethe, Christian (2022). „Explainable long-term building energy consumption prediction using QLattice”. Applied Energy. Elsevier BV. 308: 118300. Bibcode:2022ApEn..30818300W. ISSN 0306-2619. S2CID 245428233. doi:10.1016/j.apenergy.2021.118300. 
  22. ^ Christiansen, Michael; Wilstrup, Casper; Hedley, Paula L. (2022). „Explainable "white-box" machine learning is the way forward in preeclampsia screening”. American Journal of Obstetrics and Gynecology. Elsevier BV. 227 (5): 791. ISSN 0002-9378. PMID 35779588. S2CID 250160871. doi:10.1016/j.ajog.2022.06.057. 
  23. ^ Wilstup, Casper; Cave, Chris (2021-01-15), Combining symbolic regression with the Cox proportional hazards model improves prediction of heart failure deaths, Cold Spring Harbor Laboratory, S2CID 231609904, doi:10.1101/2021.01.15.21249874 
  24. ^ „How AI detectives are cracking open the black box of deep learning”. Science (на језику: енглески). 5. 7. 2017. Приступљено 30. 1. 2018. CS1 одржавање: Формат датума (веза).

Literatura

  • Mazumdar, Dipankar; Neto, Mário Popolin; Paulovich, Fernando V. (2021). „Random Forest similarity maps: A Scalable Visual Representation for Global and Local Interpretation”. Electronics. 10 (22): 2862. doi:10.3390/electronics10222862 Слободан приступ. 
  • „FAT* Conference on Fairness, Accountability, and Transparency”. 
  • „FATML Workshop on Fairness, Accountability, and Transparency in Machine Learning”. 
  • „'Explainable Artificial Intelligence': Cracking open the black box of AI”. Computerworld. 2017-11-02. Архивирано из оригинала 2020-10-22. г. Приступљено 2017-11-02. 
  • Park, Dong Huk; Hendricks, Lisa Anne; Akata, Zeynep; Schiele, Bernt; Darrell, Trevor; Rohrbach, Marcus (2016-12-14). „Attentive Explanations: Justifying Decisions and Pointing to the Evidence”. arXiv:1612.04757 Слободан приступ [cs.CV]. 
  • „Explainable AI: Making machines understandable for humans”. Explainable AI: Making machines understandable for humans. Приступљено 2017-11-02. 
  • „End-to-End Deep Learning for Self-Driving Cars”. Parallel Forall. 2016-08-17. Приступљено 2017-11-02. 
  • „Explaining How End-to-End Deep Learning Steers a Self-Driving Car”. Parallel Forall. 2017-05-23. Приступљено 2017-11-02. 
  • Knight, Will (2017-03-14). „DARPA is funding projects that will try to open up AI's black boxes”. MIT Technology Review. Приступљено 2017-11-02. 
  • Alvarez-Melis, David; Jaakkola, Tommi S. (2017-07-06). „A causal framework for explaining the predictions of black-box sequence-to-sequence models”. arXiv:1707.01943 Слободан приступ [cs.LG]. 
  • „Similarity Cracks the Code Of Explainable AI”. simMachines. 2017-10-12. Приступљено 2018-02-02. 
  • Bojarski, Mariusz; Yeres, Philip; Choromanska, Anna; Choromanski, Krzysztof; Firner, Bernhard; Jackel, Lawrence; Muller, Urs (2017-04-25). „Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car”. arXiv:1704.07911 Слободан приступ [cs.CV]. 

Spoljašnje veze

  • „the World Conference on eXplainable Artificial Intelligence”.