დამხმარე აპლიკაცია მხედველობის უნარშეზღუდულთათვის

ავტორი: ალექსანდრე კახეთელიძე
თანაავტორები: ალექსანდრე კახეთელიძე
საკვანძო სიტყვები: მობილური, ობიექტის აღქმა, სტაბილური, ხელმისაწვდომი.
ანოტაცია:

Პროექტი ძირითადად შეეხება მანქანური სწავლების ერთ-ერთ კატეგორიას კომპიუტერის მხედველობას (Computer vision) კონკრეტულად ობიექტების ამოცნობას, მათ კლასიფიკაციას და ამ ტექნოლოგიის ინტეგრაციას მობილურ აპლიკაცაში რათა შევქმნათ დამხმარე აპლიკაცია მხედველობის უნარშეზღუდულთათვის. Მობილური აპლიკაციის მიზანი არის დაეხმაროს მხედველობის უნარშეზღუდულ მომხარებელს მობილურის კამერის მეშვეობით ამოიცნოს საქართველოსთვის სპეციფიური ობიექტი კონკრეტულად ლარის კუპიურა. Ამ ყველაფრის მისაღწევად პროექტში გამოყენებულია კომპანია Google-ის ორი ტექნოლოგია MLKIT და Tensorflow-lite. Tensorflow-lite-ს მეშვეობით შევძლებთ მანქანური სწავლების მოდელების შექმნას გარკვეული ობიექტის მრავალი სხვადასხვა სურათით და შემდგომ MLKIT-ით დავამუშავებთ კამერის კადრებს და გადავცემთ Tensorflow-lite-ს მოდელს რომ შემდგომ მივიღოთ ობიექტის სახელი (ხმოვანად ან ტექსტურად) და მდებარეობა ეკრანზე (კორდინატები ან ობიექტზე შემოხაზული მართკუთხედი). Მობილური აპლიკაციის გამოყენება არის მარტივი, მომხარებელმა უბრალოდ უნდა მიანათოს კამერა ლარის კუპიურას (აპლიკაციამდე და მასში ნავიგაცია შესაძლებელი არის სისტემური Talkback ფუნქციონალის მეშვეობით) და შემდგომ აპლიკაცია იტყვის თუ რა ობიექტი ჩანს ეკრანზე.