Anot vyresniojo duomenų mokslininko, vienas iš ryškių stochastinio gradiento nusileidimo pranašumų yra tas, kad jis atlieka skaičiavimus greičiau nei gradiento nusileidimas ir paketinis gradiento nusileidimas … Be to, didžiuliai duomenų rinkiniai, stochastinis gradiento nusileidimas gali suartėti greičiau, nes jis atnaujina dažniau.
Kam naudojamas Stochastic Gradient Descent?
Stochastinis gradiento nusileidimas yra optimizavimo algoritmas, dažnai naudojamas mašininio mokymosi programose, siekiant rasti modelio parametrus, kurie geriausiai atitinka numatytus ir faktinius išėjimus Tai netiksli, bet galinga technika. Stochastinis gradiento nusileidimas plačiai naudojamas mašininio mokymosi programose.
Kodėl mums reikia naudoti stochastinį gradiento nusileidimą, o ne standartinį gradiento nusileidimą, kad mokytume konvoliucinį neuroninį tinklą?
Stochastinis gradiento nusileidimas atnaujina kiekvieno stebėjimo parametrus, todėl atnaujinama daugiau. Taigi tai greitesnis metodas, padedantis greičiau priimti sprendimus. Šioje animacijoje galima pastebėti greitesnius atnaujinimus įvairiomis kryptimis.
Kodėl mes teikiame pirmenybę nuolydžiui?
Pagrindinė priežastis, kodėl tiesinei regresijai naudojamas gradiento nusileidimas, yra skaičiavimo sudėtingumas: skaičiavimo požiūriu pigiau (greičiau) rasti sprendimą naudojant gradiento nusileidimą. Čia reikia apskaičiuoti matricą X′X, tada ją apversti (žr. pastabą žemiau). Tai brangus skaičiavimas.
Kodėl naudojamas SGD?
Stochastinis gradiento nusileidimas (dažnai sutrumpintas SGD) yra pasikartojantis metodas, skirtas optimizuoti tikslo funkciją, turinčią tinkamas lygumo savybes (pvz., diferencijuojamas arba sudiferencijuojamas).
