Luận án cao học - chương 2 Mạng neuron nhân tạo

Năn 1890, nhà tâm lý học William James đưa ra nhận xét: khi hai quá trình cơ bản của bộ nảo tác động lẫn nhau hoặc xảy ra lần lượt thì một trong chúng sẽ truyền kích thích đến quá trình còn lại. Năm 1936, Alan Turing là người đầu tiên sử dụng bộ nảo nnhwu một mô hình xử lỹ thông tin, Năm 1943 Warren McCulloch và Walter Pitts đề xuất cách thức hoạt động các neuron, họ đã tạo ra một mạng noeuron đơn giản bằng các mạch điện, Từ đó các nhà khoa học lao vào...
Nội dung trích xuất từ tài liệu:
Luận án cao học - chương 2 " Mạng neuron nhân tạo " Luaän aùn Cao hoïc 2 Maïng neuron Nhaân taïo Noäi Dung 2 2.1 Lòch söû phaùt trieån vaø caùc öùng duïng cuûa maïng Neuron...............................2.2 2.2 Boä naõo ngöôøi vaø Neuron sinh hoïc ................................................................2.5 2.3 Moâ hình Neuron nhaân taïo ............................................................................2.8 2.3.1 Moâ hình neuron 1 ngoõ vaøo ............................................................................... 2.8 2.3.2 Moâ hình neuron nhieàu ngoõ vaøo ..................................................................... 2.11 2.4 Maïng Neuron ...............................................................................................2.11 2.4.1 Phaân loaïi maïng neuron ................................................................................. 2.11 2.4.2 Maïng neuron 1 lôùp ......................................................................................... 2.12 2.4.3 Maïng neuron nhieàu lôùp.................................................................................. 2.13 2.5 Huaán luyeän maïng ........................................................................................2.15 2.5.1 Hoïc coù giaùm saùt .............................................................................................. 2.15 2.5.2 Hoïc khoâng giaùm saùt ....................................................................................... 2.15 2.5.3 Hoïc taêng cöôøng............................................................................................... 2.18 2.6 Moät soá Giaûi thuaät huaán luyeän thoâng duïng.................................................2.20 2.6.1 Giaûi thuaät gradient descent ............................................................................ 2.22 2.6.2 Giaûi thuaät gradient descent with momentum ................................................ 2.24 2.6.3 Giaûi thuaät gradient descent with adaptive learning rate............................... 2.25 2.6.4 Giaûi thuaät gradient descent with momentum & adaptive lr.......................... 2.26 2.6.5 Giaûi thuaät truyeàn ngöôïc Resilient .................................................................. 2.27 2.6.6 Giaûi thuaät BFGS Quasi-Newton .................................................................... 2.28 2.6.7 Giaûi thuaät Levenberg-Marquardt................................................................... 2.29 2.6.8 So saùnh caùc giaûi thuaät .................................................................................... 2.30 2.7 Qui trình thieát keá maïng Neuron öùng duïng.................................................2.32 2.8 Vaøi kyõ thuaät phuï trôï .....................................................................................2.33 2.8.1 Tieàn xöû lyù döõ lieäu ............................................................................................ 2.33 2.8.2 Khaû naêng toång quaùt hoùa cuûa maïng............................................................... 2.35 2.8.3 Kích thöôùc toái öu cuûa maïng ........................................................................... 2.36 2.9 Toùm taét .........................................................................................................2.38 Taøi lieäu tham khaûo chöông 2 ............................................................................2.39Chöông 2 - Maïng neuron nhaân taïo 2.1 Luaän aùn Cao hoïc 2.1 Lòch söû phaùt trieån vaø Caùc öùng duïng cuûa maïng Neuron Lòch söû phaùt trieån cuûa maïng neuron ñöôïc toùm taét nhö hình 2.1, [1]. Naêm 1890, nhaø taâm lyù hoïc William James ñaõ ñöa ra nhaän xeùt: Khi haiquaù trình cô baûn cuûa boä naõo taùc ñoäng laãn nhau hoaëc xaûy ra laàn löôït thì moättrong chuùng seõ truyeàn kích thích ñeán quaù trình coøn laïi. Naêm 1936, Alan Turing laø ngöôøi ñaàu tieân söû duïng boä naõo nhö moät moâhình xöû lyù thoâng tin. Naêm 1943, Warren McCulloch vaø Walter Pitts ñaõ ñeà xuaátcaùch thöùc hoaït ñoäng cuûa caùc neuron, hoï ñaõ taïo ra moät maïng neuron ñôn giaûn 2baèng caùc maïch ñieän. Töø ñoù caùc nhaø khoa hoïc lao vaøo nghieân cöùu cheá taïo caùcboä maùy thoâng minh. Cuoái 1980s -nay: ÖÙng duïng trong nhieàu lónh vöïc 1982: Maïng Hopfield 1 lôùp, caùc nghieân cöùu ñöôïc tieáp tuïc 1970s: Caùc nghieân cöùu ñoät nhieân laéng dòu 1969: Caùc baøi baùo cuûa Minsky & Papert, Perceptrons Cuoái 50s-60s: Nhieàu noå löïc, AI & Neural Computing Fields ñöôïc thaønh laäp 1956: Dartmouth Summer Research Project 1950s: Phaàn meàm phaùt trieån maïnh 1949: Giaûi thuaät huaán luyeän cuûa Donald Hebb 1943: Mcculloch & Pitts coâng boá veà moâ hình neuron ñôn giaûn 1936: Turing d ...