relu function

Dalam konteks jaringan saraf tiruan, Rectifier atau ReLU (Rectified Linear Unit) adalah fungsi aktivasi yang didefinisikan sebagai bagian positif dari argumennya, dimana x adalah input ke suatu neuron. Fungsi ReLU adalah fungsi aktivasi linear yang akan menghasilkan output dari input langsung jika nilainya positif, dan akan menghasilkan nol jika nilainya negatif. ReLU telah menjadi fungsi aktivasi default untuk banyak jenis jaringan saraf karena ia mengatasi masalah gradien yang hilang dan memungkinkan model untuk belajar lebih cepat dan performa lebih baik. ReLU adalah fungsi aktivasi non-linear yang luas digunakan di dalam jaringan saraf tiruan, khususnya di CNN dan MLP. ReLU memperkenalkan non-linearitas pada model deep learning dan memecahkan masalah gradien yang hilang. Leaky ReLU didefinisikan untuk mengatasi masalah ini. Daripada mendefinisikan fungsi aktivasi ReLU sebagai 0 untuk nilai negatif dari input (x), kita mendefinisikannya sebagai komponen linier yang sangat kecil dari x. Berikut adalah formula untuk fungsi aktivasi ini. f (x) = max (0,01 * x, x). Fungsi ini akan menghasilkan x jika menerima input positif manapun, tetapi untuk nilai negatif, hanya akan menghasilkan output yang sedikit linear.