relu

Dalam konteks jaringan saraf tiruan (neural networks), rectifier atau ReLU (rectified linear unit) merupakan fungsi aktivasi yang didefinisikan sebagai bagian positif dari argumennya, yaitu x (input ke neuron). ReLU adalah fungsi aktivasi berpotongan linear yang akan mengeluarkan input secara langsung jika input tersebut positif, jika tidak maka akan mengeluarkan nol. ReLU menjadi fungsi aktivasi default untuk banyak jenis jaringan saraf karena dapat mengatasi masalah vanishing gradient dan memungkinkan model untuk belajar lebih cepat dan performa lebih baik. ReLU juga mengenalkan non-linearitas ke dalam model deep learning dan mengatasi masalah vanishing gradient. Di antara jenis fungsi aktivasi lainnya, ReLU adalah yang paling banyak digunakan. Selain itu, ada varian dari ReLU, seperti leaky ReLU, softplus, dan ELU. Leaky ReLU dirancang untuk mengatasi masalah ketika input bernilai negatif, yaitu dengan mendefinisikan bagian linier dari input negatif dengan komponen linear yang sangat kecil. Fungsi aktivasi softmax juga digunakan di akhir jaringan saraf sebagai classifier. Modifikasi parameter default ReLU memungkinkan penggunaan ambang batas yang bukan nol, mengubah nilai maksimum aktivasi, dan penggunaan input untuk nilai yang berada di bawah ambang batas. Dalam keseluruhan, ReLU adalah jenis fungsi aktivasi terbanyak digunakan dalam jaringan saraf terutama dalam CNN dan MLP.