1. Gradient Descent (Hạ gradient)
Đây là một thuật toán tối ưu hoá được sử dụng rộng rãi trong học máy, đặc biệt là trong việc huấn luyện các mạng thần kinh. Nó hoạt động bằng cách tìm kiếm giá trị nhỏ nhất của một hàm mất mát (loss function), từ đó điều chỉnh các tham số của mô hình để giảm thiểu sai số giữa dự đoán và giá trị thực tế.
Tại sao quan trọng? Gradient Descent giúp chúng ta tìm ra được bộ trọng số và bias tốt nhất cho mô hình, giúp mô hình đưa ra dự đoán chính xác hơn.
2. Backpropagation (Truyền ngược):
Đây là một thuật toán dùng để tính toán gradient của hàm mất mát đối với từng tham số trong mạng thần kinh. Nói cách khác, nó giúp chúng ta biết cần điều chỉnh các tham số như thế nào để giảm thiểu sai số.
Tại sao quan trọng? Backpropagation là cốt lõi của quá trình huấn luyện mạng thần kinh. Nhờ có nó, chúng ta mới có thể cập nhật các tham số của mô hình một cách hiệu quả.
3. Vanishing Gradient (Hệ số gradient biến mất):
Đây là một vấn đề thường gặp trong các mạng thần kinh sâu. Khi gradient trở nên quá nhỏ, quá trình học sẽ trở nên rất chậm hoặc thậm chí là dừng lại. Điều này thường xảy ra ở các lớp sâu của mạng.
Tại sao quan trọng? Vấn đề vanishing gradient làm giảm hiệu quả của quá trình huấn luyện và khiến mô hình khó học được các đặc trưng phức tạp.
4. Activation Function (Hàm kích hoạt):
Đây là các hàm toán học được sử dụng trong các neuron của mạng thần kinh. Chúng giúp đưa ra quyết định về việc kích hoạt hay không kích hoạt một neuron.
Tại sao quan trọng? Hàm kích hoạt giúp đưa vào mạng thần kinh khả năng học các hàm phi tuyến tính, giúp mô hình có thể học được các đặc trưng phức tạp hơn.
Dieter R.,
Để lại một bình luận