Sigmoid Function là một khái niệm quen thuộc trong Deep Learning. Bài viết sẽ trình bày sơ bộ về Sigmoid Function và lịch sử hình thành của nó.Bạn đang xem: Sigmoid là gì
Sigmoid Function là gì?
Sigmoid Function [Hàm Sigmoid] còn được gọi là đường cong Sigmoid. Đây là một hàm toán học có đặc trưng là đường cong hình chữ S. Nó thể hiện cho sự biến đổi các giá trị giữa phạm vi 0 và 1. Nó là một trong những hàm kích hoạt [activation function] phi tuyến tính được sử dụng rộng rãi nhất.
Bạn đang xem: Sigmoid là gì
Có một số hàm Sigmoid phổ biến, chẳng hạn như: hàm Sigmoid logistic, hàm tiếp tuyến hyperbol và hàm ArcTan. Trong máy học [machine learning], thuật ngữ Sigmoid Function thường được dùng để chỉ hàm Sigmoid logistic, còn được gọi là hàm logistic.
Sigmoid Function dùng để làm gì?
Tất cả các hàm Sigmoid đều có một đặc điểm chung. Chúng có thể chuyển những con số đầu vào thành một phạm vi nhỏ nhất định. Cụ thể, các con số đầu vào sẽ chuyển thành từ 0 đến 1 hoặc -1 và 1. Nghĩa là, Hàm Sigmoid dùng để chuyển một giá trị thực thành một giá trị kiểu xác suất.
Hàm Sigmoid sẽ nhận đầu vào [input] và thực hiện những công việc sau:
Minh họa về dường cong chữ S của hàm Sigmoid Function.
Lịch sử của Sigmoid Function
Khái niệm Sigmoid Function không hề mới, mà nó đã được hình thành từ rất lâu. Ta có thể chia lịch sử của Hàm Sigmoid ra làm hai giai đoạn như sau:
Hàm Sigmoid trước năm 1975
Cuối những năm 1830, nhà toán học người Bỉ Pierre François Verhulst đã thử nghiệm những cách khác nhau để mô hình hóa sự gia tăng dân số. Verhulst muốn giải thích rằng dân số không tăng theo cấp số nhân mãi, mà nó có giới hạn. Ông chọn hàm logistic để mô hình hóa sự chậm lại của tốc độ tăng trưởng dân số.
Hàm Sigmoid tiếp tục được sử dụng trong các thế kỷ tiếp theo. Nhiều nhà sinh học và khoa học khác dùng nó như một công cụ tiêu chuẩn để mô hình hóa sự tăng trưởng dân số.
Xem thêm: Melanie Martinez Là Ai - Ca Sĩ Nhạc Pop Melanie Martinez
Hàm Sigmoid sau năm 1975
Năm 1943, Warren McCulloch và Walter Pitts đã phát triển mô hình mạng nơ-ron nhân tạo sử dụng ngưỡng cứng [hard cutoff] làm hàm kích hoạt. Cụ thể, nơ-ron xuất ra 1 hoặc 0 tùy vào việc đầu vào cao hơn hay thấp hơn ngưỡng.
Năm 1972, Hugh Wilson và Jack Cowan đã tìm cách mô hình hóa các nơ-ron sinh học bằng phép tính. Họ dùng hàm Sigmoid logistic để mô hình hóa sự kích họat của một tế bào thần kinh. Trong đó, một nơ-ron sẽ gửi tín hiệu đến nơ-ron khác nếu nó nhận được tín hiệu lớn hơn điện thế kích hoạt. Mô hình này được gọi là mô hình Wilson Cowan.
Từ những năm 1970 và 1980 trở đi, một số nhà nghiên cứu bắt đầu sử dụng các hàm Sigmoid trong các công thức của mạng nơ-ron nhân tạo, lấy cảm hứng từ các mạng nơ-ron sinh học. Năm 1998, Yann LeCun đã chọn hàm tiếp tuyến hyperbol làm hàm kích hoạt trong mạng LeNet nổi tiếng của mình. Đây là mạng đầu tiên có thể nhận dạng các chữ số viết tay ở mức độ chính xác thực tế.
Những năm gần đây, mạng nơ-ron nhân tạo đã bỏ hàm Sigmoid để chuyển sang dùng hàm ReLU. Lý do là vì tất cả các biến thể của hàm Sigmoid đều được thiết kế cho việc tính toán. Trong khi đó, hàm ReLU có độ phi tuyến tính cần thiết để tận dụng độ sâu của mạng. Hàm ReLU cũng tính toán rất nhanh.
Got It Vietnam Tham khảo: DeepAI.org
Nếu bạn quan tâm, hãy xem các vị trí đang tuyển dụng của Got It tại: bit.ly/gotit-hanoi và đọc thêm về quy trình tuyển dụng tại đây.