인기글

Deep learning : Decay로 과적합 줄이기 이번에 다뤄볼 주제는 다소 지루할 수 있는 주제입니다. 바로 "Weight Decay"에 대해서 알아봅니다. Weight Decay는 직역하면 "하중 감쇠" 같은 느낌이 됩니다. Weight Decay는 과적합을 억제하는 학습 기법의 하나입니다. 과적합된 학습이라는 것은 학습(훈련) 데이터에 적합하게 남아서 학습(훈련) 데이터와 다른 데이터에 대한 정답률이 낮아지는 것입니다. 과잉 학습은 중량(Weight)이 큰 값을 가짐으로써 발생하는 것이 많다는 사실에서 학습 과정에서 가중치(Weight)가 크지 않게 페널티를 부과하는 방법입니다. 즉, 특정 네트워크가 가중치가 큰 경우 이를 낮춰주는 것이죠. 뉴럴 네트워크 학습은 손실 함수(층으로 하면 Cate..

CNN에 드롭아웃 적용하여 과적합을 방지하자 심층 학습 뉴럴 네트워크는 몇 가지 방법으로 훈련 데이터 세트를 빠르게 초과할 수 있습니다. 서로 다른 모델 구성을 가진 뉴럴 네트워크의 결합은 과적합을 줄이는 것으로 알려져 있지만, 여러 모델을 훈련하고 유지하는 데 추가적인 컴퓨터 비용이 필요합니다. 단일 모델을 사용하여 교육 중에 노드를 임의로 삭제하여 다수의 서로 다른 네트워크 아키텍처를 갖는 것을 시뮬레이션할 수 있습니다. 이것은 드롭아웃이라고 불리며 모든 종류의 딥러닝 네트워크에서 과부하를 줄이고 일반화 오류를 개선하기 위한 매우 저렴하고 매우 효과적인 조절 방법을 제공합니다. 이 포스트에서, 여러분은 과적합을 줄이고 딥러닝 조직의 일반화를 개선하기 위한 드롭아웃 규칙의 사용을 이해하게 될 것입니다...

딥러닝과 머신러닝의 차이점? 딥러닝과 머신러닝의 차이점은 무엇일까요? 이 둘은 얼마나 비슷하거나 다른지 비교해서 차이점을 알아보도록 하겠습니다. 머신러닝과 딥러닝은 수년간 활발한 관심을 받아 온 인공 지능(AI)의 2개 하위 집합입니다. AI 전문가의 급여는 롤스로이스 중에서도 비싼 모델의 비용과 동일하다고 뉴욕 타임스는 보도했습니다. AI로 인해 직장을 잃을 가능성이 있을까요? 최근 전문 사이트 보고서에 따르면 가능합니다. 그들은 2030년쯤에는 미국의 모든 일자리의 38%가 인공 지능과 자동화 기술로 대체될 수 있을 것이라고 제안하고 있습니다. 최초의 인공 지능 프로그램은 1955년 세계 정보 기구인 뉴웰 앤 사이먼에 의해 만들어졌습니다. 연구원들은 2020년까지 고객 참여의 85%가 인간이 아닌 것..

앙상블을 딥러닝 신경망에 적용하기 딥러닝 모델의 성능을 향상할 수 있는 여러 가지 비법이 존재합니다. 오늘은 그중에서 앙상블이라고 하는 기법에 대해서 살펴보겠습니다. 다소 지루할 수 있으나 끝까지 보신다면 대강 개념이 잡히실 것이라고 장담합니다. 그럼 시작합니다. 딥러닝 신경망은 비선형 방법입니다. 유연성이 향상되었으며 사용 가능한 교육 데이터의 양에 비례하여 확장할 수 있습니다. 이러한 유연성의 단점은 확률적인 훈련 알고리즘을 통해 학습한다는 것입니다. 즉, 훈련 데이터의 특성에 민감하고 훈련될 때마다 다른 가중치 세트를 발견할 수 있으며, 이는 차례로 다른 예측을 생성합니다. 일반적으로 이를 분산이 큰 신경망이라고 하며 예측에 사용할 최종 모델을 개발하려고 할 때 잘 안될 수 있습니다. 신경망 모델의..