초보개발자의 성장블로그

개요¶1. ML을 위한 첫 데이터를 다운받고 데이터에 대해서 확인해보는 과정¶2. 사용 메소드(전처리)¶read_csv(파일,인코딩)train_set.copy()df_copy.corr()train_x = train_set.drop(["Salary"], axis=1), train_y = df_copy["Salary"]train_set, test_set = train_test_split(df, test_size=0.2, random_state=42)3. 사용 메소드(학습)¶LinearRegression()lin_reg.fit(train_x, train_y)lin_reg.predict(train_x)4. 사용 메소드(Plot)¶df_copy.plot.scatter(x='YearsExperience', y='S..

서론Batch Normalization은 아마도 딥러닝 분야에서 정말 기여 높은 내용으로 반드시 알아야할 내용이다.다만 BN 뿐만 아니라 다른 Normalization도 존재하는데 그 부분이 많진 않으나 헷갈릴 부분에 대해서 간략한 설명을 하고자 한다.본론Batch란 학습을 하는 하나의 단위이며, 하나의 배치에는 여러개의 샘플이 들어가 있다. 샘플(Instance)는 모여서 하나의 학습단위로 쓸 수 있다는 것이다.예시를 들자면 GD를 하기 위해 3개의 점을 한번에 학습한다면, 3개의 점(Batch), 하나의 점(객체, Instance)가 된다.Batch Normalization하나의 배치에 들어있는 하나의 객체에 대해서 같은 채널은 채널끼리 평균, 분산을 구한다.Layer Normalization하나의 ..

서론일반적인 Gradient Descent에서 수렴을 좀 더 빠르게 하기 위함이다.이전에 필요한 내용은 모멘텀 방법이 있었고 여기서 발전한 내용이다.모멘텀에 대해서 잠시 이야기하자면 이전 단계의 기울기를 포함해 학습이 빠르고 부드럽게 만드는 것이다.NAG는 여기서 모멘텀을 활용해 예측된 값 기울기를 사용한다.자세한 수식은 본론에서 설명하도록 하고 여기서 마친다.본론모멘텀모멘텀에 대해서 잠시 짚고 넘어간다면 다음과 같다.속도 업데이트 : $v_t=\gamma v_{t-1}+\eta \nabla J(\theta_{t-1})$$v_t$는 속도, $\gamma$는 모멘텀 계수, $\eta$는 학습률,$\nabla J(\theta_{t-1})$는 $\theta_{t-1}$에서의 기울파라미터 업데이터 : $\the..