초보개발자의 성장블로그

서론Batch Normalization은 아마도 딥러닝 분야에서 정말 기여 높은 내용으로 반드시 알아야할 내용이다.다만 BN 뿐만 아니라 다른 Normalization도 존재하는데 그 부분이 많진 않으나 헷갈릴 부분에 대해서 간략한 설명을 하고자 한다.본론Batch란 학습을 하는 하나의 단위이며, 하나의 배치에는 여러개의 샘플이 들어가 있다. 샘플(Instance)는 모여서 하나의 학습단위로 쓸 수 있다는 것이다.예시를 들자면 GD를 하기 위해 3개의 점을 한번에 학습한다면, 3개의 점(Batch), 하나의 점(객체, Instance)가 된다.Batch Normalization하나의 배치에 들어있는 하나의 객체에 대해서 같은 채널은 채널끼리 평균, 분산을 구한다.Layer Normalization하나의 ..

서론일반적인 Gradient Descent에서 수렴을 좀 더 빠르게 하기 위함이다.이전에 필요한 내용은 모멘텀 방법이 있었고 여기서 발전한 내용이다.모멘텀에 대해서 잠시 이야기하자면 이전 단계의 기울기를 포함해 학습이 빠르고 부드럽게 만드는 것이다.NAG는 여기서 모멘텀을 활용해 예측된 값 기울기를 사용한다.자세한 수식은 본론에서 설명하도록 하고 여기서 마친다.본론모멘텀모멘텀에 대해서 잠시 짚고 넘어간다면 다음과 같다.속도 업데이트 : $v_t=\gamma v_{t-1}+\eta \nabla J(\theta_{t-1})$$v_t$는 속도, $\gamma$는 모멘텀 계수, $\eta$는 학습률,$\nabla J(\theta_{t-1})$는 $\theta_{t-1}$에서의 기울파라미터 업데이터 : $\the..

1. 한 줄 소개 "컴퓨터 과학을 전혀 모르는 사람도, 이 책을 따라가면 컴퓨터 과학의 전반적인 지식을 습득할 수 있습니다.” 한 권으로 그리는 컴퓨터과학로드맵 / 블라드스톤 페헤이라 필루 2. 목차. 1. 문제해결을 위한 기초 지식 2. 복잡도 측정하기 3. 문제해결 전략 4. 데이터 취급하기 5. 여러가지 알고리즘 6. 데이터베이스 7.. 컴퓨터의 동작 원리 8. 프로그래밍 기법 3. 계기 이 책을 처음 꺼내게 된 거는 뭔가 컴퓨터 공부를 해야하는 데 인터넷에는 너무나도 정보가 많았다. 대부분의 초보자가 여기서 많이 헤멜것이라고 생각한다. 나 역시도 그랬고 그냥 따라가면 다른 사람들과 똑같은 평범한 사람이 될 것이기에 나는 그러고 싶지 않고 먼저 배우고 도전해보고 싶었기에 로드맵 같은 내용을 찾고 있..

1. 한 줄 소개 "IT 진로 선택에 고민하는 이들을 위해, 실제 코더들의 경험담과 함께하는 코딩진로. 당신의 코딩 도전을 응원합니다.” 2. 목차 개발자의 시선 취업컨설턴트의 시선 인사 담당자의 시선 각자가 바라본 IT전망 3. 계기 이 책을 고르게 된 계기는 코딩을 업으로 살아가고 싶은데 무엇을 해야할지 내 진로는 어떻게 해야할지에 대한 감이 전혀 잡히지 않아서 무작정 도서관에 가서 헤메다가 찾은 책이다. 처음으로 빌린 책이기에 적당한 두께감에 공감가는 이야기가 많은 책으로 고르게 됐다. 4. 기억남는 목차 및 내 대학원에 관한 이야기가 제일 도움이 되었습니다. 학과가 신설된 AI학과이다 보니 보통 많은 사람들이 이야기하길 AI로 무언가를 하고 싶다면 최소 석사는 나와야 뭘 할 수 있다는 말을 정말 ..

https://www.youtube.com/watch?v=hFJZwOfme6w&list=PLuHgQVnccGMA8iwZwrGyNXCGy2LAAsTXk -> 작성은 메모장으로 하되 노션으로 할까 했는데 노션+블로그 둘다 하게 되면 두번 일하는 셈이니 그럴 바에야 블로그에만 올리자 깃을 간단한 소스코드라면 깃의 활용법이 더 클것이라고 생각하기에 오히려 어려울 1. git init 깃에게 이 폴더를 버전관리를 하겠다고 알려주는 것 / .git 파일이 생기는데 여기서 버전을 저장하게 된다. 2. vim 파일을 수정할 수 있도록 하는건데 어디에나 있어서 유용하나 방법이 어렵다는 단점이 있다. / 여기서는 f1.txt파일을 사용했다. 3. git status 현재 깃이 어떤 파일을 관리하고 있는 지를 알 수 있음 ..

강의 링크 https://academy.nomadcoders.co/courses/216885/lectures/10903202 #0.0 Introduction 리액트 네이티브로 차원이 다른 앱 만들기 [중급] JavaScript, ReactJS, ReactNative academy.nomadcoders.co 이걸 보게 된 이유, 이 강의 첫인상 리엑트 기본강의를 듣고 듣는 두번째 리엑트강의이다. 이걸 들은 이유는 어플을 만들 수 있다는 것에 일단 끌렸고 내가 만든 프로그램을 어플로 만들수 있다면 좋을 것 같아서 이 강의를 듣게 되었다. 강의 정리 #0-1. Requirement 어플을 직접 확인해보려면 안드로이드 스튜디오를 통해서 내 컴퓨터 상에서 또는 expo를 통해서 내 폰에서 작업을 할 수 있다. #..

책 사진 책을 읽게된 동기 파이썬을 진짜로 많이 사용하게 된다면 언젠가는 인공지능도 한번은 보지 않을까 싶었는데 드디어 보게 되었다. 사실 내용을 다 이해할 것이라고 생각하지 않고 일단 첫 시작으로 하는 것이므로 가벼운 마음으로 일단 책을 읽었다. 책에서 얻을 만한 정보 실제 코딩을 해보는 게 제일 도움이 되지만 내 컴퓨터의 한계와 엄두가 나지 않기에 일단은 책을 읽는 것으로 만족하자. 일단 배우고 나서 딥러닝용 컴퓨터는 공모전 상금으로 맞출 수 있도록 해보자. 딥러닝AI는 쉽게 말하면 11줄로 설명이 가능하다. from deel import * 프레임워크 임포트 from deel.network import * from deel.commands import * deel=Deel() 프레임 워크 초기화 C..

궁금했던 이유 컴퓨터 사이언스 부트캠프 in 파이썬에서 함수와 메소드의 차이를 써놓았지만 잘 이해를 못했다. 설명 쉽게 말하면 클래스 안의 함수 그리고 클래스 밖의 함수인지의 차이이다. 메소드= 클래스안에서 정의된 함수 함수= 클래스밖에서 정의된 함수 각자 사용방법이 조금씩 다르다. 함수는 함수이름을 통해서 사용하지만 메소드는 object.method_name와 같은 방법으로 사용한다. 다만 정적메소드(인자로 클래스와 객체를 받지 않는 메소드)는 함수이다. 추가 함수의 사용방법을 모를때는 help함수가 존재한다. ex) help(function_name)

강의 링크 https://academy.nomadcoders.co/courses/681401/lectures/12154590 #0.0 Why learn Python Python for Absolute Beginners academy.nomadcoders.co 이걸 보게 된 이유, 이 강의 첫인상 나는 나만의 첫 프로젝트로 파이썬 웹크롤링을 사용해서 학교의 프로그램을 받아오고 정리후 내 시간표의 공강시간에 알맞는 프로그램을 넣어주는 프로그램을 만들었다. https://happyhyunwoong.tistory.com/37?category=1086415 Project 1-1) 웹 크롤링을 통한 공모전 스케쥴러 만들기 >기초 파이썬 문법을 수업을 통해 알게 되고 나만의 프로그램을 만들어보고 싶어서 만들게 된 스..

책 사진 책을 읽게된 동기 사실 알고리즘에 관해 볼려고 이 책을 집어든 것은 아니다. 책 커리어스킬에서 부트캠프를 통해 단기간에 실전 코딩을 배울수 있다는 말에 끌리게 되었다. 그리고 책의 내용을 조금 보니 파이썬의 기초 이후로는 알고리즘과 2학년에 배울 자료구조를 조금 다루고 있기에 책을 고른 결정적인 이유가 되었다. 책에서 얻을 만한 정보 32비트와 64비트의 차이 컴퓨터가 데이터처리를 할 수 있는 비트수를 의미한다. 파이썬 다른 언어와 다르게 변수가 상수로 저장되는 것이 아닌 int라는 클래스의 객체로 저장된다. 파이썬의 변수 주소는 16진수로 표현한다. 왜냐하면 짧게 표현할 수 있기 때문이다. 2진수 0b 16진수 0x 음의정수를 표현할때는 보수를 사용한다. 왜냐하면 첫번째는 +0,-0의 차이가 ..