2024.01.02 빅데이터 분석가 양성과정 2일차 노트

 

1. 기업맞춤형 빅데이터 분석가 양성과정 소개 

https://bit.ly/41x8FOX

[기업맞춤형 빅데이터 분석가 양성과정] 선수과정이란 무엇인가?

https://bit.ly/3NIinbu

[취업과 창업]고용노동부와 한국품질재단 & 안동대학교가 함께하는 2024년 K-Digital Training(1,000만원

 

2. 기업맞춤형 빅데이터 분석가 양성과정 노트목록

 https://crosefrog.tistory.com/entry/20231228-%EB%B9%85%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%84%EC%84%9D%EA%B0%80-%EC%96%91%EC%84%B1%EA%B3%BC%EC%A0%95-1%EC%9D%BC%EC%B0%A8-%EB%85%B8%ED%8A%B8

2023.12.28 빅데이터 분석가 양성과정 1일차 노트

 

3. Chepter 00. 강의 시작하면서.ipynb

Ch00 강의 시작하면서.ipynb

0.68MB

 

4. Chepter 01. 파이썬 시작하기.ipynb

Ch01 파이썬 시작하기.ipynb

0.57MB

 

5. Chepter 02. 자료형.ipynb

Ch02 자료형.ipynb

0.21MB

 

6. Notion 강의노트

https://shaded-chair-f39.notion.site/Python-Basic-0e111783f389426d9911335a1ef39e2e?pvs=4

Python Basic | Built with Notion

 

7. Google Colaboratory Notebook 

 

https://vo.la/rygwT

Google Colaboratory Notebook

https://vo.la/ixMBr

Google Colaboratory Notebook

https://vo.la/wKiox

8. 필기노트

1~2월 말까지 기본 내용

요점: 열심히 해야 한다.

2명의 강사님이 주도 하에 2달 간 수업 진행

강조포인트: 가독성이 높아야 한다, 읽히기 쉽도록,

A/S는 코딩했던 것을 잊어버릴 때쯤 들어온다.

⇒ 코드관리를 잘하는 것이 중요하다.

문법적인 측면에서 보면, Python이 입문하기 쉬워 보인다.

문법적인 스트레스가 적지만, 성능이 별로다.

⇒ 최근 컴퓨터 성능이 좋아졌다.

양이 굉장히 많아지면, 성능의 차이가 발생한다.

Google Drive → Google Colaboratory

구글 환경은 똑같다.

코드 추가: 단축키 Ctrl+M+B

텍스트 추가: 메모 공간

문장(statement)

표현식(expression)

키워드(keyword): 특별한 의미가 이미 부여된 단어(word)

미리 만들어둔 명령어를 키워드가 하며, 다른 의미로 사용하면 곤란하다.

주석: 메모

식별자(identifier): 구분하기 위함

따옴표로 감싸는 값은 식별자가 아닌 데이터

sep: seperator의 약자

• 기본 자료형을 조합하여 새로운 자료형을 만들 수 있음

자료형(data type) = 데이터형

f(x) = 3x

함수(function)

f_1, f_2, f_3

add(a,b): 재료 2개를 받아서 더한다.

f1(x,y)

y = f1(x)

z = f2(y)

z = f2(f1(x))

type: 자료 형태

str: string의 약자

함수를 호출한다, 콜한다고 한다.

문자열 만들기

• 쌍따옴표로 문자열 만들기

코딩을 최대한 적게 하고 싶다.

문자열 연산자

• 자료(데이터)의 자료형에 따라 적용할 수 있는 연산자가 정해져 있음

문자열 + 문자열

‘+’ = 붙인다는 의미

강의란 뮤지컬(마당극)이다.

마당극과 뮤지컬의 차이

• 마당극은 관객이 참여가 가능하다.
• 뮤지컬은 관객참여가 불가능하다.

⇒ 수업은 상호작용이 있어야 한다.

문자열과 숫자는 연결할 수 없다.

대괄호 연산자: select, 인덱스에 해당하는 문자를 빼온다.

문자열 데이터 뒤에 [ ]를 붙이면 인덱스 하라는 것이다.

파이썬 문법으로 0부터 3까지 불러오려면

[0:4]로 지정해야 한다. (0번부터 4번 전까지)

⇒ 0부터 n-1까지

문자열 슬라이싱할 때 사용한다.

우리가 식사를 할 때 숟가락, 젓가락으로 해결되지만,

양식을 먹을 때 나이프와 포크가 나온다.

숟가락으로 퍼먹을 수도 있으므로 자주 등장하지는 않는다. (보통의 경우, 잘 사용하지 않는다.)

앞이 생략되면 0번부터, 뒤가 생략되면 마지막 까지이다.

데이터형태에러 (type error)

Index error: Index out of range

⇒ 슬라이싱을 할 때는 범위를 벗어나도 출력된다.

인덱스를 할 때는 범위를 벗어나면 에러가 뜬다.

인덱싱: 특정 글자 하나를 뽑아 오는 것

슬라이싱: 범위를 잡아서 빼오는 것.

데이터 없는 인덱스를 가지고 접근하면 안된다.

슬라이싱은 없으면 없는대로, 있으면 있는대로 출력해준다.

주말에 무엇을 했는가?

나는 인생을 즐겁게 살고 있는가?

노는 시간과 공부하는 시간 구분을 명확히 해라.

밤에는 놀자. 낮에 대부분을 소화하도록 하자.

노는 횟수를 줄이고, 한동안 놀지 않다가 한번에 노는 시간을 가져보자.

효율적으로 돈을 사용하는 방법을 생각하자.

수업하는 동안의 시간을 어떻게 활용해야하는가?

범위를 지정해서 잘라온다.

len(): 변수안에 내용물이 몇 개 들어있는지 파악해준다.

키워드를 변수로 쓰면 곤란하다.

정수 나누기 연산자 ‘/’를 2번’//’사용하면 몫만 반환해준다.

나머지 연산자: %

• 짝수를 2로 나누면 나머지는 0
• 홀수를 2로 나누면 나머지는 1

제곱연산자: **

2^4를 python코드로 표현할 때

⇒ 2**4

연산자 우선순위는 일반적인 순위와 동일하다.

혹시나 연산자의 우선순위를 모른다면, 내가 우선순위를 ( )로 정해주면 된다.

이해가 안되면, 일단 넘어가자.

1,000피스 그림 맞추기가 있을 때, 1조각을 들고 어디에 맞춰야 하는지 바로 아는 사람은 잘 없다.

우리가 새로운 것을 배울 때 퍼즐조각을 어디에 둬야하는지 모른다.

퍼즐조각을 수없이 들었다 놓기를 반복할 때, 어디에 둬야하는지를 알게 된다.

⇒ 나중에 때가 되면 퍼즐이 맞춰진다.

Ex) print(”안녕”+”하세요”*3)

• 파이썬으로 비트연산자를 사용하는 경우가 잘 없다.

1bit: 0,1 (2가지)

2bit: 00, 01, 10, 11 (4가지)

3bit: 8가지

4bit: 16가지

5bit: 32가지

6bit: 64가지

7bit: 128가지

8bit: 256가지

1byte로 표현할 수 있는 가장 큰 수: 255

⇒ 0~255까지 256개의 종류가 존재하며, 가장 큰 수는 255이다.

컴퓨터에 입력하면, 이진수로 저장된다.

이진수로 출력한다고 할 때, 메모리에 있는 것을 읽어서 출력하면 된다.

• Bit 단위 연산자

1. And
2. Or
3. Not

X: 0,0,1,1

Y: 0,1,0,1

Z = X and Y

: 0, 0, 0, 1 (and 관계, 둘 다 만족하는 관계)

Ex1)

1101 & 0001 = 0001

Ex2)

01101 & 00010 = 00000

Ex3)

001101 & 000100 = 001000

Ex4)

★△!▽ & 0001 = 000▽

Ex5)

0★△!▽ & 00010 = 000!0

Z = X or Y

: 0,1,1,1 (or 관계, 둘 중 하나만 만족하는 관계)

비트 단위 연산자

비트 단위 and 연산자: &

비트 단위 or 연산자: |

비트 단위 ex-or 연산자: ^

센서 8개가 있을 때

(S0~S3)1~4: 교무실, (S4~S7)5~8: 컴퓨터실

센서가 하나라도 감지하면 1 이상

특정 교실이 아닌, 화재센터가 중요하다.

내가 원하는 값만 걸러낼 수 있다.

복합 대입 연산자

할당: 저장

a = 10

a += 10

print(a)

20

• += 숫자 뎃셈 후 대입
• -= 숫자 뺄셈 후 대입
• *= 숫자 곱셉 후 대입
• /= 숫자 나눗셈 후 대입
• %= 숫자의 나머지를 구한 후 대입
• **= 숫자 제곱 후 대입
• += 문자열 연결 후 대입
• *= 문자열 반복 후 대입

사용자 입력: input( )

• 사용자로부터 데이터를 입력 받을 때 사용하는 함수

프로그래머가 5를 더할 경우라면, 문자열이 아니라 숫자열이어야 한다.

문자 5를 숫자 5로 변환해주는 작업이 필요하다.

input함수가 넘겨주는 건 문자열이다.

문자열을 정수로 바꿔주는 함수, 실수로 바꿔주는 함수 둘 다 제공한다.

string_a = input(’입력’>’)

string + string: 붙이는 연산

int + int: 더하기 연산

ValueError 예외의 경우

1. 숫자가 아닌 것을 숫자로 변환하려고 할 때
2. 소수점이 있는 숫자 형태의 문자열을 int( )함수로 정수로 변환하려고 할 때

float( ) 함수를 사용하면 정수형태든 소수형태든 변환이 가능하다.

⇒ 숫자로 바꿀 때 float을 사용하는 것이 마음편하다.

• 인생이 항상 즐거울 순 없다.

1inch: 2.54cm

문법체계가 계속 늘어난다.

.format( )

자료형: 숫자, 문자

메모리에 정보가 들어가있다. 엄밀히 말하자면, 개념이 다르다.

문자열을 다뤄본 일꾼은 기능이 있다.

자동차가 가지고 있는 기능이 있다.

기능: 역할, 할 수 있는 일

format: 문자열을 써준 값에 넣어주는 기능

. 오른쪽에 있는 함수는 왼쪽에 소속되어 있다.

upper()

lower()

변수는 단순히 값만 가지고 있지만, 일꾼이 값을 저장하는 변수를 가지고 있다.

{:d} = 정수형 데이터를 출력하겠다고 명시하는 기호

이메일 주소를 정할 때, 유명한 포털사이트를 사용하는데,

업무용 아이디를 만들어두는 것도 좋다.

폴리텍 대학교수를 관둔 이유

Q. 안동대 교수님들의 주 업무는 무엇일까?

• 취업지도, 생활지도

교수의 주요 역할: 학생들의 역량강화, 취업

⇒ 급여인상 X

• 특강참여 시, 수당지급

일반 대학마다 호봉이 있다. (급여가 정해져 있다.)

⇒ 내 인생의 돈이 정해져있다.

• 열심히 해서 돈이 들어오면 동기부여가 잘 될 것이다.

노력해도 급여인상이 거의 없었다. (폴리텍 대학 교수를 그만둔 이유)

⇒ 노력해도 급여인상이 안되더라.

• 매출이 고정되어 있으면, 급여인상이 불가능하다.

⇒ 연차가 길어질수록 급여가 인상되는 것이 아니다. 내가 가진 경력이 회사수입에 기여해야 한다.

⇒ 월급을 줄 이유가 없다.

요점: Income에 직간접적으로 기여하는 것이 있어야 연봉협상에 있어 주도권을 취할 수 있다.

• 노력하면 내가 어떤 형태든 승진은 가능하지만, 급여인상은 나의 회사기여도에 따라 달라진다.

⇒ 실력이든, 운이든 총 순수익에 어떻게든 기여해야 한다.

연구개발직이라고 가정할 때,

데이터분석에 도움이 안된다면 단순노동으로 전환될 수도 있다.

⇒ 점점 나의 기회가 사라진다.

• 기여도를 높이는 방법: 실력, 사회성 등 여러가지가 있다.

⇒ 취업을 위해 공부도 중요하지만, 어떤 상황을 잘 표현하는 것도 중요하다.

올라가다보면, 밑에 사람과 한 팀으로 일한다.

미니 프로젝트에서 발표를 주도적으로 하는 것이 좋다.

• 언젠가 취업이 하는 것이 목표지만, 급여 등 성장가능성을 생각할 때 성실성보다 중요한 것은 기여도이다. 기여도에 필요한 것이 실력이라면 실력을 키우는 것이 좋고, 사회성이라면 사회성을 기르는 것이 좋다.

.upper( )

.lower( )

.strip( )

price_product.strip( )

first_name

surname

string = ‘@1000*’

print(string.strip(’*’))

strip( )함수로 제거할 수 있다.

변수 치환

문자열은 슬라이싱 할 수 있고, 인덱싱할 수 있다.

인덱싱: 값 1개 튀어나온다.

string = ‘@1000*’

print(string.strip(’*’))

.strip( ): 문자 양 옆의 공백 제거

• 정수.strip은 없다.

isXX(): 참거짓을 반환해준다.

rfind(’문자열’): ‘문자열’의 오른쪽부터 검색

find: ‘문자열’의 왼쪽부터 검색

r은 뒤에서부터 찾는다.

• Python은 문자열에 진심이다.

문자열.format함수

문자열과 in연산자

in연산자 (자주 나온다.)

문자열 자르기 split()

@: at

*:

&: and

|: or

sprit이라는 함수가 있다. (쪼개면 여러 개가 나온다.)

수업내용이 지루하다: 어렵지 않다.

문자 대체: replace( )

• 1,000원
• 조건문과 반복문만 제대로 알면, 기본적인 것들은 할 수 있게 된다.

Python, MySQL(database), 데이터분석 기초, 웹(Java Script, Node js), 데이터 분석 심화, 인공지능, 최종 프로젝트

작년: Python, Database 전에 Python으로 웹 서버를 만드는 것이 들어갔었다(PyQt)

원래 R이 있었다. R이 데이터분석용으로 좋을진 모르나, 현장에서는 파이썬으로 이것저것 다 하니 다른 것을 넣었다. 자바스크립트 웹 서버

⇒ 웹 서버를 2번할 이유가 없는 것 같다. (파이썬으로 웹 서버 만드는 것은 없음)

PyQt로 클래스라는 개념, 클래스를 써서 뭘 한다는 것에 대한 경험을 위해서 들어갈 예정이다.

• Python, MySQL(database), 데이터분석 기초

⇒ 기초과정

• 웹(Java Script, Node js), 데이터 분석 심화, 인공지능, 최종 프로젝트

⇒ 주요과정

최종 프로젝트: 멘토님과 의견을 맞춰서 진행하는데, 결과물을 어떻게 보여줄 것인가?

⇒ R을 없애고, 웹을 유지하게 되었다.

• 데이터분석과 인공지능을 연관지어서 진행하게 된다.

데이터분석, 인공지능을 엮어서 진행될 것이다.

방학기간 동안, 프로그램의 기초를 익혀야 한다.

2달동안 프로그램의 감을 알고 있어야 한다.