카테고리 없음
9월 4일 - 개념설명
standingR
2023. 9. 4. 17:53
9월4일
빅데이터 분석 기본기
빅데이터 분석을 위한 데이터 기획 및 탐색1
- 파이썬 소개 및 개발 환경 설정
- 가상환경에 대한 이해
- 변수, 데이터 타입, 연산자 소개
- 조건문과 반복문
데이터 분석가
통계를 통해서 여러가지를 밝혀 내는 학문
데이터가 생성되는 모든 분야에서 데이터 과학자가 필요하지만, 수요의 불균형 존재
- every thing is data is everthing
오리엔테이션
요청 사항
모든 사람의 속도를 맞줄 수는 없다. 하지만, 대부분의 사람에게 속도를 맞출 필요는 있다 → ‘빠르다’, ‘느리다’ 강사에게 계속 정보를 주자.
개발, 분석, 모델링은 ‘내’가 주도적으로 해야한다.
커뮤니케이션 능력 또한 중요하다. → 동기들과 좋은 교육분위기를 만들자
주어진 질문에 ‘정답’을 말하려 하지 말고 ‘자신의 생각’을 이야기 하자.
‘코드’만 치는 개발자는 대체 되기 쉽다.
데이터 직군/ Data job
Data Analyst : 기획자 성향
Data Engineer : 개발자 성향
ML/Al Engineer : 개발자/연구자 성향
Growth Hacker : 기획자 성향
우리는 직접 모델을 만들어서 데이터 엔지니어가 이용
데이터 직군
Data Analyst • 직무 • 데이터에 대한 가설설정하고 분석 후 대시보드를 생성하여 공유 & 시각화 후 동료에게 공유 • 핵심 성과지표(KPI) 설정 : 사내에서 정한 KPI를 모니터링, 수치가 올랐다면 왜? 내려갔다면 왜? 원인 분석
• 요구 능력 • 도메인 지식 [ AARRR, 코호트 , A/B 테스트 등 분석을 위한 방법론 ] • 데이터 분석 능력 [ python(pandas) or R, SQL ] & 시각화 능력 [ python(matplotlib, seaborn…) or R] • 데이터 커뮤니케이션 • 한줄 정리 : 회사내 데이터를 분석해서 시각화 하여 논리적으로 동료에게 잘 보여줘야
데이터 직군 ML/AI Engineer • 직무 • 보통 R&D 조직에 속하며 논문 연구
•ML/DL 모델 개발, 모델 성능 개선 • 요구 능력 • 논문 이해를 위한 영어지식 & 수학 지식 • 구현을 위한 코딩 능력(Python, Pytorch, …) • 머신러닝, 딥러닝 이론, Back-End, SQL, 클라우드 지식 • 데이터 분석가 + 데이터 엔지니어의 지식도 어느정도 필요 • 한줄 정리 : 데이터를 파악하고 기업에서 필요한 모델을 만드는 능력
별도의 태블로 프로젝트
데이터 분석가 필수역량 (현업 105명)
엑셀(하지만 파이썬, 데이터 전처리), 데이터 시각화, SQL
데이터 사이언티스트
파이썬, 마신러닝딥러닝, SQL
모델 구현하기, 코드를 읽고 구현하는 능력
딥러닝 머신러닝의 능력 탑제
데이터 엔지니어
SQL, python, 파이썬
포트폴리오에서 가장 중요한 요건
포지셔닝 기술 적합 여부
논리적인 내용 구성
논리적인 결론 및 인사이트
비즈니스 문제 해결 여부
논리적인 내용 구성과 논리적인 결론 및 인사이트
→ 이걸 하기 위해서는 문제정의와 목적이 중요하다,
비즈니스적인 문제 해결 여부
채용시 가장 중요하게 생각하는 경험
문제정의 인사이트 도출
채용 시 중요하개
sqld - 추천
추천하는 자격증
내가 어떤 논문을 보고 따라 해봤다는 게 중요하다.
q. 자격증은 뭐가 중요한가요?
sqld 만 따기, 토익
경로와 CLI
GUL vs CLI
GUI 자동차 자동변속기 vs CLI 수동 변속기
절대경로 |
상대경로 |
주소까지 다 이야기하는거, 좀 더 확실한 방법 |
동네에서 친구한테 설명, 어디 교회 옆에 쯤이야~현재 위치 기준으로 설명하는것 |
상대경로 절대 경로 질문
: 상위 경로 표시
CLI 명령어
cd 디렉토리 변경
ls 현재 디렉토리의 파일 목록
mkdir ㅣ
변수
데이터를 특정 이름을 붙여 저장함
연산을 쉽게 처리하거나, 큰 데이터를 한번에 불러올 수 있음
여러 형태의 데이터를 하나 이상의 변수로 선언 사능
python에서 변수명을 한글로 선언 가능
변수를 만들 떄는 = (assignment)기호를 사용한다.