비전공자의 약점 탈출하기
데이터 분석 개요
데이터의 정의 : 추론과 추정의 근거를 이루는 사실.
빅데이터 = 대량의 모든 데이터, 데이터의 가치와 결과분석 기술, 빅데이터 플랫폼 등장 [하드웨어,소프트웨어,어플리케이션],대규모의 데이터 관리 기술.
/*모든 – 과거엔 행/열과 같은 정해진 틀인 스키마 안에 있는 데이터를 말했으나 지금은 정해진 형태가 없는 비정형의 상태인 그림, 영상, 음악, 텍스트 문서도 포함된다. 그리고 그 모든 것에서 가치 추출하는 기술이 있다는 뜻.*/
<< 대용량의 트래픽이 증가했을 때 ai전문가나 프로그래머가 어떻게 대처하는가>>
*관련 직업 : data scientist , date analyst, date engineer , 빅데이터분석기사
빅데이터의 특징 :
3V (volume variety velocity)> 4V (veracity) > 5V (value)
데이터 분석 및 시각화
데이터의 특징을 확인하고 패턴, 관계, 통찰을 도출
기획 > 수집 > 저장 > 처리 1> 분석 > 시각화2 > 활용
활용사례 : 마케팅 캠페인 성과 분석, 고객 행동 패턴 파악, 비즈니스 전략 수집
데이터 분석 도구
python : 데이터 분석 + 응용 프로그램 개발 + 웹 개발
anaconda : 데이터 분석 : 데이터 과학자, 분석가, 개발자를 위한 통합 패키지
파이썬 패키지
*NumPy : 다차원 행열 연산 및 수학적 계산을 위한 라이브러리
*pandas : 데이터 전처리 및 분석을 위한 데이터프레임 및 시리즈 제공 라이브러리 [엑셀,r디비 같은 데이터 프레임의 형태로 파이썬에 가져온다]
*matplotlib : 다양한 차트와 그래프를 그릴 수 있는 데이터 시각화 라이브러리
*seaborn : 데이터 시각화를 지원하는 matplotlib 기반의 라이브러리
*SciPy : 과학 계산 및 수치 해석을 위한 고급 수학 및 통계 함수 제공 라이브러리
*scikit-learn : 머신러닝 모델 구축 및 데이터 마이닝을 위한 라이브러리
*statsmodels : 통계 모델링, 회귀 분석, 시계열 분석을 위한 라이브러리
*TensorFlow : 딥러닝 및 인공신경망 모델을 구축하는 오픈소스 라이브러리
*Keras : TensorFlow 기반의 고수준 딥러닝 라이브러리
*XGBoost : 고성능 그래디언트 부스팅 알고리즘을 제공하는 머신러닝 라이브러리
*NLTK : 자연어(NLP)를 위한 텍스트 분석 및 언어 처리 라이브러리
인공지능 > 머신러닝 > 딥러닝
딥러닝 : CNN RNN LSTM GRU
CNN : 합성곱신경망 : convolutional neural network : 영상 처리에 많이 활용되는 합성곱 : 데이터 특징 분석 패턴 파악 convolution pooling
-VGG16, InceptionNet, ResNet, EfficienNet
DNN : 완전 은닉된 레이어 계층 : 분류, 예측
문자/언어 (RNN, 트랜스포머): 언어는 ‘순서’가 중요합니다. “나는 사과를 먹었다”와 “사과가 나를 먹었다”는 완전히 다르죠. 그래서 시간적/순차적 흐름을 기억하는 다른 구조의 모델을 사용합니다.
왜 그래픽 카드가 AI에 더 유리한가?”에 대해 조금 더 파고들면 그 차이가 명확해집니다.
1. CPU(일반 메모리) vs GPU(그래픽 카드)의 차이
우리가 흔히 말하는 컴퓨터의 메모리(RAM)와 CPU는 ‘똑똑한 일꾼’과 ‘잘 정리된 창고’의 관계입니다.
- CPU: 매우 똑똑하지만, 한 번에 처리할 수 있는 업무의 양이 적습니다(직렬 처리). 어려운 수학 문제나 복잡한 논리 구조를 순서대로 푸는 데 최적화되어 있죠.
- GPU: 단순한 일꾼 수천 명이 동시에 달려드는 방식입니다(병렬 처리). 행렬의 모든 숫자에 5를 곱하는 것 같은 단순한 작업을 한꺼번에 처리하는 데 최적화되어 있습니다
객체 탐지 알고리즘
classification은 “뭐가 있는지”, localization은 “어디에 있는지”고, 프롬프트의 객체/배경은 classification 쪽에 가깝고 위치 지정은 별도로 해줘야 해요(그냥 분위기·객체·배경만 쓰면 위치는 모델이 알아서 배치함).
번호 매기는 거(“1번 subject, 2번 subject”) — 저 같은 언어모델 [Gemini]입장에서는 그렇게 구조화해주면 각 객체에 뭘 붙일지 헷갈릴 여지가 줄어서 확실히 더 잘 따라가요.
근데 실제 이미지 생성 AI(미드저니, 스테이블 디퓨전 같은 diffusion 모델)한테는 얘기가 좀 달라요. 그냥 평문으로 “1번, 2번” 써도 어느 정도 도움은 되지만, 객체가 2개 이상이면 “색깔이나 특징이 다른 객체한테 잘못 붙는” 문제(속성 혼동)가 원래 자주 발생하는 약점이에요. 그래서 미드저니는 “::” 같은 구분자를 따로 지원해서 각 서브젝트를 진짜 분리시켜주는 문법이 있어요 — 이런 전용 문법을 쓰는 게 그냥 “1번, 2번” 텍스트로 쓰는 것보다 실제로는 더 확실해요.
쉿
Inhye's (Level-up Note) 