최소한의 인공지능 구조 원리 파악 > 빅데이터란

ChatGpt, Claude Code, Gemini 등을 사용하면서 최소한 어떻게 동작하는지? 어렵지만 조금이라도 이해해보고 사용하자

빅데이터란

기술 발전에 따라 다양하고 풍부한 데이터가 지속 생산됨에 따라, 이 데이터를 방치해둘것이 아니라 "자원으로 인식하고 분석해 가치를 발굴하자" 라는 인식전환 패러다임.

데이터 분석 모델

생산된 데이터를 실제로 활용하기 위해서는 적절한 분석 모델이 필요

데이터의 특성과 목적에 따라 다양한 분석 기법을 선택할 수 있으며, 크게 확률/통계 기반 기법과 기계학습 기법으로 나눌 수 있다

 

아래는 회귀 분석법의 예이다. 확률/통계 기반 기법이면서 기계학습의 머신러닝의 기본 알고리즘으로도 사용된다.

 

아이스크림 가게 주인이 아래처럼 최고기온, 강수확률, 주말여부에 따른 판매량 데이터를 가지고 있을 때 해당 데이터를 바탕으로 미래에 적당핸 아이스크림 재고량을 예측해 보자

날짜	최고기온(°C)	강수확률(%)	주말여부	판매량(개)
1일	20	10	0 (평일)	50
2일	22	0	0	70
3일	25	20	1 (주말)	95
4일	28	5	0	100
5일	30	0	1	135
6일	18	60	0	25
7일	27	15	1	105
8일	23	30	0	55
9일	31	0	1	145
10일	26	10	0	90

 

y = w₁x₁ + w₂x₂ + w₃x₃ + ... + wₙxₙ + b

y = Σᵢ₌₁ⁿ wᵢxᵢ + b

y = 종속 변수 

xₙ= 독립변수

wₙ = 가중치

b = 편향

 

독립변수 (원인):

• x₁: 최고기온 (°C)
• x₂: 강수확률 (%)
• x₃: 주말여부 (평일=0, 주말=1)

종속변수 (결과):

• y: 판매량 (개)

회귀식 결과 : y = 4x₁ - 0.5x₂ + 25x₃ - 30

 

맑은날

• 기온 29°C, 강수확률 5%, 평일
• y = 4(29) - 0.5(5) + 25(0) - 30
• y = 116 - 2.5 + 0 - 30 = 83.5개

→ 약 84개 준비

 

흐린날

• 기온 25°C, 강수확률 40%, 주말
• y = 4(25) - 0.5(40) + 25(1) - 30
• y = 100 - 20 + 25 - 30 = 75개

→ 75개 준비 

 

이 외에도 아래와 같은 기법들이 있음. 

확률 통계 기반 기법

• 상관관계분석
• 분산분석
• 교차분석
• 군집분석

기계학습

• 의사결정나무
• 랜덤포레스트
• 딥러닝

"딥러닝이란 빅데이터의 기법중에 하나이다."