[1] AI시대 데이터직군 : 풀스택 데이터 전문가로 회귀하다

 

Q : 앞으로 5년 뒤를 가정합시다. 2029년입니다.

일을 할 때 LLM을 전혀 쓰지 않을까요? 아니면 압도적으로 많이 쓸까요?

LLM이 당신이 하는 일을 하나도 못할까요? 아니면 상당량을 대신 할까요?

 

 

A : 내 생각에는 그 때도 쓰고 있을 것 같다. 아니 오히려 많이 쓸 거 같다.
왜냐면 지금 현재도 LLM에 기대고 있고, 점점 익숙해져서 LLM 없이는 일을 하지 못하는 상황이 될 꺼 같다.
음.. 반반정도 할 거 같다.
하드 스킬과 관련된 부분은 LLM이 할 거 같고, 소프트 스킬과 관련된 부분은 내가 하지 않을까..

 

 

 

지금이 어떤 상황인가?

많은 전제가 바뀌고 있다.

데이터가 진짜 성과를 내나? 빅데이터를 다룰 기술이 필요한가? LLM을 어떻게 비즈니스에 쓸 것인가?

 

1. 데이터가 진짜 성과를 내나?

몇 년 전 : 회사면 당연히 데이터팀이 있어야지

몇 년 후 : 데이터 분석해서 크게 잘 되었다는 회사는 어딘가?

왜 성과가 안나왔나?

↓

데이터 리터러시가 올라갈 미래가 올거라 희망했지만 안왔다.

우리가 내부 교육을 열심히 하면 될 거라는 것은 헛된 희망

 

현업자들은 여전히 우리에게 추출 업무를 던지며 다수의 데이터팀이 '인간언어 -> SQL' 번역가로 활동한다.

 

아.. 이건 너무 슬픈 말이지만 실상황인 거 같다.. 웃픈 말...

 

 

2. 빅데이터를 다루는 기술이 필요한가?

몇 년 전 : 우리 회사는 데이터가 커서, 로깅 + 분산처리 빡세

몇 년 후: 많은 기술이 제품화

 

 

3. LLM을 어떻게 비즈니스에 쓸 것인가?

몇 년 전 : ML용 데이터 N년 모아야 한다.

몇 년 후 : 그냥 LLM으로 정확도 따지지 않고 붙여서 출시하기

API 가격도 매우 저렴해지고 있다.

 

 

Full stack data expert

10년 전에는 다 할 수 있던 데이터 사이언티스트가 10년 후에 여러 직종으로 분류되었다.

그리고 지금 다시 한 명이 모든 것을 할 수 있는 상황이 되었고 시대의 요구사항이 되어가고 있다.

 

 

데이터 핸들링

데이터 핸들링 관점 새 패러다임 분산 -> 싱글

- 대용량 데이터 분산처리, 분석 개념이 뜰 때의 컴퓨터 사양 대비 지금 사양이 너무 좋아졌다.

- 회사들의 평균 데이터 크기가 커지는 속도보다 회사가 더 빨리 망했다.

- 컴퓨터와 기반 툴들의 발전이 더 빨라졌다.

 

Ex. Duckdb - 안써본 사람은 써보자.