2024 자동차 데이터 분석 경진대회 - 마무리(24.10.15 - 24.10.17)[3]

 

최종 결과만 먼저 말하자면

 

PUBLIC 62등(0.81151), PRIVATE 47등(0.78959)을 하게 되었다.

PUBLIC

PRIVATE

 

 

 

마지막 제출 구조에 대해서 설명하자면, 

 

전의 프롬프트 구조가 

- 영어로 입력 -

[1] 역할 정의

[2] 답변 구조 정의

[3] 임무 수행 과정

[4] 검토 실시

 

로 마무리 되었었는데, 여기에 추가적으로 내용을 더하고, 양식을 수정했다.

 

 

추가 ,양식 수정한 내용 

1. 인덱스를 명확하게 표현

주제목, 부제목 등 세부적으로 나누듯이 대괄호, 소괄호 등을 사용하여 프롬프트를 좀 더 구조화 시켰다.

 

2. "검토 실시" X => "반드시 따라야 하는 의무" O

"검토 실시" 단계를 제거하고 "반드시 따라야 하는 의무"로 바꿔 GPT가 이 행동을 실시하도록 변경했다.

 

3. 임무 수행 과정 수정

Step Reasoning으로 바꿨다.

우선 Step 1, 2, 3 방식으로 제시를 했으며, 이 과정에서 주의점은 **로 나타내어 강조해 좀 더 잘 알아들을 수 있게 변경했다.

또한, Reasoning을 물어 다시 한번 더 GPT가 생각할 수 있게 변경했다.

 

 

아쉬웠던 점 & 느꼈던 점 

1. 제출 기회가 5번이였다.

애초에 LLM 자체가 답변이 일정하지 않아, 같은 프롬프트여도 답이 들쑥날쑥이였고 사실 5번 다 0점 나올수도 있는데
기회만 조금 늘려줬으면 좋았을 거 같다..
(우리는 Credit을 구매해서 제출하기 전에 10번씩 테스트 하고 결과 확인 후 제출했음에도 불구하고 0점이 나왔었다..)

물론, 강건한 프롬프트를 만드는게 이 대회의 목적이지만..

 

2. CoT, FewShot Prompt 방식 실패

당연히 완벽하게 구조를 짜지 못했던게 큰 문제였다고 생각한다.

하지만, 어느정도 구실은 할 정도로 짰기에 점수를 더 얻을 수 있을거라고 생각했는데 오히려 더 떨어졌다.

물론 GPT 3.5이기에 그럴 수 있다고 생각은 들었지만 그래도 이참에 좀 더 공부를 해봐야겠다고 생각했다.