[ChatGPT] ChatGPT 리뷰 - 금융관련 질의로 테스트

얼마전 OpenAI에서 ChatGPT를 공개해서 화제가 되고 있다.

 ChatGPT는 대형 언어모델인 'GPT-3.5' 시리즈의 대화형 모델로, 해당 시리즈에는 자연어처리 모델인 '다빈치-003'도 함께 공개되었다.

자세한 정보는 아래 홈페이지에서 확인 할 수 있다.

 

https://openai.com/blog/chatgpt/

ChatGPT: Optimizing Language Models for Dialogue

 

답변 퀄리티가 굉장히 좋아서 반응이 뜨거운 상태. 심지어 코드까지 잘짜준다고 한다.. 무서울 지경이다. 

 

금융권에서 자연어처리, 특히 QA랑 검색을 개발하는 사람으로써,,ㅎ

금융 관련 질의를 ChatGPT가 어떻게 답변하는지 테스트를 진행해보았다.

 

didi : 안녕하세요

ChatGPT : 안녕하세요! 저는 Assistant입니다. 질문이 있으신가요?

didi : 금융 관련 질문을 하고 싶은데요

ChatGPT : 금융 관련 질문이 있으신가요? 저는 다양한 금융 관련 질문에 답변해드릴 수 있을 것 같습니다. 무엇을 도와드릴까요?

 

상당한 자신감의 ChatGPT.. 워낙 라지 스케일 코퍼스로 학습을 했을테니 당연히 일반적인 금융 코퍼스는 포함해서 학습을 했을 것이다.

구체적으로 금융 상품에 대해 질의해보았다.

 

didi : 버팀목 전세 대출 신청 자격을 알고 싶어요

ChatGPT : 버팀목 전세 대출은 일반적으로 주택 전세 대출과 유사한 조건을 적용합니다. 신청 자격을 확인하려면 은행 또는 신용보증 회사에 문의하시는 것이 좋습니다. 일반적으로 신청 자격은 다음과 같을 수 있습니다:

- 성인입니다.
- 신용등급이 우수합니다.
- 재직 증명서를 제출할 수 있습니다.
- 전세계약이 유효합니다.

단, 이는 일반적인 조건이며 적용되는 조건은 은행 또는 신용보증 회사마다 다를 수 있으니 자세한 내용은 관련 기관에 문의하시기 바랍니다.

제법 그럴싸하게 일반적인 전세대출 신청 자격에 관한 사항을 안내하고 자세한 내용은 해당 기관에 문의할 것으로 우회한다. 

대단한데...

 

지금 같은 고금리 시대에 금리에 대해서 안 물어볼 수가 없지.

 

didi : 현재 신용대출 금리가 어느정도 되나요?

ChatGPT : 저는 현재 신용대출 금리에 대한 정보를 알고 있지 않습니다. 신용대출 금리는 여러 요인에 영향을 받으며, 은행마다 다를 수 있습니다. 그래서 신용대출 금리에 대해서는 은행 또는 신용보증 회사에 문의하시는 것이 좋습니다. 은행 또는 신용보증 회사에서 제공하는 신용대출 상품을 비교해보시면 최적의 상품을 선택하실 수 있을 것입니다.

금리에 대해서도 매우 잘 답변한다.. 원래 금리는 딱 특정해서 말하기가 어렵다.

 

이번엔 펀드 하나 좀 추천해달라고 쫄라봤다.

didi : 펀드 하나 추천해 주실 수 있나요?

ChatGPT : 저는 펀드를 추천하는 것은 적합하지 않다고 생각합니다. 개인의 투자자금과 목표, 리스크 수준, 자금 운용 목표 등에 따라 투자 전략이 달라질 수 있으므로 개인의 상황을 고려한 투자 전략을 세우기 위해서는 전문가와 상의하는 것이 좋습니다. 자세한 내용은 은행 또는 재무 상담 기관에 문의하시는 것이 좋습니다.

이번에도 영리하게 잘 답변했다.. 말을 너무 똑똑하게 잘해서 재수없게 느껴질 정도다.

그래서 다음엔 좀 더 디테일하게 질문해봤다.

 

didi : 금융 상품의 투자위험등급은 어떻게 나눠지나요?

ChatGPT : 금융 상품의 투자위험등급은 금융권에서 규정한 규칙에 따라 나눠집니다. 일반적으로 투자위험등급은 1~7까지의 숫자로 표시되며, 높은 숫자가 낮은 숫자보다 높은 위험을 의미합니다. 대부분의 경우 투자위험등급은 다음과 같이 나눠집니다.

- 1등급: 매우 저위험
- 2등급: 저위험
- 3등급: 중간위험
- 4등급: 높은위험
- 5등급: 매우 높은위험
- 6등급: 극도로 높은 위험
- 7등급: 매우 극도로 높은 위험

하지만 이는 일반적인 규칙이며, 적용되는 규칙은 은행 또는 신용보증 회사마다 다를 수 있으니 자세한 내용은 관련 기관에 문의하시기 바랍니다.

... 내가 졌다. 더이상 금융 특화 QA 데이터/모델을 만드는게 무의미하게 느껴질 정도의 성능..

 

좀 더 집요하게 특정 서비스/상품에 대해 물어보았다. 당연히 해당 데이터는 없겠지만.. 치졸하게 느껴져도 어쩔 수없다..

 

didi : 전용 어플리케이션을 이용해 신한 삼성 페이 서비스에 가입하는 방법은 무엇인가요?

ChatGPT : 제가 알려드릴 수 있는 정보가 아니라고 생각합니다. 신한 삼성 페이 서비스에 가입하는 방법은 신한은행과 삼성전자가 제공하는 전용 어플리케이션을 통해 가입할 수 있습니다. 어플리케이션을 다운로드하고 가입 절차를 진행하면 됩니다. 자세한 내용은 신한은행과 삼성전자가 제공하는 어플리케이션을 이용하시거나, 고객센터로 문의하시는 것이 좋습니다.

역시나 해당 데이터가 없기 때문에 알려드릴 수 있는 정보가 아니라고 답변한다. 그런데 나름 질의문에 있는 키워드를 활용해 대답을 내놓는다... 그만....

 

마지막으로 하나만 더. 진짜 심각하게 구체적으로 상품에 대해 질의를 해보았다.

 

didi : 한국투자 중소밸류 증권 자투자신탁(주식) 종류 A1의 운용사는?

ChatGPT : 한국투자 중소밸류 증권 자투자신탁(주식) 종류 A1의 운용사는 이나라금융투자(주)입니다. 이나라금융투자는 중소벤처기업의 자금 조달 및 자금 운용 등을 위한 자금운용 전문 기관입니다. 한국투자 중소밸류 증권 자투자신탁(주식) 종류 A1은 중소벤처기업의 주식을 주요 운용자산으로 하는 신탁입니다. 자세한 내용은 이나라금융투자(주)의 홈페이지나 고객센터로 문의하시는 것이 좋습니다.

드디어 오답을 냈다! 심지어 오답마저도 매끄럽게 문장을 생성해서 답변하긴 하는데.. 어쨋든 오답이다 이말이야.

아래 텀즈다운 버튼을 누르면 피드백을 보낼 수 있다. 

정답은 한국투자신탁응용! that is not true 로 피드백을 보내줬다. 안알려주려다가...  

 

이상으로 테스트를 마쳐보았다.

생각보다 더 답변을 잘해서.. 역시 라지스케일 데이터셋이면 다 해결되는건가 싶은... 허무할 지경이다ㅎㅎ 대단함!