빙 챗GPT 비교 테스트 글입니다. 마이크로소프트 빙 (Bing)과 챗GPT 어떤 것을 선택할지 판단이 잘 안서시는 분들을 위해 경험과 테스트를 기반해 선택에 도움을 드리고자 합니다.
관련 블로거들이 앞다투어 빙에 관해 호의적인 포스팅이 계속되고 있을 때, 따라서 포스팅을 해야겠지만 한 발 물러나 실제 활용하며 계속 테스트하고 내린 결론입니다. 마이크로소프트 빙(bing)과 챗GPT 사이에서 아직 결정을 미루신 분들께 조금은 도움이 될 내용입니다.
몇일동안 작성해 글이 좀 긴편입니다. 하지만 빙 챗GPT 비교 선택에 도움이 되시리라 봅니다. 긴 글이라 PC에서 보시는 것을 추천드립니다.
바드도 우회하여 대기자로 넣었으니 곧 바드와의 비교 글도 올려보겠습니다. 현재까지 바드의 완패로 보입니다만.
| 챗GPT | 빙 (Bing) | |
| 탑재버전 | GPT-4 | GPT-4 |
| 비용 | 20달러 (약 26,000원) | 무료 |
| 최신성 | X (2021년 9월) | O |
| 안정성 | 잦은 다운 접속자 폭주 | 안정적인 운영 |
| 답변속도 | 각 모델별 차이 | 빠름 |
| 요약 능력 | 오로지 북붙 (외부PDF사이트 이용) | PDF, 사이트 요약 가능 |
| 입력제한 (1회) | GPT-3.5 : 3,000 단어 GPT-4 : 25,000 단어*1) | 2,000자 |
| 답변횟수 | GPT-3.5 : 제한없음 GPT-4 : 3시간 25회 | 한주제당 15회 |
| 관련링크 (원문포함) | X | 관련 링크 |
*1 : 가끔 OpenAI가 공지없이 공개된 내용을 바꾸는 경우가 있습니다. 첫번째로 챗GPT의 GPT-4 모델 초기에는 4시간동안 100회 질문으로 설정했지만 사용량 부하때문인지, 몇일만에 슬쩍 3시간동안 25회로 변경했습니다. 입력제한도 최초 발표시 25,000 단어까지 입력 가능하다고 했지만 이것마저 사용량 부하였는지 얼마전부터 다시 3,000 단어로 제한이 됩니다. 심지어 이 내용은 테크니컬 리포트에서도 삭제했네요.
빙 챗GPT 비교에 앞서
본격적인 테스트에 앞서 결과를 먼저 요약합니다.
현재 내린 결론은 보고서 작성, 분석이나 업무등 전문적인 활용이 필요하거나, 코딩과 디버깅 용도로서는 챗GPT가 장점이 많습니다. 전문적인 창작면에서도 깊이와 장편의 글을 작성하는등의 전문성면에서 챗GPT가 우위에 있습니다. 하지만 잦은 끊김과 느린 답변 속도, 챗GPT는 26,000원이라는 요금에 비해 떨어지는 가성비가 단점입니다.
일반적인 검색 답변 수준을 원하신다면 마이크로소프트 빙이 좋은 선택입니다. 과제, 간략한 문서 작성 도우미로서 일반적인 정보만 필요로 한다면 무료라는 강점과 안정적이고 손쉬운 사용성이 장점인 빙을 선택하는게 맞습니다. 더구나 빙은 챗GPT와 같은 GPT-4 모델을 사용하고 있습니다. 최신성이 있다는 것은 최신 자료에 접근 가능하고, 이를 토대로 답변의 정확성을 판단할 수 있고, 관련 링크로 좀 더 세부적인 사항을 파악할 수 있습니다.
앞에 말씀드린 내용의 근거는 다음 장부터 테스트를 통해 안내합니다.
챗GPT 장단점
- 보고서등 장문의 전문적인 단일 주제 글쓰기에 유리합니다.
- 학습을 통한 대화, 글쓰기나 요약 가능. 단, 빙처럼 PDF,사이트 요약 불가해 외부사이트 이용해야 함.
- 빙이 검색결과 위주의 답변 제공이라면 챗GPT는 단일 주제로 대화하기에 강함.
- 코딩/디버깅은 대안없이 챗GPT 유료 모델.
- 디테일한 창작에 유리 (유튜브 스크립트, 시나리오, 단편 소설등).
- 미친듯이 느린 속도와 잦은 끊김. 영문 대화 추천.
- 글의 형태와 컨셉에 맞춘 글쓰기 기능. 빙도 톤설정, 전문가 설정이 가능하지만 검색엔진이란 베이스때문에 제한적이나, 챗GPT는 사용자가 어떤 식으로 명령하느냐에 따라 활용도 높음.
- 활용성과 부실한 부가 기능에 비해 높은 챗GPT 유료 요금제 (접속과 속도라도 개선하든가!!!!).
빙 장단점
- 첫째도 둘째도 간편하고 편리한 사용성이 최고의 장점입니다.
- 검색결과를 바탕으로 하는 최신내용을 반영한 답변도 효과적입니다.
- 관련 링크 제공으로 답변의 정확성을 판단할 수 있고, 질문의 확장이 가능합니다.
- 마이크로소프트의 자본력이 빛나는 빠른 속도와 끊김없는 환경을 제공합니다.
- PDF 요약, 사이트 요약이 가능하다.
- 간편하게 답변 형태를 선택할 수 있는 인터페이스.
- 더구나 이 모든 것이 무료!!라는 점.
- 단, 모든 결과가 검색 결과 위주의 낮은 수준의 답변, 깊이있는 전문적인 주제 대화에 한정적입니다.
빙 챗GPT 비교 – 플랫폼별 특징 테스트
빙 챗GPT 비교를 위해 작은 테스트를 진행합니다. 같은 GPT-4 모델이지만 탑재된 형태가 틀리기에 활용도에서 차이가 있다고 생각합니다.
매번 이러니 저리니 말만하면 추상적이라 이해하기 힘드실테니 재미난 실험을 하나 준비했습니다.
이 테스트를 통해 두 인공지능의 특징과 방향을 파악하는데 도움이 되실겁니다. 물론 어떤 모델을 선택하느냐도 도움이 되실겁니다.
이번 테스트는 기업분석보고서 하나를 골라 약 1,000자 정도를 발췌해 입력 시킵니다. 단, 아무런 명령을 포함하지 않고, 중간에 문장을 끊어버려 미완성된 문서로 입력합니다. (동일 조건 3회 테스트)
테스트 모델은 빙이 GPT-4모델이므로 챗GPT도 동일하게 GPT-4모델입니다.
아래 기업보고서중 일부 맨 끝 줄은 의도적으로 ‘레이저 기술을’까지만 끊어 입력합니다. 아래 내용외 일체 명령없이 내용만 입력합니다.
빙의 경우는 ‘채팅 탭’과 초안 생성하는 ‘작성 탭’으로 나뉘어져 두 탭 모두 적용했습니다. 블로그 특성상 답변 전문을 담지 못하고 답변 내용을 이미지로 처리한 것은 양해 부탁드립니다.
01) 빙 (BING) 채팅창 테스트 결과
빙의 채팅창은 예상한 것처럼 요약을 하거나, 사용자의 요청이 없다며 답변을 주지 않았습니다. (응답 톤 : ‘정확함’,’창작’) 영문으로 답변을 주었고, 한글 번역시 약 830자 정도로 요약이 됩니다. 답변 속도는 상당히 빠른 편으로 약 12초 정도였습니다.
응답톤 ‘창작’으로 설정시 번역하라는 걸로 판단해 번역을 합니다. 예상한 결과입니다. 그외 장점은 역시 최신성을 포함해 답변 ‘끝에 뭘 더해줄까?’, ‘관련 회사에 대해 더 알려줘?’의 추가적인 대응와 관련 링크를 제공하는 것은 장점중 하나입니다. 최신성이 짱.
02) 빙의 작성창 초안 생성 테스트 결과
모르시는 분들이 많지만 빙 채팅 탭의 ‘작성’을 활용하시면 좀 더 전문적인 답변을 얻을 수 있습니다. 또 사용자가 지정한 형식으로 답변이 가능하고요. 테스트 내용은 동일하고 전문가 톤으로, 단락 형태로, 길이는 보통, 길게 모두 테스트했지만 답변량의 차이는 크지 않았습니다.
결과는 무조건 요약을 합니다. 요약 상태도 좋고, 답변량은 1,430자, 답변 시간은 28초로 챗GPT에 비하면 아주 빠른 편입니다. 회사명이 기재되지 않았는데도 텍스트를 분석해 검색을 통해 입력하지 않았던 내용도 채워서 요약을 해줍니다. 내용도 거짓없이 정확했습니다.
역시 최신성을 포함한 빙 (Bing)의 위력을 보여주는 결과였습니다. 일반적인 사용자, 일반 업무 사용이라면 빙으로도 충분히 활용 가능하다는 증명입니다. 무엇보다 같은 GPT-4 모델임에도 S/W 글로벌 원짱 마이크로소프트의 서버 환경과 자본력때문인지 정말 쾌적한 답변 속도는 챗GPT에 비해 엄청난 장점입니다.
단점은 3번의 테스트에서 2번은 중간에 답변이 끊겨 글이 완성이 되지 않았습니다. 빙 작성탭에서 답변이 끊기면 챗GPT처럼 ‘계속해’나 ‘more’를 입력할 수 없습니다. 하지만, 이런 성능과 결과물을 무료로 이용하는데 단점이라 생각할 수 없습니다.
3) 챗GPT 테스트 결과
빙 챗GPT 비교를 위함이니 테스트 조건은 같습니다. 모델은 GPT-4, 관련 내용을 학습시키지 않았습니다.
우선 보고서, 제안서등 장문의 문서 작업이 많으신 분들은 주목하세요. 전 빙이 마음에 들면서도 아래의 이유로 아직 챗GPT 유료를 해지하지 못하고 있습니다.
테스트 결과 마이크로소프트 빙 의 두 가지 모드와 다른 결과를 보여줍니다. 이 결과로 챗GPT 유료를 진행하실 분들이 추려질 것으로 보입니다. 적어도 결정에 약간의 도움은 되시리라 봅니다.
테스트 결과 챗GPT는 의외로 요약이 아닌 창작을 합니다. (총 3회 테스트 동일 답변)
당연히 요약을 할 것이라는 생각과 달리 한참만의 로딩끝에 챗GPT가 주는 답변은 의외로 앞의 글을 이어서 계속 써주는 답변 형태입니다. 아무런 명령도 없고, 글이 마무리가 안된 것을 분석하고 입력된 글의 톤을 바탕으로 그 톤에 맞게 글을 지어가는 모습을 보입니다. 더구나 보유한 데이터를 추가하여 보고서의 형태로 완벽하게 완성합니다. 어쩌면 저보다 잘 쓰네요.
“음.. 미완성된 리포트를 주셨군. 그럼 내가 아는 선에서 주인님 스타일로 계속 써드려야지” 이렇게 인지를 한거라 예상합니다.
마이크로소프트 빙이 입력된 내용을 통해 단순히 요약이라는 형태에서 머문다면, 챗GPT가 빙보다 놀라운 점은 문서의 완성 정도와 흐름을 통해 사용자의 의도를 추론한다는 것입니다. 챗GPT를 사용하며 가끔 놀라는 점은 계속 나의 의도를 파악하고 있다는 점이 느껴진다는 것입니다.
질문이 없었음에도 미완성된 보고서라는 점을 파악해 보고서가 가진 그 톤을 유지하며, 문서 형태에 기반한 양식 즉, 기업보고서라는 형태를 파악해 나머지 내용을 완성합니다. 정확히 그 보고서의 형태와 어조로 말입니다. 물론 중간중간 관련 내용이 빈곤하니 의미없는 말짓기도 보이지만 기업의 미래 가치를 예상하는 방향으로 마무리 짓는 보고서의 정석으로 마무리합니다.
위의 결과는 빙과의 차이점을 극명하게 보여줍니다. 문서를 분석하고, 형태를 파악하고, 주어진 내용을 바탕으로, 문서가 가진 양식과 흡사한 형태로 창작을 한다. 우리가 인공지능에 바라는 대부분의 것입니다. 하지만… 느리고 학습이 필요하고 끊깁니다… 급한 때 답변하다 멈추면 정말 모니터에 휴대폰을 던질뻔한 적도 많습니다. 그 장문을 다시 답변받아야 하니…
두 모델을 모두 사용하다보면 과연 같은 GPT-4모델이 맞는가 싶을 정도입니다. 어쩌면 당연한 결과로도 보이고요.
빙은 검색엔진이라는 정해진 틀에 탑재된 특성상 리소스를 절약하면서도 간결하고 요약된 정보를 다룰 수 밖에 없는 환경이고, 챗GPT는 태생부터가 인간을 보조하는 역할로 시작한 모델이니까요.
마이크로소프트 빙은 좀 캐쥬얼한 느낌이고, 챗GPT는 하드한 느낌이라 표현하고 싶습니다.
긴 보고서를 작성하시는 분들은 아시겠지만, 보고서 작성이 힘든 점은 데이터를 나열하기는 쉽지만, 데이터를 엮고, 연결시키고 마무리 짓는 과정이 꽤 피곤합니다. 챗GPT는 그것이 가능합니다. 이렇게 말씀드리면 이해가 안되실지 모르지만 예를 들겠습니다. 사실 아직 서투르지만 제가 활용하는 방식이기도 합니다.
만약 보고서 작성중 진행이 막히는 시점에 챗GPT에게 작성중이던 그대로 던져 넣으면 앞의 톤을 분석해 계속 글을 만들어 간다는 점입니다. 무릎치시는 분들이 계실지도 모르겠네요. 물론 알맹이가 부실할 수 있지만 챗GPT가 글의 방향을 만들어 주고 뚫어줄 수 있다는 것입니다. 보고서, 분석, 제안서, 논문등 글을 많이 작성하시는 분들께는 정말 엄청난 포인트입니다. 일의 속도와 생산성이 틀려집니다.
중간에 빠진 부분이나 추가하거나 빼고 싶은 부분이 있다면 다음 질문에 내용을 추가하거나 삭제하라는 첨삭 지시로 해결됩니다.
물론 단점도 많습니다. 유료 모델인데도 불구하고 위의 결과 이미지에 보이듯 한글 답변은 정말 자주 멈춥니다. 테스트중 1,400자 정도 답변하는데 무려 4번을 멈춥니다. 더구나 엄청나게 느린 속도입니다. 앞서 빙이 1,430자 작성하는데 28초라면 챗GPT는 1,280자 답변주는데 무려 2분여가 소요되었습니다.
더구나, 이번 업데이트에 기대했던 한번에 25,000 단어 입력도 과부하 문제인지 슬며시 기존처럼 3,000자로 축소해 문서 긁어넣어 학습시키기 무지 귀찮습니다.
영문이 답이긴 합니다만 테스트라 똑같은 한글 환경에서만 테스트했습니다. 그리고 이런 보고서의 경우 작성의 톤이 중요해 번역하기에도 좀 애매한 면이 있고요.
*작은 사용팁.
장문의 문서를 학습, 많은 답변 필요시 명령문을 영어 혹은 단어 혹은 단문으로 해주세요. 한글이 영문보다 토큰값이 크니 무조건 한 세션에서 글을 아껴야 합니다. 긁어 넣는 것도 짜증나는데 실컷 관련 글 학습시키놓고 답변받다 끊기면 억울하니까요.
- 롯데타워 가려고 해. 가장 빠른 길 추천해 줘. 부탁해 (X) -> 롯데타워 가는 최적길 추천(O)
- 계속해줘 (X) -> more 혹은 계속
- 코딩시 함수설명 필요없다면 ‘설명 제외’로 답변 시간 단축.
- 원원문 요약시 글이 너무 짧게 요약될 경우, 명령 다음줄에 아래 파라미터와 원하는 단어 분량 지정. 딱 맞추지는 못해도 비슷한 분량으로 맞춰줍니다. (원문 길이를 넘어가지 못함.)
length: 500 words (답변길이를 단어수로 지정, 500 words 면 한글 글자수로 약 3,000자)
기타 챗GPT 유용한 파라미터를 확인하시려면 다음 글에서 확인하세요.
빙 챗GPT (GPT3.5와 GPT4 차이) 비교 코딩 능력
약간의 웹언어외 전문 코딩 지식이 없어 얄팍한 안내가 될 수 있는 점 미리 말씀드립니다. 반대로 코딩을 모르는 사람도 일명 ‘노코딩’으로 코딩이 가능하다는 점은 말씀드리려 포함합니다.
사실 코딩 부분은 딱히 논할 필요가 없습니다. 챗GPT 코딩 분야는 무조건 유료로 가셔야 합니다. 빙은 프로그램을 요청하면 코딩 만드는 사이트를 연결하거나, 코딩에 쓰일 함수 정도 알려주는 정도입니다. 그러므로, 코딩은 빙 챗GPT 비교를 논할 수 없습니다.
GPT-4 모델의 변화중 코딩 능력이 기존에 비해 약 10% 이상 향상되었습니다. 실제 시연 장면을 보았는데 결과물의 결이 다릅니다.
많이들 관심있는 로또 만드는 프로그램을 만들라는 명령을 GPT-3.5와 GPT-4로 작성해 봅니다. 그림은 오른버튼-새 탭에서 이미지 열기로 확대 가능합니다. 질문 내용은 아래와 같습니다.
1) 로또 번호 추천하는 파이썬 프로그램 코드 만들어, 설명 제외.
2) 새로만들기 버튼을 만들고 버튼을 누를 때마다 새로운 번호를 추천하는 코드 추가. 설명 제외.
무료 버전과 유료인 GPT-4와 차이가 큽니다. 코딩은 결과값은 같아도 코드가 간결할수록 효과적이고, 유지/보수도 쉬운만큼 확실히 간결하게 코드를 만들어 줍니다. 그리고 사용팁 하나는 불필요한 설명으로 시간 뺏기지 않도록 ‘설명 제외’같은 말로 최대한 답변도 간단하게 받으시면 토큰값도 문자 수 절약도 가능합니다. 더구나 느려터진 GPT-4의 답변속도를 그나마 줄이고요. 그나마 GPT-3.5는 ‘설명 제외’란 말도 못알아 듣지만 챗GPT-4는 찰떡같이 알아 듣습니다.
분야에 있는 분에게 물어 ‘디버깅’면에서도 훨씬 믿음직스럽다는 답변을 얻었습니다. 기존에 디버깅은 실수도 잦고 의미없는 디버깅 작업이 많아 오히려 에러를 유발하는 경우도 있었다는데, GPT-4에서는 많이 개선되었다고 합니다.
이런 단순한 프로그램도 이 정도 차이라면 GPT-4가 많이 개선된 것은 확실해 보입니다.
빙 챗GPT 창작 능력 비교
소설, 시같은 것보다 좀 실용적인 예제를 만들어 봅니다. 근래 유튜브에서 하루에 30만원씩 번다는 (ㅋㅋㅋㅋ) 어그로성 영상들이 말하는 쿠팡파트너스 유튜브 스크립트를 빙 챗GPT 비교를 위해 만들어 보았습니다.
소설이나 시나리오 창작에 대한 챗GPT 활용이 궁금하시면 아래 글도 참조하세요.
정말 이런 결과를 그대로 붙여넣어 30만원씩 벌기는 힘들지만, 작문이 힘든 제작자 분들에게 좋은 초안을 만들어 주는 것은 사실입니다.
약 5분 정도의 유튜브 스크립트 제작. 무소음 키보드 찾는 사용자들을 위한 영상. IT 전문가 톤으로 설명
빙은 검색결과를 통해 실제 무소음 키보드 추천하는 스크립트를 만들어 줍니다. 하지만 형식면에서도 내용면에서도 스크립트로서 아쉬움이 많습니다. 실제 추천하는 키보드도 적합하지 않고 고가의 키보드 위주이고, 무엇보다 답변이 3번 모두 완성되지 못하고 끊겼습니다.
챗GPT는 답변을 마치기까지 9분이나 소요되고, 무려 5번이나 멈춥니다. 한글은 역시 쥐약입니다. 되도록 영문으로 하세요. 하지만, 교과서적인 스크립트 부분도 있지만 수정해서 바로 사용해도 될만큼 유튜브 스크립트 구조에 충실한 내용과 시간대를 효과적으로 나눠주고, 최신성은 떨어지지만 예전 데이터로 제품 추천도 포함합니다. 무소음 키보드에 관한 간단한 설명도 추가하여 원래 의도에 가장 충실한 스크립트를 만들어 줍니다.
속도면만 해결이 된다면 챗GPT쪽이 훨씬 실사용에 빠르게 적용할만한 결과값을 만들어 줍니다.
스크립트, 창작물의 경우는 적당한 명령과 얻고 싶은 내용을 최대한 유도하거나 학습시키면 좀 더 괜찮은 결과를 만들 수 있을 것으로 보입니다.
역시 전문적인 창작 영역으로 GPT를 이용하시려면 빙보다는 챗GPT쪽이 효과적이라고 생각됩니다.
여기까지 테스트는 마치겠습니다. 물론 개인적인 테스트이니 참고용으로만 확인하시고, 제가 놓친 부분이나 오류가 있으면 댓글 부탁드립니다. 수정 또는 보완토록 하겠습니다.
빙 챗GPT 창작 능력 비교를 마치며
빙 챗GPT 비교를 위한 테스트를 마칩니다. 확실히 사용 방법과 용도에 따라 선택이 달라질 수 있어 딱 어떤게 좋다는 결론을 내기 힘들다로 결론을 마칩니다. 오롯이 사용하시는 분의 용도에 따라 선택해야 되는 결과로 보입니다.
하지만, 좀 더 전문적인 사용을 위해서는 챗GPT에 높은 점수를 주고 싶습니다. 그래도 고질적인 매우 느린 답변 속도와 끊김, 유료임에도 불구하고 제한된 질문 수, 성능대비 높은 요금제는 여전히 아쉽습니다.
매번 간단한 결과로도 충분한 일반 사용자라면 굳이 26,000원을 지불하고 챗GPT를 선택할 이유가 없을만큼 빙도 충분히 매력적이고, 빙의 답변을 통해 수정해가며 추가적인 질문으로 작업한다면 나름대로 전문적인 부분도 가능합니다.
들인 시간대비 썩 괜찮은 내용의 글로 완성되지 못해 과연 선택에 도움이 되실까 모르겠습니다. 하지만 개인적으로 확실히 빙과 챗GPT의 능력을 테스트해 볼 좋은 기회였습니다.
