챗GPT로 촉발된 검색 엔진(Bing)과 AI의 융합! 문제점은?

'ChatGPT'로 대표되는 대화형 AI와 검색엔진을 융합하는 움직임이 가속화되고 있다. 마이크로소프트나 구글, 바이두 등의 기업이 개발에 임하고 있지만, 정보의 정확성의 이해나 “가짜 정보”의 생성, 정보의 업데이트, 광고와의 친화성, 운용 비용 등, 해결해야 할 과제가 산적해있다.

 
한때 구글에 근무했던 기계 학습 전문가 장 첸은 처음으로 대화형 AI 'ChatGPT'를 사용했을 때 그 훌륭함에 완전히 감탄 했다 . ChatGPT는 인공지능(AI) 으로 알려진 OpenAI 가 개발한 채팅봇으로 일관성이 뛰어난 문장을 생성함으로써 인터넷에서 센세이션을 일으켰다.

거기서 첸이 공동 창업한 스타트업의 Moveworks에서는, 기초가 되는 AI 테크놀로지에 ChatGPT와 같은 것을 사용하는 것으로, 보다 뛰어난 검색 툴의 구축을 시도했다. 그 결과, 이 기술의 기운은 희미해져 버린 것이다.

Moveworks는 직원에 의한 기술 지원 문서 및 인사 페이지 등의 정보의 폐기 선택에 AI를 활용하고 있다. 첸이 구축한 새로운 AI 검색 툴은 주소나 전화번호의 추출을 비롯해, 그 문서로부터 모든 종류의 유용한 정보를 끌어내는 것이 뛰어났다. 그런데 실은 그 일부는 진짜가 아니었다.

 

ChatGPT를 따르는 움직임이 활발!

ChatGPT를 둘러싼 열광적인 흥분과 ChatGPT가 검색 엔진을 새로 고칠 수 있다는 많은 의견을 내놓고 있다. 챗봇은 알고리즘을 트레이닝하기 위해 웹이나 기타 정보원으로부터 수집한 수십억이라는 단어에 포함된 정보를 합성함으로써 질문에 대한 복잡하고 세련된 답변을 제공할 수 있다. 봇을 사용하면, 머신과 보다 매끄러운 교환이 되어 있는 것 같은 감각조차 얻을 수 있다.

그러나, 이 기술의 구조는, 온라인으로 찾아낸 정보를 확실히 꺼내는 검색 엔진의 생각과는, 어떤 의미에서 근본적으로 모순된다. 웹상에는 이미 부정확한 정보가 많이 존재하는데, 이런 이유로 ChatGPT는 매우 간단하게 새로운 " 거짓말의 정보"를 생성해버리는 것이다.

그 기본 알고리즘은 사실이나 링크의 데이터베이스를 직접 참조하는 형태가 아니고, 진위 여부와는 상관없이 그저 트레이닝 데이터에 있는 것에서 통계적으로 가장 가까워 보이는 것을 연결지어 생성하기 때문이다.

이와 같은 문제가 있음에도 불구하고,  기존 웹 검색의 거인과 다수의 스타트업 기업들은 이 기술에 뛰어들고 있다. ChatGPT를 구축한 OpenAI에 약 100억 달러(약 1조3,000억엔)를 투자한 마이크로소프트는 업계 2위의 검색엔진으로 알려진 'Bing'의 기반 기술을 ChatGPT를 적용하겠다고 발표했다.

'LaMDA'라는 비슷한 채팅봇에 잠시 임해온 구글에 대해서는 당황하고 ChatGPT에 대항하려고 하고 있다. 새롭게 발표한 대화형 AI 「Bard」 와 검색의 통합에 대해 발표해, 데모를 실시하고 있다. 중국 최대의 검색기업인 바이두도 ChatGPT와 비슷한 중국어 봇을 개발하기 위해 노력하고 있다.

 

"가짜 정보"의 생성이나 광고와의 친화성 등 풀어야할 문제도 산더미...

이러한 기업이 구축한 툴은, ChatGPT 스타일의 기술을 검색에 적응시키는 것에 의한 가능성과 과제의 양쪽 모두를 나타내는 좋은 예가 되고 있다. 언어와 AI를 전문으로 하는 리처드 소처가 시작한 You.com은 채팅 인터페이스를 통해 답변을 제공할 수 있다. 그 답변에는 인용된 정보가 포함되어 있어 사용자가 정보의 출처를 추적하는데 도움이 되는 구조다.

그런데 이러한 대화형 AI의 모델은 때로는 출처가 다른 정보원을 조합할 수 있다. 예를 들어, 어떤 인물에 대해 질문하면, 같은 이름을 가지는 복수의 인물의 경력으로부터 정보를 조합해, 회답을 생성할 가능성이 있는 것이다.

반응형

ChatGPT와 같은 시스템의 또 다른 문제는 답변이 훈련된 데이터만을 기반으로 한다는 것이다. 전체 모델을 재교육하면 그 크기와 데이터 규모에 따라 수백만 달러의 비용이 소요될 수 있다.

YouChat은 최신 스포츠 결과를 묻는다고 당황했지만 현재 뉴욕의 날씨는 알고 있습니다. 이에 대해 개발원인 SuSea의 창업자인 소처는 최신 정보가 어떻게 통합되어 있는지를 밝히고 싶지 않다. 그것이 경쟁상의 우위성이라고 생각하기 때문이다.

“이러한 채팅 인터페이스 중 상당수는 현재 일반 검색 경험보다 훨씬 뛰어나다고 생각합니다. 노력하고 있습니다”라고 소처는 말한다.

 

한때 OpenAI에서 일하고 검색 관련 스타트업인 Perplexity AI의 창업자로 CEO의 아라빈드 스리니버스는 ChatGPT와 같은 시스템을 최신 정보로 업데이트한다는 것은 그것을 다른 것과 결합할 필요 있다는 것도 있다고 지적한다. "단독으로 뛰어난 검색 엔진에는 절대 될 수 없다"고 그는 말한다.

Greylock Partners의 벤처 캐피탈리스트에서 AI 검색을 담당하는 Neeva에 투자한 사암 모타메디는 채팅 ​​인터페이스가 검색엔진의 주요 수익 모델인 광고와 어느 정도의 친화성이 있는지는 분명하지 않다고 지적한다.

현재의 구글과 Bing에서는, 검색 결과로서 제공되는 링크의 리스트의 제일 위에 표시하는 광고는, 검색 질의(검색어)에 기초하여 선택된다. 채팅 스타일의 검색 인터페이스가 실용 가능하게 되기 위해서는, 새로운 형식의 광고의 출현이 필요하지 않을까라고 모타메디는 생각하고 있다고 한다.

 

그러나 그것이 어떤 것인지는 완전히 모른다. Neeva는 광고 없는 무제한 검색에 대해 구독 요금을 청구합니다.

ChatGPT와 같은 모델을 구글의 규모로 운용하는 비용도 문제가 될 가능성이 있다. 기업의 기계 학습 알고리즘의 전개에 있어서의 비용 절감을 지원하는 OctoML의 공동 창업자로 CEO의 루이세즈는, ChatGPT를 이용한 검색은 현재의 「Google 검색」보다 10배의 비용이 들 가능성이 있다고 추정하고있다. 대답을 얻으려면 대규모 복잡한 AI 모델을 실행할 필요가 있기 때문이다.

 

새로운 접근법 필요!

ChatGPT를 둘러싼 열광의 스케일은, 기반이 되는 기술에 정통한 프로그래머나 AI 연구자를 놀라게 하고 있다. 'GPT'라고 불리는 봇의 핵심을 이루는 알고리즘은 18년 OpenAI에 의해 처음으로 개발되었으며, 19년에는 보다 강력한 버전의 'GPT-2'가 공개됐다.

 

GPT는 텍스트를 캡처하고 그 다음에 오는 것을 예측하도록 설계된 기계 학습 모델로, 방대한 양의 텍스트로 훈련할 수 있으면 뛰어난 성능을 발휘할 수 있음을 OpenAI가 증명했다. 이 기술로 최초의 상용버전인 「GPT-3」 는 20년 6월부터 개발자가 이용할 수 있게 되어 있어, ChatGPT의 장점을 활용하면 다양한 분야에서 많은 것을 해낼 수 있다.

ChatGPT에는 기반이 되는 알고리즘의 개량 버전이 사용되고 있다. 그 능력의 가장 큰 차이점은 OpenAI가 인간을 사용하여 만족스러운 응답이 될 수 있도록 시스템에 피드백을 제공하고 있기 때문입니다. 그러나 이전의 텍스트 생성 시스템과 마찬가지로 ChatGPT는 여전히 교육 데이터에서 바이어스를 재현하거나 그럴듯하지만 잘못된 결과를 "마치 진실처럼 생각하게"하는 경향이 있습니다.

뉴욕 대학의 명예 교수로, AI에서 제일 올리기를 성고에 비판하고 있는 게리 마커스는, ChatGPT가 스스로 이끌어내는 대답을 정확하게 이해하고 있지 않기 때문에, 검색에는 적합하지 않다고 생각하고 있다. 그리고 ChatGPT와 같은 도구는 AI에 의해 생성되고 검색 엔진에 최적화된 텍스트를 인터넷에 넘치게 함으로써 검색 엔진을 다루는 기업에 다른 문제를 가져올 가능성이 있다고 지적한다. '모든 검색엔진에 문제가 생길 것입니다'

한편, GPT와 같은 언어모델로 올라가는 것을 막는 방법을 해명하기 위해서는 잠시 시간이 걸릴지도 모른다고 지적하고 있다. 또한 검색을 신선하게 유지하기 위해 새로운 정보로 그들을 최신 상태로 유지하는 방법을 찾으려면, 기본 AI 모델의 트레이닝에 대한 새로운 접근이 필요할 가능성이 높다고 보고 있다.

 

그리고, 한 전문가는 이렇게 말하고 있다. 

"분명히 놀라운 기술입니다. 사람들은 ChatGPT의 등장 이전 시대와 이후 시대로 나뉘어 세상을 판단할 수 있을것입니다. 하지만, 이 기술이 검색을 완벽히 대체할 수 있을지 여부는 또 다른 이야기입니다."