LaMDA : 혁신적인 대화 기술

구글 블로그

그들은 항상 구글에서 언어에 대한 애착을 가지고 있다. 초기에 웹 번역을 시작했다. 최근에는 검색어의 의도를 더 잘 파악하는 데 도움이 되는 머신 러닝 기술을 개발했다. 시간이 지남에 따라 이러한 영역 및 기타 영역의 발전으로 인해 서면 및 음성 단어로 전달되는 정보 더미를 더 쉽게 구성하고 접근 할 수 있다.

그러나 항상 개선의 여지가 있다. 언어는 매우 미묘하고 적응력이 뒤어나다. 문자적이거나 비유적이거나 꽃이 많거나 평범하거나 창의적이거나 정보를 제공 할 수 있다. 이러한 다재다능함은 언어를 인류 최고의 도구 중 하나로 만들고 컴퓨터 과학의 가장 어려운 퍼즐 중 하나이다.

최신 연구 혁신인 LaMDA는 그 퍼즐의 가장 흥미로운 부분 중 하나인 대화에 조각을 추가한다.

구글 블로그

대화는 특정 주제를 중심으로 진행되는 경향이 있지만 개방형 성격은 한곳에서 시작하여 완전히 다른 곳에서 끝날 수 있음을 의미한다. TV 쇼에 대해 친구와 대화를 나누는 것은 그 나라 최고의 지역 요리에 대한 토론을 하기 전에 쇼가 촬영 된 국가에 대한 토론으로 발전 할 수 있다.

LaMDA는 끝없는 수의 주제에 대해 자유로운 방식으로 참여 할 수 있으며, 우리가 생각하는 기술과 상호 작용하는 더 자연스러운 방법 및 완전히 새로운 범주의 유용한 응용 프로그램을 잠금 해제 할 수 있다.

LaMDA의 대화 기술은 수년 동안 만들어졌다. BERT 및 GPT-3을 포함한 많은 최신 언어 모델과 마찬가지로 구글 리서치가 2017년에 개발하고 오픈 소스로 만든 신경망 아키텍처인 Transformer를 기반으로 한다. 이 아키텍처는 많은 단어(문장 또는 문장)를 읽을 수 있도록 훈련 될 수 있는 모델을 생성한다. 

그러나 대부분의 다른 언어 모델과 달리 LaMDA는 대화에 대한 교육을 받았다. 훈련 하는 동안 다른 형태의 언어와 개방형 대화를 구별하는 몇 가지 뉘앙스를 발견했다. 그 뉘앙스 중 하나는 감각이다. 

LaMDA는 2020년에 발표 된 이전 구글 연구를 기반으로 하여 대화에 대해 훈련 된 Transformer 기반 언어 모델이 거의 모든 것에 대해 이야기하는 방법을 배울 수 있음을 보여준다. 그 이후로 일단 훈련을 받으면 LaMDA를 미세 조정하여 반응의 민감성과 특이성을 크게 향상시킬 수 있음을 발견했다.

LaMDA: our breakthrough conversation technology
https://blog.google/technology/ai/lamda/

LaMDA: our breakthrough conversation technology