페이스북 메타, GPT-4o대항마 라마(Llama)3.1 출시 / 라마3.1 사용법

라마(Llama)는 페이스북 모회사 메타플랫폼의 대규모 언어모델(LLM)이다. 챗GPT가 돌 품을 일으킨 영역에서 전 세계 IT대기업들의 전쟁이 벌어지고 있다. 메타는 Llama를 챗GPT나 구글의 Gemini와 달리 오픈소스로 공개하고 있다.

메타 LLM 라마(Llama)3.1 출시

페이스북 모회사메타플랫폼이 2024년 7월 23일(현지시간) 자사의 최신 AI모델 라마(Llama) 3.1을 출시한다고 밝혔다.

지난 4월 라마3을 선보인 지 3개월여 만이다.

최근 GPT-4o를 선보인 오픈 AI와 Gemini의 구글, 클로드 3.5 소네트의 엔스로픽 등과 경쟁이 더욱 가열되는 양상이다.

라마 3.1은 이전 버전보다 학습데이터를 늘려서 성능이 크게 향상되었다고 메타 측은 밝혔다.

라마 3.1이 AI모델에 대한 테스트인 'MMLU(대규모 다중작업 언어 이해)'의 여러 평가 항목에서는 GPT-4o나 클로드 3.5 소네트를 능가했다고 주장했다.

이번 모델의 출시 버전은 3가지이다.

라마3.1 405B가 가장 큰 버전으로 A모델의의 데이터 처리 능력과 관련이 있는 매개변수(파라미터)가 4천50억 개에 달한다. GPT-3의 경우 1억 750억 개로 이를 크게 능가하는 수준이다.

중형 모델인 라마3.1 70B와 소형 모델 라마 3.1 8B가 함께 출시되었으며, 각각의 파라미터는 700억 개와 70억 개 수준이다.

이 소형 모델들을 챗봇이나 Software 코딩AI를 작동시키는 데 활용할 수 있다고 메타가 설명했다.

메타는 이번 모델을 현재 상용 AI칩에서 가장 최신 모델인 Nvidia이 H100 GPU(그래픽처리장치) 1만 6천 개를 기반으로 훈련했다고 밝혔다.

개발 비용에 대해 공개하지는 않았지만, H100칩은 개장 3만~4만 달러에 달해 AI칩 구매 비용만 수억 달러가 소요되었을 것으로 추정된다.

메타 측은 라마 3.1을 많은 개발자가 이용할 수 있도록 마이크로소프트(MS), 아마존, 구글, Nvidia 등 20여개 개업과 협력 중이라고 밝혔다.

라마(Llama3.1)를 사용하는 방법은 허깅페이스에서 사용하기, Ollama로 내 PC에서 실행하기 등이 있습니다.

허깅페이스(Hugging Face)는 오픈소스 AI 커뮤니티입니다. 허깅페이스를 통해 다양한 언어 모델을 사용해 볼 수 있습니다.

▷ 1. 허깅(HuggingChat) 사이트에 접속한 뒤 라마 3.1 모델을 선택하여 사용합니다.

HuggingChat

Making the community's best AI chat models available to everyone.

huggingface.co

▷ 접속한 뒤 가장 아래쪽에 있는 Tools 하단의 채팅창에서 챗GPT처럼 사용할 수 있습니다.

▷Ollama는 오픈소스 언어 모델을 로컬에서 실행할 수 있게 도와주는 도구입니다.

Download Ollama on macOS

ollama.com

▷ 위 링크를 누르고 들어가면 아래 그림과 같이 Ollama 다운로드 창으로 이동하고,

클릭하면 SetUp 파일이 다운로드 됩니다.

▷ 다운로드된 Setup파일을 실행하면 아래와 같은 화면이 뜨고 Install을 누르면 설치가 됩니다.

▷터미널을 실행한 후 (Window의 경우 검색창에서 cmd 입력)

' ollama run llama3 '라고 입력하면 내 PC에 설치가 됩니다. (7월 24일 현재는 llama3.1 적용 안됨)