EXAONE(엑사원) 3.5 오픈소스 다운로드 및 사용법

최근에는 생성형 AI를 이용하여 원하는 정보를 찾거나 자료를 정리하는 등의 다양한 작업을 간편하게 진행하는 것이 가능해졌습니다.

하지만 대부분의 생성형 AI들이 사용자의 정보나 대화한 내용 외에도 다양한 내용을 수집하다보니, 중요한 내용이나 기밀, 개인 정보 등을 입력하지 않도록 유의해야 하죠.

그러다보니 로컬 PC에 오픈소스 AI 모델을 다운로드 및 설치 후 사용하면 이러한 일을 방지할 수 있다보니, 개인 정보 유출 등을 걱정하시는 분들께는 좋은 선택이 될 수 있습니다.

그렇기에 이번 포스팅에서는 LG에서 만든 EXAONE(엑사원) 3.5 오픈소스 다운로드 및 사용법에 대해서 알아보려고 합니다.

다른 해외 오픈소스 AI 모델들에 비해서 한국어로 질문하거나 답변하는 부분이 매끄럽고 퀄리티가 높다는 장점 외에도 전체적인 벤치마크도 좋은 모델이니 밑에서 함께 사용해보도록 하죠.

EXAONE(엑사원) 3.5는 24년 12월 9일 LG AI연구원에서 공개한 최신 오픈소스 AI 모델로 초경량 모델인 2.4B, 범용 목적의 7.8B, 특화 분야에 활용할 수 있는 32B 총 3가지 버전을 제공합니다.

이는 한국어로 질문하고 답변 받을 때에 높은 퀄리티를 보여준다는 장점 외에도 32K 토큰 Context를 처리할 수 있도록 모델링 되어 한글로 된 긴 문장을 이해하는 수준이 높습니다.

이 외에도 다른 오픈소스 AI 모델들과 다양한 벤치마크 항목을 비교해보아도 경쟁력 있는 성능과 퍼포먼스를 보여주는 것을 볼 수 있습니다.

또한 LG라는 국내 대기업에서 만든 오픈소스 AI 모델이다보니 신뢰가 가기도 하고, 다양한 커뮤니티에서의 평가도 좋다보니 직접 사용해보시는 것도 좋은 선택이 될 것 같네요.

※ Ollama 공식 홈페이지

EXAONE(엑사원) 3.5 오픈소스 다운로드의 경우 다양한 방법으로 진행할 수 있지만 Ollama를 이용하면 로컬 환경에서 간편하게 설치할 수 있습니다.

그럼 위의 Ollama 공식 홈페이지 링크를 클릭하고 Download 버튼을 눌러 설치 파일을 저장한 뒤, 이를 실행하여 설치까지 완료해보도록 하죠.

Ollama 설치가 완료되었다면 홈페이지의 상단의 Search Models 부분을 클릭하고 EXAONE을 검색하여 3.5 모델을 클릭해주시면 됩니다.

이 외에도 llama나 DeepSeek, phi 등의 오픈소스 AI 모델도 설치할 수 있으니 관심이 있으신 분들은 참고해보시면 좋을 것 같네요.

EXAONE 3.5 페이지까지 이동하셨다면 원하는 모델(2.4B, 7.8B, 32B)를 선택해주시면 됩니다.

여기에서 각각의 모델 별로 권장되는 PC 사양이 달라지는데, 정말로 내 컴퓨터의 스펙이 낮은 편이라면 2.4B를 선택하시고 아니라면 7.8B를 설치해보시는 것이 좋을 것 같네요.

※ Ryzen5 5600G, 16GB RAM, 1060 6GB VRAM PC에서도 EXAONE 3.5 7.8B 모델을 정상적으로 사용할 수 있었습니다. (32B 모델은 일반적인 PC에서 로컬로 돌리는 것은 불가)

이렇게 사용할 EXAONE 3.5 모델까지 선택하셨다면, 우측의 명령어 복사 아이콘을 클릭하고 명령 프롬프트에 붙여 넣어주시면 됩니다.

위와 같이 윈도우에서는 CMD 명령 프롬프트를 관리자 권한으로 실행한 뒤, 방금 전의 내용을 우클릭으로 붙여넣거나 ollama run exaone3.5 직접 타이핑하여 엔터를 눌러주시면 됩니다.

EXAONE(엑사온) 3.5 7.8B 기준으로 약 4.9GB 정도의 용량을 차지하므로 진행 전에 이를 참고해주시면 좋을 것 같네요.

EXAONE(엑사원) 3.5 사용법의 경우 다른 오픈소스 AI 모델들과 동일합니다.

위와 같이 정상적으로 설치가 완료되었다면 success 문구가 보이게 되고, 그 밑에 Send a message (/? for help)가 표시되는 것을 볼 수 있습니다.

해당 부분에 원하는 질문을 하고 엔터를 누르게 되면 ChatGPT 등의 생성형 AI와 동일하게 답변을 해주게 됩니다.

다만 명령 프롬프트(CMD)를 이용하는 경우 이러한 CUI에 익숙하지 않으신 분들이라면 불편하게 느껴지실 수 있는데요.

이런 경우 Docker를 이용하여 Open WebUI를 설치해보시는 것도 좋은 선택이 될 것 같네요.

끝으로 EXAONE(엑사원) 3.5 – 7.8B 모델에게 김치찌게 만드는 법이라는 글을 작성하라고 하였을 때에 출력된 결과를 첨부해보았습니다.

이를 통해 별다른 설정 없이 사용한 EXAONE 3.5 7.8B 모델이 어느 정도의 퀄리티를 보여주는지 참고해주시면 좋을 것 같네요.