로컬 LLM 구축 : 사양부터 모델 선택까지
요즘에는 한 주가 지나고 나면 새로운 AI 모델이나 기능들이 발표가 된다. 라고 말해도 좋을 정도로 생성형 AI와 같은 인공지능과 관련된 분야가 빠르게 발전하는 것을 느낄 수 있습니다. 특히 GPT-4, Claude, Gemini와 같은 상용 AI 모델들의 성능이 높아지면서, 이제는 개인 PC에서도 이와 유사한 수준의 AI 모델을 직접 구동하려는 수요가 증가하고 있습니다. 로컬 LLM(Large Language Model)은 인터넷 연결 없이도 작동하며, 개인 정보가 외부로 유출되지 않고, 필요에 따라 맞춤 조정이 가능하다는 장점이 있죠. 하지만 로컬 LLM을 구축하려면 PC 사양부터 어떤 모델을 선택해야 할지까지 고려해야 할 사항이 많습니다. 적합한 하드웨어가 없다면 성능이 떨어지거나 아예 구동이 불가능할 수 있고, 용도에 맞지 않는 모델을 선택하면 기대한 결과를 얻기 어렵기도 하죠. 그렇기에 이번 포스팅에서는 로컬 LLM 구축을 위한 PC 사양 선택부터 목적별 최적의 모델 추천까지 자세히 알아보도록 하겠습니다.
Meta, 차세대 AI 모델 ‘LLaMA 4’ 시리즈 전격 공개…“GPT-4 넘본다”
2025년 4월 5일, Meta(구 페이스북)가 새로운 인공지능(AI) 모델 시리즈인 LLaMA 4를 공개하며 생성형 AI 시장의 선두주자들과의 정면 승부를 예고했다. 이번 시리즈는 총 3종으로 구성되며, 성능, 확장성, 멀티모달 처리 능력에서 모두 획기적인 진보를 이뤘다는 평가를 받고 있다. Meta는 이번에 LLaMA 4 Scout, Maverick, Behemoth라는 세 가지 버전을 선보였다. 이들은 모두 MoE(Mixture of Experts) 아키텍처를 기반으로 하며, 특정 토큰마다 일부 전문가(Experts)만을 활성화함으로써 연산 효율성과 정확도를 동시에 확보했다.
LM Studio 사용법 : 로컬 PC에서 LLM 설치 방법
최근에는 ChatGPT나 Gemini, Perplexity 와 같이 PC나 모바일 웹 상에서 이용할 수 있는 AI 외에도 다양한 오픈소스 LLM(대규모 언어 모델)의 새로운 모델들이 발표되고 있습니다. 특히 AI 분야에 상당한 충격을 주었던 딥시크도 오픈소스 AI 모델로 공개되었고, LG AI연구원에서 만든 엑사원 딥이나 구글의 젬마3와 같은 높은 퍼포먼스를 보여주는 LLM 들이 많죠. 이렇게 유용한 오픈소스 LLM을 로컬 PC에서 사용하기 위해서는 별도로 설치하는 과정이 필요한데요. 일반적으로 쉽게 설치하고 사용해볼 수 있는 것은 LM Studio이지 않을까 싶습니다. 그렇기에 이번 포스팅에서는 LM Studio 사용법에 대해서 알아보려고 합니다. 설치 과정부터 로컬 PC에 원하는 LLM을 설치하는 법까지 함께 배워보도록 하죠.
그록3 (GROK3) 무료 사용법 (모바일, PC)
과거에는 생성형 AI를 이용한다. 라고 하면 OpenAI의 ChatGPT를 떠올리는 것이 일반적이었지만, 최근에는 Gemini나 Perplexity 외에도 다양한 AI를 이용하시는 분이 많아졌습니다. 다만 이러한 AI들을 무료로 사용하기에는 사용량에 대한 제한도 있고, 제공되는 모든 기능을 사용할 수 없기에 별도의 유료 구독을 해야 하곤 하죠. (AI 환각 증상도 줄어듬) 하지만 최근 2월 공개된 그록3 (GROK3)의 경우 별도의 유료 구독(SUPER GROK)이 존재하지만 무료로 이용해도 다른 모델들에 비해 높은 성능을 보여주어서 많은 분들이 사용하고 있습니다. 그렇기에 이번 포스팅에서는 그록3 (GROK3) 무료 사용법에 대해서 알아보려고 합니다. 모바일과 PC에서 어떤 방법으로 이용하는지, 제공되는 기능 등에 대해서 확인해 보도록 하죠.
ChatGPT 딥리서치(Deep Research) 사용법 및 활용방법
최근에는 구글이나 네이버와 같은 검색엔진보다 ChatGPT나 Perplexity와 같은 생성형 AI의 검색 기능을 이용하여 원하는 정보를 찾으시는 분들이 늘어나고 있습니다. 생성형 AI의 검색 기능을 이용하면 검색결과의 내용을 직접 클릭하여 읽고 중요한 내용을 찾지 않아도, 필요한 내용만 알아서 요약/정리해주기 때문이죠. 최근에는 ChatGPT 딥리서치(Deep Research)를 통해서 경제/비즈니스 분야와 같이 어렵기도 하고 다양한 정보를 분석해야 하는 내용을 손쉽게 보고서로 만들 수도 있는데요. 그렇기에 이번 포스팅에서는 ChatGPT 딥리서치(Deep Research) 사용법 및 활용방법에 대해서 알아보도록 하겠습니다. 자세한 내용은 밑에서 함께 확인해보도록 하죠.
Open-WebUI 설치 및 사용법 (Docker)
사용하고 있는 로컬 PC에 llama나 Exaone 같은 오픈소스 AI를 사용하려고 한다면, 일반적으로 Ollama를 이용하여 사용하고 있는 PC에서 간단하게 설치할 수 있습니다. 하지만 이렇게 오픈소스 AI를 설치하고 사용하게 되는 경우 텍스트 기반의 CUI(Command User Interface) 환경이 제공되다 보니, 이에 익숙하지 않다면 다소 불편하게 느껴질 수 있죠. 그렇기에 이번 포스팅에서는 ChatGPT나 Claude와 같이 생성형 AI들과 유사한 환경에서 사용할 수 있는 Open-WebUI 설치 및 사용법에 대해서 알아보려고 합니다.
