Chat With RTX 소개
무더운 더위가 점점 다가오고 있는 7월의 여름입니다. 다들 8월 무사히 보내시길 바랍니다.
안녕하세요. 이번 시간에는 내 컴퓨터 자원으로 직접 대규모 언어 모델을 돌려보는 시간을 가져보도록 하겠습니다. 이번에 엔비디아에서 Chat With RTX라는 프로그램을 공개했는데요. 무려, 자신의 컴퓨터에서 Chat GPT를 돌려볼 수 있는 기능을 제공하는 프로그램입니다. 하드웨어를 제공하는 것 뿐만 아니라 사용자의 편의성을 위해서 이런 프로그램도 제공해주고 있네요... 점점 하드웨어뿐만 아니라 소프트웨어 부분도 발전하고 있는 것 같습니다.
설치방법
Chat With RTX와 함께 맞춤형 LLM 구축 페이지에 접속해서 '지금 다운로드 받기'를 누릅니다.
해당 프로그램을 실행하기 위해서는 다음과 같은 요구사양이 마련되어 있어야 합니다. 윈도우 11 OS 에서 NVIDIA GPU는 RTX 30 또는 40 시리즈가 필요합니다.
다운로드를 하게되면 ChatWithRTX_installer_3_5.zip이라는 압축 파일을 생깁니다. 압축을 풀어주게 되면 ChatWithRTX_installer_3_27_patch_v2 폴더를 확인할 수 있는데 들어가셔서 setup.exe 파일을 실행시켜줍니다.
실행화면입니다. AGREE AND CONTINUE를 누르신 뒤 그 다음부터는 NEXT만 누르시면 됩니다.
여기서 잠깐!
설치를 하다보면 다음과 같은 문제가 발생할 수 있습니다. 해당 문제는 보안프로그램으로 인해 발생합니다. 따라서 Windows 보안 > 바이러스 및 위협 방지로 들어가셔서 실시간 보호와 클라우드 기반 보호를 설치할동안 잠시 꺼두셔야 합니다.
시작 버튼을 눌러서 바이러스 및 위협 방지를 검색하셔서 바로 들어갑니다.
바이러스 및 위협 방지 화면은 사람마다 차이가 있을 수 있습니다. 저의 경우는 2개의 보안프로그램을 설치했기 때문에 아래와 같이 보입니다. 따라서 저는 2개의 프로그램에서 실시간 감시를 잠시동안 해제했습니다. 보통의 경우라면 백신 프로그램 이름이 아니라 '바이러스 및 위협 방지 설정'이라는 문자가 보입니다. 해당 문구 아래 '설정 관리' 라는 문자를 눌러서 '실시간 보호'와 '클라우드 전송 보호'를 끄시면 됩니다. 설치가 끝났다면 다시 활성화 시켜주세요.
위와 같은 과정을 거치시면 설치가 정상적으로 완료됩니다.
Chat with RTX 실행
프로그램을 실행하면 다음과 같은 창이 뜨는데 프로그램이 실행중이니 가만히 냅두시면 알아서 실행됩니다.
기다리시면 아래와 같은 창이 새로 뜹니다. 현재는 AI model은 Mistral 7B int4만 사용가능 한 것 같습니다. 데이터셋은 짧막한 설명에서처럼 자신의 .txt, .pdf, .doc 파일이 포함된 경로를 지정해주시면 됩니다.
잘 작동하는 것을 확인할 수 있습니다. 반응도 굉장히 빠릅니다.
한국어도 지원하네요.
마무리하며..
대규모 언어모델을 컴퓨터에서 직접 돌려보는 과정을 알아보았습니다. 이를 온프레미스(On-Premises)라고 합니다. 소프트웨어나 데이터를 사용자의 로컬 컴퓨터나 내부 서버에서 실행하는 것을 의미하며, 이는 보안과 응답 속도 면에서 유리합니다. 초기 버전이다 보니 아직까지는 Open AI의 ChatGPT 4o보다는 기능이 많이 부족해보이지만 앞서 언급한 장점을 생각하면 앞으로가 굉장히 기대됩니다. 고성능의 언어 모델을 로컬에서 사용할수 있도록 앞으로도 계속 제공해줬으면 좋겠습니다.
이번 시간에는 대형 언어모델을 내 컴퓨터에서 실행하는 법을 알아보았습니다. 잘만 쓴다면, 시간이 많이 소요되는 작업들을 빠르게 해결할 수 있을 거라 예상됩니다. 다음 시간에도 유익한 프로그램으로 찾아뵙겠습니다.
이 외 유용한 프로그램
[인터넷프로그램] 구글 크롬(Chrome) 사용법 다운로드 알아보기
[파일이름일괄변경프로그램] 다크네이머(DarkNamer), 배치네이머(BatchNamer) 사용법 다운로드 알아보기 (feat. 딥러닝 커스텀 데이터셋)
[메모프로그램] Notepad++(노트패드++) 사용법 다운로드 알아보기
[다중PC제어프로그램] Input Director(인풋디렉터) 사용법 다운로드 알아보기
[텍스트추출프로그램] 캡처 도구(Snipping Tool) 사용법 알아보기
'모르면 후회하는 윈도우 프로그램' 카테고리의 다른 글
| [윈도우/윈도우11] 파일 탐색기 느림 문제 해결 조치 방법 (0) | 2024.10.30 |
|---|---|
| [텍스트추출프로그램] 캡처 도구(Snipping Tool) 사용법 알아보기 (0) | 2024.04.20 |
| [파일이름일괄변경프로그램] 다크네이머(DarkNamer), 배치네이머(BatchNamer) 사용법 다운로드 알아보기 (feat. 딥러닝 커스텀 데이터셋) (0) | 2024.04.10 |
| [인터넷프로그램] 구글 크롬(Chrome) 사용법 다운로드 알아보기 (2) | 2024.02.17 |
| [압축프로그램] 반디집 사용법 다운로드 알아보기 (2) | 2023.10.09 |
