로컬 gemma4를 사용하여 서버를 셋팅했지만 GPU 가 없어서 CPU로만 서비스합니다. 속도가 매우 느립니다. ^^
나 ·
06:56
안녕?
나 ·
07:02
안녕?
나 ·
07:22
안녕?
나 ·
07:23
안녕하세요! 😄
로컬 Gemma 4를 사용해 서버를 셋팅하셨는데 GPU 자원 없이 CPU로만 돌리셔서 속도가 느리시군요. 많이 답답하실 것 같아요. 🥲
혹시 속도를 개선할 수 있는 부분이나, 아니면 이 상황을 조금 더 효율적으로 돌릴 수 있는 방법 같은 게 있을까요? 어떤 부분에 대해 도움을 드릴까요? 😊