AI/LLM
Groq - LLM 무료 사용 사이트
adulty22
2025. 4. 3. 13:48
LLM 무료 사용 사이트를 소개해 보고자한다.
Groq (https://groq.com/) 라는 사이트 인데 다양한 LLM 모델을 API 형식으로 사용할 수 있게 지원해준다.
위와 같은 모델을 직접 설치하거나 환경 구성없이 사용할 수 있다. (위에 말고 추가로 Preview Models 모델이라고 다른 다양한 모델을 추가로 제공해줌)
물론 제한량 (https://console.groq.com/docs/rate-limits)이 있긴하지만, 충분히 테스트 환경에서나 공부할때 사용할 수 있을 것으로 보인다.
사용법 또한 엄청 간단한데
GROQ_API_KEY를 받고 (https://console.groq.com/keys)
파이썬 가상환경에서
pip install groq
해당 패키지를 다운받으면 준비는 완료된다.
그 후,
import os
from dotenv import load_dotenv
from groq import Groq
load_dotenv()
client = Groq(
api_key=os.environ.get("GROQ_API_KEY"),
)
chat_completion = client.chat.completions.create(
messages=[
{
"role": "user",
"content": "한국어 자기소개 해봐봐",
}
],
model="gemma2-9b-it",
)
print(chat_completion.choices[0].message.content)
'''
안녕하세요! 저는 구글에서 훈련된 큰 언어 모델입니다. 한국어를 이해하고 생성하는 데 능숙합니다.
저는 아직 개발 중인 AI이기 때문에 완벽하지는 않지만, 다양한 질문에 답변하고, 텍스트를 요약하고, 창의적인 글을 써내려낼 수 있습니다.
궁금한 점은 무엇이든 물어보세요! 최선을 다해 답변해 드리겠습니다. 😊
'''
다음과 같이 코드를 작성하면 완료된다.
여기에 프롬프트는 content에 작성하면되고, GROQ_API_KEY에 경우 .env 파일로 작성해서 load_dotenv 사용하였지만, 굳이 사용한하고 직접 변수로 처리하거나 기입해도 된다.
728x90