Groq - LLM 무료 사용 사이트

LLM 무료 사용 사이트를 소개해 보고자한다.

Groq (https://groq.com/) 라는 사이트 인데 다양한 LLM 모델을 API 형식으로 사용할 수 있게 지원해준다.

위와 같은 모델을 직접 설치하거나 환경 구성없이 사용할 수 있다. (위에 말고 추가로 Preview Models 모델이라고 다른 다양한 모델을 추가로 제공해줌)

물론 제한량 (https://console.groq.com/docs/rate-limits)이 있긴하지만, 충분히 테스트 환경에서나 공부할때 사용할 수 있을 것으로 보인다.

 

사용법 또한 엄청 간단한데

GROQ_API_KEY를 받고 (https://console.groq.com/keys)

파이썬 가상환경에서

pip install groq

해당 패키지를 다운받으면 준비는 완료된다.

 

그 후, 

import os
from dotenv import load_dotenv
from groq import Groq

load_dotenv()
client = Groq(
    api_key=os.environ.get("GROQ_API_KEY"),
)

chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": "한국어 자기소개 해봐봐",
        }
    ],
    model="gemma2-9b-it",
)

print(chat_completion.choices[0].message.content)

'''
안녕하세요! 저는 구글에서 훈련된 큰 언어 모델입니다. 한국어를 이해하고 생성하는 데 능숙합니다. 

저는 아직 개발 중인 AI이기 때문에 완벽하지는 않지만, 다양한 질문에 답변하고, 텍스트를 요약하고, 창의적인 글을 써내려낼 수 있습니다. 

궁금한 점은 무엇이든 물어보세요! 최선을 다해 답변해 드리겠습니다. 😊

'''

다음과 같이 코드를 작성하면 완료된다.

여기에 프롬프트는 content에 작성하면되고, GROQ_API_KEY에 경우 .env 파일로 작성해서 load_dotenv 사용하였지만, 굳이 사용한하고 직접 변수로 처리하거나 기입해도 된다.