전체 글 (112) 썸네일형 리스트형 LangGraph를 활용한 데이터 전처리/요약 LangGraph를 활용하여 데이터를 전처리 및 요약하는 시스템을 구현해보고자한다. 계획한 LangGraph 모습은 다음과 같다. 1단계: 파일명을 보고 분류하는 노드 2-1단계: 이미지 파일 처리 (OCR, 한글 인식) 노드 2-2단계: PDF 파일 처리 노드 2-3단계: CSV 파일 처리 노드 3단계: 요약하는 노드 데이터서울데이터허브 https://data.seoul.go.kr/bsp/wgs/index.do?tab=chatbot해당 사이트를 활용하였다.사용 데이터 2023년 인구성장률 현황.csv Category 인구성장률 종로구 -1.15 중구 0.77 용산구 -2.65 성동구 -1.2 광진구 -0.02 동대문구 1.77 중랑구 -0.68 성북구 -0.86 강북구 -1.59 도봉구 -1.43 노원.. Groq - LLM 무료 사용 사이트 LLM 무료 사용 사이트를 소개해 보고자한다.Groq (https://groq.com/) 라는 사이트 인데 다양한 LLM 모델을 API 형식으로 사용할 수 있게 지원해준다.위와 같은 모델을 직접 설치하거나 환경 구성없이 사용할 수 있다. (위에 말고 추가로 Preview Models 모델이라고 다른 다양한 모델을 추가로 제공해줌)물론 제한량 (https://console.groq.com/docs/rate-limits)이 있긴하지만, 충분히 테스트 환경에서나 공부할때 사용할 수 있을 것으로 보인다. 사용법 또한 엄청 간단한데GROQ_API_KEY를 받고 (https://console.groq.com/keys)파이썬 가상환경에서pip install groq해당 패키지를 다운받으면 준비는 완료된다. 그 후, .. LangGraph란? LangGraph란?LangGraph는 LangChain을 기반으로 만든 멀티에이전트 및 워크플로우 자동화 프레임워크이다. 쉽게 말해 AI 모델 간의 협업을 가능하게 하는 시스템이다.기존 LangChain이 체인(Chain) 기반으로 순차적인 AI 응답을 처리했다면, LangGraph는 그래프(Graph) 구조를 사용해 더 유연하고 동적인 AI 상호작용을 제공한다. 이를 통해 비순차적 흐름, 반복, 상태 관리 등이 가능해진다.=> AI 응답에 흐름, AI간 소통, AI 상태 관리 등을 다룰 수 있게 해줌. LangGraph의 핵심 개념1️. 그래프(Graph)그래프는 여러 개의 노드(Node, 정점)와 엣지(Edge, 간선)로 구성된 자료 구조이다.노드(Node): 데이터를 담고 있는 점(정점)엣지(Ed.. 유저 회원가입, 로그인, 정보 수정 구현 (Spring Security) 유저관련 기본 API 기능을 구현해 보고자 한다. 구현전 사용할 Spring Security 에 대해 알 필요가 있다.Spring Security란?Spring Security는 인증, 권한 관리 그리고 데이터 보호 기능을 포함하여 웹 개발 과정에서 필수적인 사용자 관리 기능을 구현하는데 도움을 주는 Spring의 강력한 프레임워크이다. Spring Security 아키텍처1. 사용자의 요청이 서버로 들어온다.2. Authotication Filter가 요청을 가로채고 Authotication Manger로 요청을 위임한다.3. Authotication Manager는 등록된 Authotication Provider를 조회하며 인증을 요구한다. 4. Authotication Provider가 실제 데이터.. Crawling 버그 수정 및 개선 크롤링 서버 점검 중, 링커리어 크롤링 과정에서데이터 수집 오류: Message: Stacktrace:.... 해당 에러가 나왔다. 디버깅 해보니 사이트 엘리멘트들이 변경되어서, 해당 부분이 변경을 진행하여 에러를 수정하였다. (해당 부분에 대해 확인하고 수정하는 과정을 주기적으로 해야할 것으로 보인다.) 에러 수정한김에 추가적인 크롤링 파라미터, 함수를 변경하였다. 변경점 1. wait.until(EC.visibility_of_all_elements_located()) 함수 사용기존 사용하던 EC.presence_of_all_elements_located 함수의 경우 지정된 위치에 있는 모든 요소가 *DOM에 존재하기만 하면 대기를 종료한다. 하지만, EC.visibility_of_all_element.. Gathering Backend 구현 1 (프로젝트 생성 및 엔티티 설계) 백엔드는 Java-Spring boot로 진행하려고 한다.이에 따라 https://start.spring.io/ 를 이용하여 패키지를 생성한다.해당 부분에 대한 설명은 https://dev-studyingblog.tistory.com/92 Spring boot 시작하기스프링 부트는 스프링부트 스타터(https://start.spring.io/)라는 사이트를 이용하여 편리하게 프로젝트를 생성할 수 있다.스프틸 부트 스타터에서 다음과 같은 세팅을 설정한다.Project 선택 (Project Type)dev-studyingblog.tistory.com해당 부분을 참고 하면 된다. 다음과 같이 설정하고 generate를 진행하였다. 프로젝트 생성후 다음과 같이 build.gradle에 종속성을 추가해준다. .. Gathering 기획 3 앞에서 정리한 내용대로ERD를 만들어 보았다.erd가 잘 보이지 않을 수 있어, 링크까지 첨부한다.https://www.erdcloud.com/d/zcA9DF5Y9759FhTvK gatheringDraw ERD with your team members. All states are shared in real time. And it's FREE. Database modeling tool.www.erdcloud.com 설계 주요 포인트사용자 테이블 (User)사용자 정보를 관리하며, 소셜 로그인(구글, 네이버, 카카오 등)을 구분할 수 있도록 user_type 필드를 추가했다.user_no를 기본 키로 사용해, 모든 사용자 데이터를 중심적으로 연결할 수 있게 설계했다.게시판 (Post)와 모집 관리 (Gath.. Gathering 기획 2 백엔드 서버 구현전, 필요 기능을 정리 해볼 필요가 있다.필요 기능을 정리하고 ERD를 만든 후 서버 구현을 진행하고자 한다.먼저, 각 페이지별 디자인(추후 구체화를 통해 다소 변경될 수 있음)을 통해 필요 기능등을 정리해 보고자 한다. 1. 로그인 화면구글, 네이버, 카카오 3가지 아이디로 로그인할 수 있도록 구현한다.※ 구글,네이버, 카카오 같은 아이콘을 만들때 주의 사항https://developers.google.com/identity/branding-guidelines?hl=ko 로그인 브랜드 가이드라인 | Google ID 플랫폼 | Google for Developers로그인 브랜드 가이드라인 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. 모바일 또는 .. 이전 1 2 3 4 ··· 14 다음
