반응형 AI48 [LLM] RTX 5090에 Qwen3.5-27B-FP8 vLLM 서빙시 OOM 트러블슈팅 환경- GPU: NVIDIA GeForce RTX 5090 32GB x 2- 모델: Qwen3.5-27B-FP8- vLLM: v0.18.0- OS: Ubuntu (회사 데스크톱) 문제 Qwen3.5-27B-FP8을 vLLM으로 서빙할 때 CUDA OOM 에러 발생.모델 로딩(14.43 GiB/GPU)은 성공하지만, CUDAGraph 프로파일링 단계에서 KV 캐시 할당 실패. torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 784.00 MiB.GPU 0 has a total capacity of 31.36 GiB of which 323.81 MiB is free.26.10 GiB is allocated by PyTorch, and 535.04 .. 2026. 3. 27. [AI Agent] Agent 관련 주요 프레임워크 상세 분석 1탄 LangGraph, Amazon Bedrock, OpenAI의 AI Agent 프레임워크에 대해 알아보자. 1. LangGraph (from LangChain)그래프 기반의 Agent 워크플로우 제어 프레임워크.유튜브 영상 링크 : https://www.youtube.com/watch?v=aHCDrAbH_go - video script : https://mirror-feeling-d80.notion.site/Workflow-And-Agents-17e808527b1780d792a0d934ce62bee6 Workflow And Agents | NotionCommon Patternsmirror-feeling-d80.notion.site guide document for Workflows and agents :.. 2025. 10. 17. [AI Agent] 관련 용어 정리 기본 개념 (Fundamental Concepts) 용어정의AI Agent사용자가 설정한 목표를 달성하기 위해 환경과 상호작용하며 인지(Perceive)–계획(Plan)–행동(Act)–학습(Learn) 을 자율적으로 수행하는 소프트웨어 시스템.Autonomous Agent (자율형 에이전트)사람의 직접 개입 없이 스스로 판단·의사결정을 수행하고, 계획·실행·피드백 루프를 독립적으로 관리하는 에이전트.Intelligent Agent (지능형 에이전트)환경을 인식하고 목표 지향적 행동을 수행하는 인공지능 시스템 전반을 지칭. (전통 AI 분야의 개념)Goal (목표)Agent가 달성해야 하는 미션 또는 결과물. 예: “고객 문의 해결”, “보고서 초안 작성”.Environment (환경)Agent가 상호작.. 2025. 10. 17. [AI Agent] AI Agent란 무엇인가? — 빅테크가 정의한 ‘자율형 지능의 시대’ 최근 “AI Agent”라는 단어가 기술 업계에서 가장 뜨겁게 등장하고 있습니다. 이전의 ChatGPT나 Copilot 같은 ‘어시스턴트(Assistant)’ 개념을 넘어,이제 AI는 “스스로 계획하고, 행동하며, 배우는 지능적 주체(Agent)”로 진화하고 있죠. 그렇다면 글로벌 빅테크들은 AI Agent를 어떻게 정의하고 있을까요?Microsoft, AWS, IBM이 각각 제시한 관점을 살펴보고, 그 공통된 본질을 정리해봅니다.Microsoft: “함께 일하거나, 대신 일하는 존재” “An agent takes the power of generative AI a step further, because instead of just assisting you, agents can work alongside.. 2025. 10. 14. 이전 1 2 3 4 ··· 12 다음 반응형
