당신을 위한 AI 서빙 플랫폼 “아이온유(AI:ON-U)"
아이온유(AI:ON-U) 도입 배경
2023년 3월 ChatGPT의 등장으로 촉발된 생성형 AI 시대, 나날이 발전해가는 생성형 AI 기술을 기업들은 적극 도입하여 비즈니스 모델을 혁신하고 경쟁력을 강화할 것으로 예상되는데요.
그렇다면, 생성형 AI를 도입하기 위해서는 어떻게 해야 할까?
생성형 AI를 도입하기 위해서는 아래와 같이 크게 4가지 사항이 필요해요.
LLM과 데이터
RAG, VectorDB, LangChain, 프롬프트 엔지니어링, 파라미터 세팅 관련 지식과 경험을 갖춘 인력
오케스트레이션 플랫폼
클라우드 환경 또는 GPU기반 인프라 환경
그러나 이 4가지 사항을 준비하는 데, 들어가는 시간과 비용이 상당하고, 기술적인 허들도 높아요. 그래서 AI 전문가에게 AI 도입에 대한 컨설팅도 받아야 하고, 쉽고 편리하게 서비스에 적용할 수 있도록 AI 개발 환경이 갖춰져 있는 플랫폼이 필요해요.
즉, ‘AI 서빙 플랫폼'과 같은 것을 사용할 수 밖에 없는 실정이에요.
KT ds에는 Ready-made된 No code 기반 AI 서빙 플랫폼 “AI:ON-U(아이온유)”가 있어, 쉽고 편리하게 AI 서비스를 개발하여 도입할 수 있어요.
아이온유(AI:ON-U)란?
AI 서비스 도입을 위한 B2B AI 서빙 플랫폼이에요.
사용자는 AI:ON-U Studio에 접속하여 LangChain 프레임워크 기반으로 LLM, RAG, API 에이전트, Plug-in 등 AI 서비스 개발을 위해 필요한 것들을 쉽게 연결할 수 있으며, 아래와 같이 크게 4가지 특징이 있어요.
AI:ON-U는 AI 서비스 개발을 쉽고 편리하게 할 수 있도록 환경을 제공하며, 비즈니스 서비스에 쉽고 편리하게 붙일 수 있도록 ChatBot 및 API 형태로 제공해요.
AI:ON-U는 Azure Open AI, ChatGPT, Claude3와 같은 상용 LLM 뿐만 아니라, LLaMA3, Gemma 등 오픈 LLM까지 다양하게 서빙해요.
기업 데이터 유출이 없는 격리된 환경에서도 AI 서비스 개발이 가능하고, 개인정보와 같은 민감한 데이터에 대한 필터링도 가능해요.
AI:ON-U는 SaaS형과 구축형 모두 공급이 가능해요.
아이온유(AI:ON-U) 왜 필요할까요?
생성형 AI를 도입하기 위해서는 LangChain, RAG, Vector DB, Plug-in, 프롬프트 엔지니어링, 오케스트레이션 등 많은 지식과 노하우가 필요하고, 인프라 환경 구축부터 AI모델 서빙, API/Plug-in 연동, API 생성 및 배포까지 많은 시간과 노력이 들어가요. 또한, 생성형 AI를 도입하기 위해서는 답변의 전문성을 위한 데이터 처리 기술 확보, AI서비스 개발을 위한 기술력 확보, 많은 시간, AI 전문 인력 충원 등 많은 시간과 비용을 들여야 하기 때문에 허들이 높아요.
아이온유(AI:ON-U)의 특징
아이온유(AI:ON-U)의 특징에 대해 자세히 알아볼까요?
(1) AI:ON-U는 Ready-made된 AI 서빙 플랫폼이에요.
AI:ON-U Studio : 모델 선택, Custom, Playground, API 배포 기능 제공
AI:ON-U Hub : AI 서비스 제공을 위한 API Gateway 역할 수행
AI:ON-U Flow : 파이프라인 구성 및 빌드
AI:ON-U Serving : 상용 LLM API 호출 및 오픈 모델 서빙 역할 수행
(2) AI:ON-U는 No code 기반 AI 서비스 개발 환경을 제공해요.
AI 서비스 개발에 필요한 LLM 연동, API 오케스트레이션, RAG, Plug-in 등을 쉽고 편리하게 연결하여 API 형태로 제공
AI 기반 Code assistant 및 RAG, API Agent 등을 기본으로 제공
(3) AI:ON-U는 RAG, 파라미터 튜닝을 통해 할루시네이션을 최소화해요.
답변의 전문성을 높일 수 있도록 LLM에 기업의 데이터를 연동하고 이를 기반으로 답변
검증된 출처를 기반으로 답변을 생성하여 정확한 정보를 제공
(4) AI:ON-U는 다양한 LLM을 지원해요.
오픈 LLM
Google Gemma 7B, Meta LLaMA3, Upstage Solar 10.7B, OpenAI sLLM, MISTRAL AI Mistral 7B
상용 LLM
OpenAI ChatGPT, Anthropic Claude3, Google Gemini, Mistral Large
(5) AI:ON-U는 데이터 유출로 인해 발생되는 문제점을 최소화해요.
AI:ON-U는 격리된 환경에서 개발이 가능해 데이터 유출 위험이 적고, 개인정보와 같은 민감한 데이터 필터링이 가능
(6) AI:ON-U는 SaaS형, 구축형 모두 공급이 가능해요.
인프라 제약이 없는 SaaS형 서비스는 AWS, Azure 등 클라우드 환경에 구축된 AI:ON-U 서비스를 간편하게 사용 가능
고성능 GPU를 통해 빠른 빌드와 배포 가능
실시간 모니터링 및 통계 대시보드 지원
이렇게 모든 AI 서비스는 AI:ON-U 플랫폼 안에서 구동되며, Studio를 통해 손쉽게 Chatbot을 만들고 바로 사용할 수 있어요!
방문자 여러분들,
AI-ON-U(아이온유)의 기능을 쉽고 재밌게 설명하기 위해 웹툰을 준비해봤어요.
우리와 함께 기능을 살펴볼까요?
AI-ON-U(아이온유) 문의는 aion-u@kt.com 으로 문의해주세요.