데이터 쓰는 문덕배

MLFlow 소개 및 tracking server 실행 방법

UDEMY의 '랭체인 - LangChain 으로 LLM 기반 애플리케이션 개발하기' 강의를 수강한 후기를 남깁니다.

ML 엔지니어의 입장에서, 비동기 프로그래밍과 스케줄링은 데이터 처리, 모델 훈련 및 예측 작업을 자동화하는 데 필수적인 기술입니다. 이 글에서는 비동기 프로그래밍과 스케줄링에 대한 개념, Python의 asyncio와 APScheduler를 사용한 구현 방법에 대해 알아봅니다.

FastAPI, Streamlit, PostgreSQL을 사용해 웹 서비스 프로토타이핑 관련 세미나를 진행한 내용을 기록합니다.

LangChain Expression Language (LCEL)을 사용해 Map Reduce Chain을 단계적으로 구현해봅니다.

Retrieval-Augmented Generation(RAG)가 무엇이고 어떤 상황에 쓸 수 있는지 정리하고, Langchain을 통해 RAG를 구현하는 튜토리얼 코드를 작성해봅니다.

Streamlit은 사용자 친화적인 프레임워크이지만, 사용하다보면 제한적인 기능이 발목을 붙잡습니다. 제가 경험하고, 중요하다고 생각했던 세 가지 팁을 공유합니다.

머신러닝과 인공지능 분야는 끊임없이 발전하고 있고, 최근에는 LLM이 인기를 끌고 있습니다. 그런데 LLM은 개발도 어렵지만, 평가하는 방법은 더 난해한 것 같습니다. 한국어 LLM 개발 프로젝트에 참여하면서, 자체적으로 테스트셋을 만들던 중 언어모델의 평가방법에 대해 정리한 메모들을 모아 글로 남깁니다.

pytorch, tensorflow를 사용하기 위해 마련한 서버에 CUDA를 설치하면서 알게된 것들을 정리합니다.