데이터 쓰는 문덕배

See All Daily Tech Hack&Tip

단기지향 의사결정에 대하여

단기지향 의사결정에 대하여

2024년 12월 3일, 윤석열 대통령의 계엄령 선포가 있었습니다. 시간이 꽤 지났지만, 러시아는 우크라이나 침공을 감행하기도 했습니다. 그간 어렴풋이 느끼고 있었지만, 단기지향 의사결정(short-terminism)이 세계적으로 만연하고 있다는 생각이 들었습니다. 기업 뿐만 아니라, 국가 차원에서도 이런 현상이 발생하는 것을 보면서, 단기지향 의사결정에 대한 생각을 작성해보려 합니다.

RAG 기반 LLM 서비스 평가 프레임워크 설계해보기

RAG 기반 LLM 서비스 평가 프레임워크 설계해보기

HDLSS 데이터로 만들어진 ML 모델 검증하기

HDLSS 데이터로 만들어진 ML 모델 검증하기

Airflow 튜토리얼 (1)

Airflow 튜토리얼 (1)

[UDEMY 강의 리뷰] Apache Spark 와 Python으로 빅 데이터 다루기

[UDEMY 강의 리뷰] Apache Spark 와 Python으로 빅 데이터 다루기

단기지향 의사결정에 대하여

단기지향 의사결정에 대하여

2024년 12월 3일, 윤석열 대통령의 계엄령 선포가 있었습니다. 시간이 꽤 지났지만, 러시아는 우크라이나 침공을 감행하기도 했습니다. 그간 어렴풋이 느끼고 있었지만, 단기지향 의사결정(short-terminism)이 세계적으로 만연하고 있다는 생각이 들었습니다. 기업 뿐만 아니라, 국가 차원에서도 이런 현상이 발생하는 것을 보면서, 단기지향 의사결정에 대한 생각을 작성해보려 합니다.

RAG 기반 LLM 서비스 평가 프레임워크 설계해보기

RAG 기반 LLM 서비스 평가 프레임워크 설계해보기

HDLSS 데이터로 만들어진 ML 모델 검증하기

HDLSS 데이터로 만들어진 ML 모델 검증하기

Airflow 튜토리얼 (1)

Airflow 튜토리얼 (1)

[UDEMY 강의 리뷰] Apache Spark 와 Python으로 빅 데이터 다루기

[UDEMY 강의 리뷰] Apache Spark 와 Python으로 빅 데이터 다루기

MLFlow 튜토리얼(1)

MLFlow 튜토리얼(1)

MLFlow 소개 및 tracking server 실행 방법

[UDEMY 강의 리뷰] 랭체인 - LangChain 으로 LLM 기반 애플리케이션 개발하기

[UDEMY 강의 리뷰] 랭체인 - LangChain 으로 LLM 기반 애플리케이션 개발하기

UDEMY의 '랭체인 - LangChain 으로 LLM 기반 애플리케이션 개발하기' 강의를 수강한 후기를 남깁니다.

Python 비동기 스케줄링

Python 비동기 스케줄링

ML 엔지니어의 입장에서, 비동기 프로그래밍과 스케줄링은 데이터 처리, 모델 훈련 및 예측 작업을 자동화하는 데 필수적인 기술입니다. 이 글에서는 비동기 프로그래밍과 스케줄링에 대한 개념, Python의 asyncio와 APScheduler를 사용한 구현 방법에 대해 알아봅니다.

대학 연구실을 위한 웹 프로토타이핑 (with Python) 후기

대학 연구실을 위한 웹 프로토타이핑 (with Python) 후기

FastAPI, Streamlit, PostgreSQL을 사용해 웹 서비스 프로토타이핑 관련 세미나를 진행한 내용을 기록합니다.

Langchain으로 RAG 구현하기 (2)

Langchain으로 RAG 구현하기 (2)

LangChain Expression Language (LCEL)을 사용해 Map Reduce Chain을 단계적으로 구현해봅니다.

Langchain으로 RAG 구현하기 (1)

Langchain으로 RAG 구현하기 (1)

Retrieval-Augmented Generation(RAG)가 무엇이고 어떤 상황에 쓸 수 있는지 정리하고, Langchain을 통해 RAG를 구현하는 튜토리얼 코드를 작성해봅니다.

Obsidian - Zotero 연동 과정 정리

Obsidian - Zotero 연동 과정 정리

옵시디언과 Zotero를 연동해 사용하면 논문 인용 및 정리를 쉽게 할 수 있습니다. Zotero를 설치하고 활용하는 방법을 정리합니다.

글 쓰기를 위한 Obsidian 세팅 과정 정리

글 쓰기를 위한 Obsidian 세팅 과정 정리

약 4개월동안 Obsidian을 사용하면서 최근 정착하게 된 폴더구조, plugin, 사용법 등을 기록해두었습니다. 스스로 사용하기 좋은 방식으로 많이 커스텀 되어있지만, 그럼에도 혹시 도움이 되실 분들이 있을까 싶어 글로 공유드립니다.

Streamlit 사용자를 위한 3 가지 팁

Streamlit 사용자를 위한 3 가지 팁

Streamlit은 사용자 친화적인 프레임워크이지만, 사용하다보면 제한적인 기능이 발목을 붙잡습니다. 제가 경험하고, 중요하다고 생각했던 세 가지 팁을 공유합니다.

언어모델 평가하기

언어모델 평가하기

머신러닝과 인공지능 분야는 끊임없이 발전하고 있고, 최근에는 LLM이 인기를 끌고 있습니다. 그런데 LLM은 개발도 어렵지만, 평가하는 방법은 더 난해한 것 같습니다. 한국어 LLM 개발 프로젝트에 참여하면서, 자체적으로 테스트셋을 만들던 중 언어모델의 평가방법에 대해 정리한 메모들을 모아 글로 남깁니다.

CUDA의 역할과 설치 방법

CUDA의 역할과 설치 방법

pytorch, tensorflow를 사용하기 위해 마련한 서버에 CUDA를 설치하면서 알게된 것들을 정리합니다.

빅데이터 플랫폼 개발이 하둡없이 가능한가요?

빅데이터 플랫폼 개발이 하둡없이 가능한가요?

언어모델 개발 입문을 위한 넓고 얕은 사전지식

언어모델 개발 입문을 위한 넓고 얕은 사전지식

데이터 쓰는 문덕배

RSS·Powered by Inblog