전체 글34 [칼럼읽기] Open-source DeepResearch – Freeing our search agents 원문 : https://huggingface.co/blog/open-deep-research날짜 : 2025.2.4서론최근 OpenAI에서 Deep Research를 출시했습니다. Deep Research는 웹 검색을 통해 더 정확한 답변을 할 수 있는 기능입니다. GAIA 벤치마크 데이터셋으로 테스트했을 때 Deep Research의 성능은 1-shot 평균으로 67%를 달성했다고 합니다. 가장 어려운 문제인 Level3는 47.6%의 평균 성능을 보였습니다. 아래 이미지에서 원색 막대 그래프가 웹 검색을 활용한 LLM의 성능이고, 빗금 막대 그래프가 LLM만 이용한 결과입니다. 한마디로 웹 검색을 기반으로 하니 LLM 성능이 좋아지더라는 것입니다. 구성 요소Code Agent컬럼 필진은 오픈 소스를 .. 2025. 2. 25. Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers 개인정보보호 등 데이터 규약이 발전함에 따라서 사전학습된 모델(PM; Pre-trained Model)에서 규약에 저촉되는 데이터 혹은 정보를 삭제해야 하는 경우가 생겼습니다. 학습한 데이터를 모델이 잊어버리게 만드는 분야를 Machine Unlearning이라고 합니다. Machine Unlearning은 특정 클래스의 모든 정보를 삭제하는 Class-wise method와 특정 데이터 포인트의 정보만 삭제하는 Instance-wise method가 있습니다. 기존의 방법이 PM에서 정보를 완전히 삭제하는 것을 목표로 두어 실패했다고 하며, 이 논문에서 제안하는 방법은 삭제 대상 정보를 잘못 예측(분류)하도록 유도하는 것입니다. Machine Unlearning에서 또 다른 문제는 남겨야 하는 데이터 .. 2024. 1. 25. Ensemble (1) Bagging & Random Forest 아래 강의 영상의 내용을 정리했습니다. https://www.youtube.com/watch?v=vlkbVgdPXc4 https://www.youtube.com/watch?v=nu_6PB1v3Xk Bagging Bootstrap(복원 추출)을 통해 N개의 Sub Train Set을 구성 복원 추출이기 때문에 Sub Train Set에는 동일한 데이터가 2개 이상 뽑힐 수 있음 N이 크다면 2/3는 Sub Train Set으로 뽑힐 것 1/3는 뽑히지 않을 것 → OOB(Out of Bag) 데이터 OOB 데이터를 검증(Validation)에 사용한다. B1으로 M1 학습 → OOB1으로 검증 B2로 M2 학습 → OOB2로 검증 B3로 M3 학습 → OOB3로 검증 예측할 때는 베이스 모델의 Output.. 2024. 1. 16. 오픈 소스를 활용한 RAG 구현 RAG를 구성하는 쿼리 임베딩 모델, 문서 임베딩 모델, 생성 모델을 오픈 소스 모델로 구성해보았습니다. 서버가 갖춰진 경우 추가로 비용이 발생한다는 장점이 있지만, 서버가 구비되어 있는 경우가 흔치는 않을 것 같습니다. 과제를 수행하는 환경 때문에 OpenAI의 text-embedding-ada-002 모델을 사용할 수 없어 시도해본 방법입니다. 서버 환경은 도커 이미지(pytorch/pytorch:2.1.1-cuda12.1-cudnn8-runtime)를 이용해 구성했습니다. GPU는 NVIDIA GeForce RTX 3090 Ti 2장 이용했습니다. CUDA Driver Version은 12.0입니다. 임베딩 모델은 JinaAI가 개발한 오픈소스 임베딩 모델을 사용했습니다. 생성 모델은 LLAMA2를.. 2024. 1. 16. [세미나 리뷰] RAG : Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 회사에서 다른 분이 RAG 논문 내용을 공유해주셨습니다. 공유받은 내용을 기반으로 다시 정리해보려고 합니다. 먼저 이 세미나로 새로 배울 수 있던 내용은 다음과 같습니다. Parametric and Non-Parametric 서로 다른 임베딩 모델을 사용해 유사도(내적)를 구하는 것도 가능하다. (Transformer Q, K, V와 연계) Beam Search 논문 내용을 주로 다루면서 위 개념에 대해서도 언급해보도록 하겠습니다. Issue 교육, 법률, IT 등 특정 전문 지식이 필요한 자연어 모델의 성능을 끌어 올리거나 ChatGPT처럼 다양한 주제로 대화를 나눌 수 있지만 가끔은 없는 사실을 마치 있는 것처럼 말하는 현상(Hallucination)을 줄이려면 어떻게 해야 할까요? 바로 질문(Que.. 2024. 1. 12. [Set Up] Ubuntu에서 Virtualbox로 Kubeflow 환경 구성하기 1. VirtualBox 설치 2. Ubuntu VM 올리기 3. ssh 설정 4. Anaconda 설치 # 파이썬 3.8 버전의 conda 설치 wget https://repo.anaconda.com/archive/Anaconda3-2021.05-Linux-x86_64.sh bash Anaconda3-2021.05-Linux-x86_64.sh license -> enter / yes conda init -> yes 설치 경로 -> 기본적으로 /home/{username}/에 설치, sudo 명령어를 사용하거나 root 계정이라면 /root/에 설치 source ~/anaconda3/bin/activate # 또는 source /home/{username}/anaconda3/bin/activate 설치 .. 2023. 2. 22. 이전 1 2 3 4 ··· 6 다음
