Shaplay 수학적 접근
🎲 Shapley 값의 수학적 배경 SHAP(SHapley Additive exPlanations)는 협동 게임 이론에서 유래한 Shapley 값을 기반으로 하여, 머신러닝 모델의 예측에서 각 피처가 얼마나 기여했는지를 계산하는 방법입니다. 협동 게임 이론이란? 🤝 Shapley 값은 원래 협동 게임 이론(cooperative game theo...
박상필 소개
데이터 엔지니어링 시 고민거리
🚀 대규모 트래픽 로그 저장 및 인공지능 적용 모델링 고찰 1. 🔍 Spark를 통한 분산처리의 판단 기준 다양한 소스(예: 로그, 이벤트, 스트리밍 데이터 등)를 동시에 처리해야 하는 경우 정기적인 배치 작업(예: 일별, 주별)을 빠르게 수행해야 하는 경우 실시간 데이터 처리 필요가 있는 경우 (Spark Streaming) 데이터...
로그 데이터 - ML 데이터 파이프라인
📊 IoT 데이터 파이프라인 구축 1. 데이터 수집 (Data Collection) 🚀 ELK Stack의 Logstash가 IoT 센서와 외부 소스의 데이터를 실시간으로 수집합니다. 수집된 데이터는 Elasticsearch에 저장되어 실시간 검색 및 분석이 가능해집니다. 원본 데이터는 데이터 레이크에도 저장되어, 후속 Spark 및 머...
doc2vec based on gensim library
패키지 설치 # 0. 만약 윈도우라면 conda 환경 변수 추가 source ~/.bashrc # 1. 콘다 환경 사용 conda create -n doc2vec python=3.12.3 -y conda activate doc2vec pip install torch faiss-cpu pip install pandas numpy scikit-lear...
웹의 역사와 발전
2024-09-24 오전 <!DOCTYPE html> 웹의 역사와 발전 🌐 웹의 역사와 발전 English Version 한국어 버전 🌐 The History & Evolution of the Web ...
Python 에서의 Hadoop
1. Hadoop, Java VS Python Hadoop의 MapReduce 작업은 Java로 구현하는 것이 더 적합할 때가 많습니다. 그 이유는 다음과 같습니다: Hadoop의 기본 언어: Hadoop 자체가 Java로 작성되어 있어, MapReduce 작업을 Java로 작성하면 더 좋은 성능을 기대할 수 있습니다. Hadoop의...
스트리밍 미디어 서버
스트리밍 미디어 서버 구축 및 관리 1. 미디어 서버 선택 및 구축 미디어 서버 소프트웨어를 선택하고 설치 및 구성합니다. 대표적인 미디어 서버 소프트웨어는 다음과 같습니다: Nginx + RTMP 모듈 (오픈소스) Wowza Streaming Engine (상용) Red5 (오픈소스) 1.1 Nginx + RTMP 모듈 설치 su...
HLS 프로토콜을 이용한 음성TTS 파이프라인
TTS 음성 파일 스트리밍을 위한 서버 및 파일 관리 전략 TTS(Text-to-Speech)를 통해 생성된 음성을 HLS(Hypertext Live Streaming) 프로토콜을 사용하여 스트리밍하려면 음성 파일의 관리와 관련된 서버 구성 및 관리 전략이 필요합니다. 아래는 필요한 요소들과 관리 단계를 정리한 내용입니다. 1. 음성 파일 생성 및...
분산처리 데이터 파이프라인
TTS 기반 논문 요약 스트리밍 시스템 아키텍처 1. 개발 및 배포 환경 GitLab → Jenkins → EC2 GitLab: 소스 코드 버전 관리 Jenkins: CI/CD 파이프라인 EC2: 리액트 및 스프링 부트 서비스 배포 2. 데이터 처리 및 저장 JSON 파일 수집 및...
About Caching
Introduction 캐시: 접근 시간이 느린 곳의 데이터를 상대적으로 빠른 장소에 임시 보관 일반적인 캐시 활용 이미지, css, js 등 정적 리소스 대상 캐시 기반 장점을 위해서 서버 리소스 변경 시 클라이언트에 실시간 반영이 불가능 WAS에 Caching Service 파트를 연결...