Python 에서의 Hadoop
1. Hadoop, Java VS Python Hadoop의 MapReduce 작업은 Java로 구현하는 것이 더 적합할 때가 많습니다. 그 이유는 다음과 같습니다: Hadoop의 기본 언어: Hadoop 자체가 Java로 작성되어 있어, MapReduce 작업을 Java로 작성하면 더 좋은 성능을 기대할 수 있습니다. Hadoop의...
1. Hadoop, Java VS Python Hadoop의 MapReduce 작업은 Java로 구현하는 것이 더 적합할 때가 많습니다. 그 이유는 다음과 같습니다: Hadoop의 기본 언어: Hadoop 자체가 Java로 작성되어 있어, MapReduce 작업을 Java로 작성하면 더 좋은 성능을 기대할 수 있습니다. Hadoop의...
스트리밍 미디어 서버 구축 및 관리 1. 미디어 서버 선택 및 구축 미디어 서버 소프트웨어를 선택하고 설치 및 구성합니다. 대표적인 미디어 서버 소프트웨어는 다음과 같습니다: Nginx + RTMP 모듈 (오픈소스) Wowza Streaming Engine (상용) Red5 (오픈소스) 1.1 Nginx + RTMP 모듈 설치 su...
TTS 음성 파일 스트리밍을 위한 서버 및 파일 관리 전략 TTS(Text-to-Speech)를 통해 생성된 음성을 HLS(Hypertext Live Streaming) 프로토콜을 사용하여 스트리밍하려면 음성 파일의 관리와 관련된 서버 구성 및 관리 전략이 필요합니다. 아래는 필요한 요소들과 관리 단계를 정리한 내용입니다. 1. 음성 파일 생성 및...
TTS 기반 논문 요약 스트리밍 시스템 아키텍처 1. 개발 및 배포 환경 GitLab → Jenkins → EC2 GitLab: 소스 코드 버전 관리 Jenkins: CI/CD 파이프라인 EC2: 리액트 및 스프링 부트 서비스 배포 2. 데이터 처리 및 저장 JSON 파일 수집 및...
Introduction 캐시: 접근 시간이 느린 곳의 데이터를 상대적으로 빠른 장소에 임시 보관 일반적인 캐시 활용 이미지, css, js 등 정적 리소스 대상 캐시 기반 장점을 위해서 서버 리소스 변경 시 클라이언트에 실시간 반영이 불가능 WAS에 Caching Service 파트를 연결...
📚 학습 내용 정리 🚀 NGINX High performance load balancer, web server, API gateway & reverse proxy 비동기 방식이기 때문에 매우 높은 성능 정적인 파일(주로 프론트엔드 파일들)을 서비스할 때 뛰어난 성능 (vs. 톰캣) Load balancer 나 API gatew...
2024-08-01 IP Adapter, ControlNet, 그리고 Multi ControlNet: 이미지 생성에서의 도전과 해결 이미지 생성 모델에서 IP Adapter, ControlNet, 그리고 Multi ControlNet을 활용하는 것은 매우 강력하지만, 때로는 도전적인 작업이 될 수 있습니다. 이 포스팅에서는 이러한 기술들이 어떻게 ...
🛠️ Stable Diffusion 엔지니어링 일지 1. Stable Diffusion 허깅페이스 공식 Docs 사용: Stable Diffusion에 대한 기본적인 설명과 사용 방법이 포함되어 있습니다. 2. 스케쥴러 스케쥴러 종류와 튜닝 가이드: 다양한 스케쥴러 종류와 그 특징에 대해 설명합니다. 스케쥴러 종류에...
2024-07-23 오전 🛡️ 웹 개발 시 유의할 점 정리 0-1. 암호화 🔒 인터넷망은 퍼블릭한 공간입니다. 누군가 HTTP 요청을 볼 수 있다는 전제가 필요합니다. HTTPS 통신은 선택이 아닌 필수입니다. 암호화 작업에는 연산에 따른 비용이 수반됩니다. DB의 테이블에 개인정보는 암호화해서 컬럼에 삽입해...
🚽 RAG 구축 시 트러블 슈팅 파트 흐름 문서 문서 로더 - 텍스트 Split - 백터 임베딩 - 백터 스토어 저장소 백터 스토어 - Retrievers - 유사 문장 출력 사용자 사...