📌 네이버 블로그 크롤러 프로젝트오늘 진행한 프로젝트는 네이버 블로그에서 원하는 키워드로 검색 후, 검색 결과를 크롤링하여 블로그 제목, 작성자, 링크, 요약 내용을 출력하는 작업입니다. 이 프로젝트는 Selenium과 BeautifulSoup을 활용하여 웹 페이지를 자동으로 스크롤하고 데이터를 추출하는 방법을 실습했습니다.🚦 프로젝트 설명목표: 네이버에서 사용자 입력에 따른 키워드로 검색하고, 그 결과로 나타나는 블로그의 제목, 링크, 작성자, 요약을 자동으로 크롤링하여 출력하는 프로그램을 구현하는 것이었습니다.💻 프로젝트 코드 분석1. 필요한 라이브러리 설치먼저, 웹 요청 처리와 HTML 파싱을 위해 필요한 라이브러리를 설치합니다:requests: 웹 페이지의 HTML을 가져오는 데 사용.sel..

웹 스크래핑을 자동화하려면 여러 가지 방법을 사용할 수 있습니다. 이를 통해 반복적인 스크래핑 작업을 자동화하고, 필요한 데이터를 효율적으로 수집할 수 있습니다. 가장 흔히 사용되는 자동화 방법은 Python 코드를 통해 스크래핑을 주기적으로 실행하거나, 크론(Linux) 또는 작업 스케줄러(Windows)와 같은 도구를 사용하여 자동으로 스크래핑 작업을 예약하는 것입니다.1. 스크래핑 코드 자동화웹 스크래핑 작업을 자동화하려면 Python 코드를 작성하고 이를 주기적으로 실행하는 방법을 사용할 수 있습니다. 예를 들어, beautifulsoup, requests, Selenium 등을 사용하여 데이터를 추출하고, 이를 자동으로 처리하도록 설정할 수 있습니다.2. 주기적으로 자동 실행하는 방법스크래핑을 ..

네이버 API를 사용하여 부동산 자료를 가져오는 것에 대해 설명드리겠습니다. 네이버 API는 다양한 서비스를 제공하지만, 네이버 부동산 API는 별도로 제공되지 않거나 공개된 API로 부동산 관련 데이터를 직접 제공하는 것은 아닙니다. 다만, 네이버 검색 API나 네이버 지도 API와 같은 일부 API는 부동산 정보와 관련된 데이터를 간접적으로 얻을 수 있는 방법을 제공합니다.1. 네이버 API와 부동산 관련 데이터현재 네이버에서 제공하는 공식 API 중에서 직접적으로 부동산 자료를 제공하는 API는 없습니다. 그러나 네이버의 검색 API, 지도 API 등을 활용하면 간접적으로 부동산 정보와 관련된 데이터를 얻을 수는 있습니다.네이버 검색 API:네이버의 검색 API를 사용하여 부동산 관련 사이트나 부동..

📌 네이버 블로그 크롤링 및 AI 분석 프로젝트오늘 진행한 프로젝트는 네이버 블로그에서 사용자가 입력한 키워드로 검색을 진행하고, 검색 결과를 크롤링하여 블로그의 제목, 링크, 작성자, 요약 내용을 출력하는 작업이었습니다. 또한, 크롤링한 데이터에 대해 AI 분석을 요청할 수 있는 기능도 추가하였습니다. 이 프로젝트는 웹 스크래핑과 AI 분석을 결합하여 자동화된 작업을 진행하는 방법을 배운 실습입니다.🚦 프로젝트 개요목표: 사용자로부터 입력받은 검색어로 네이버 블로그를 검색하고, 검색된 블로그들의 제목, 링크, 작성자, 요약 내용을 추출하여 출력하는 프로그램을 구현하는 것이었습니다. 추가적으로, 각 게시글에 대해 AI 분석을 요청할 수 있는 기능을 구현했습니다.💻 코드 분석1. 필요한 라이브러리 설..

📌 개념 정리이번 실습은 AWS의 EC2, S3, CloudFront, PM2, 로드 밸런서(ELB), 오토 스케일링을 활용하여 이미지 갤러리 웹사이트를 구축하는 전 과정을 담고 있습니다.S3(Simple Storage Service): 객체 스토리지 서비스로 데이터를 저장CloudFront: CDN 서비스로 빠르게 콘텐츠 전달 및 캐싱EC2: 가상 서버 인스턴스로 웹사이트 및 서버 운영PM2: Node.js 서버를 백그라운드에서 관리하는 프로세스 매니저로드 밸런서(ELB): 트래픽을 여러 서버로 분산하여 안정성 확보오토 스케일링(Auto Scaling): 사용량에 따라 서버 개수를 자동으로 조정🚦 동작 원리 및 구조사용자가 이미지를 업로드하면 EC2를 통해 S3에 저장됩니다.저장된 이미지는 Clou..

📌 개념 정리Express Generator 구조 이해views 폴더: 프론트엔드 영역, EJS(템플릿 엔진), HTML 등을 관리routes 폴더: 백엔드 API 코드 관리AWS SDK for JavaScriptAWS 서비스를 Node.js에서 사용할 수 있도록 하는 SDKEC2 인스턴스에서 S3로 파일 업로드 가능IAM 역할(Role)AWS 서비스에 접근 권한을 부여할 때 사용EC2 인스턴스에 S3 접근 권한 부여 시 사용CloudFront와 OAC(Origin Access Control)S3 버킷의 객체를 퍼블릭하게 접근할 수 있게 하는 기능CDN을 통한 빠르고 안전한 이미지 전송🚦 동작 원리 및 구조사용자가 웹페이지에서 이미지를 업로드Node.js 서버(Express)가 이미지를 받아 EC2 ..

📌 개념 정리Express Generator로 생성한 Node.js 프로젝트에 이미지 업로드 기능을 추가하는 실습을 진행합니다. 이미지를 업로드하기 위해 사용되는 주요 패키지는 다음과 같습니다.Express: 웹 애플리케이션 프레임워크Multer: 이미지 및 파일 업로드 처리용 미들웨어Bootstrap: UI 디자인을 위한 오픈소스 CSS 프레임워크jQuery: DOM 조작과 Ajax를 쉽게 해주는 자바스크립트 라이브러리🚦 동작 원리 및 구조클라이언트(브라우저)에서 이미지를 선택하고 서버로 업로드 요청(POST)을 보냅니다.서버에서는 Multer가 이 요청을 처리하여 이미지를 서버 내 특정 폴더에 임시로 저장합니다.최종적으로는 저장된 이미지를 AWS S3와 같은 클라우드 스토리지로 업로드합니다.💻 ..

📌 개념 정리사진 공유 웹사이트의 AWS 기반 인프라 구성에 대한 실습입니다. 주요 AWS 서비스인 EC2, S3, CloudFront, 로드 밸런서를 이용하여 사진 업로드와 조회를 빠르고 안정적으로 수행하는 환경을 구축합니다.🚦 동작 원리 및 구조사용자가 EC2 인스턴스를 통해 사진을 업로드합니다.업로드된 사진은 S3에 저장됩니다.저장된 사진을 브라우저에서 볼 때는 CDN 서비스인 CloudFront를 통해 빠르게 전송됩니다.웹사이트 트래픽 분산을 위해 로드 밸런서(ALB)를 사용하여 부하를 골고루 나눕니다.(선택적) 트래픽 변화에 따라 자동 확장할 수 있는 오토 스케일링을 추가할 수 있습니다.💻 코드 예시 및 흐름 분석✅ EC2 인스턴스 생성 및 SSH 접속AWS EC2 콘솔 → 인스턴스 시작 ..