일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
- relu
- 과대적합제어
- DataFrame
- 스마트인재개발원
- 댓글분석
- python
- 광주국비지원학원
- 크롤링
- 웹크롤링
- 셀리니움
- 과대적합
- permisision부여
- servlet
- 광주인공지능학원
- 딥러닝
- iris붓꽃
- 활성화함수
- 인공지능학원
- 자바
- 유투브크롤링
- CountVectorizer
- jsp
- 토큰화
- 파이썬
- Selenium
- 인공지능
- 데이터프레임
- 머신러닝
- tfidf
- sellenium
- Today
- Total
목록+ 스마트인재개발원 + (27)
+ Hello +

1. jsp와 servlet 비교 - 로직구현은 servlet 클래스에, html 중심 코드는 jsp에 작성 장점 단점 형식 JSP HTML 코드 중심 -> 화면 작성 작업, 수정 용이 소스보기로 소스가 공개되어 중요정보에는 부적합 Servlet 복잡한 로직 구현에 적합함 - JAVA코드 중심 - 화면작성 작업과 수정의 어려움 - JSP : 동적으로 작동하여 응답은 html을 이용 (동적 웹 어플리케이션 컴포넌트) - jsp > servlet > class > html으로 변환되어 실행됨 2. JSP 구성요소 : 지시자, 선언문, 스크립트릿, 표현식 1) 스크립트릿 - JSP 문서 안에 java코드를 넣기 위해 사용 2) 표현식 - Web browser에 결과값을 출력하기 위해 사용 3) 선언문 - 선언..

* jupyer에서 Kkma 사용하기 위해 자바에서 가져오기 - 파이썬 버전 확인 !python --version - pip 업그레이드 !pip install --upgrade pip - Kkma import 작업해주기 !python --version !pip install --upgrade pip !pip install JPype1-1.1.2-cp38-cp38-win_amd64.whl !pip install konlpy from konlpy.tag import Kkma kkma = Kkma() 1. 리뷰 파일 불러오기 - pandas import 작업 import pandas as pd 1) 파일 불러와서 10개 항목 확인하기 df_train = pd.read_csv('nsmc-master/rating..

1. 문제정의 - 긍정리뷰, 부정리뷰를 구분하는 감성분석 - 긍정 / 부정에서 자주 사용되는 단어 확인 2. 데이터 수집 - largge movie dataset # 파일 읽어오기 from sklearn.datasets import load_files # Train 데이터 받아오기 train_data_url = 'aclImdb/train/' reviews_train = load_files(train_data_url, shuffle = True) # Test 데이터 받아오기 test_data_url = 'aclImdb/test' reviews_test = load_files(test_data_url, shuffle = True) - reveiws_train의 키값 구하기 reviews_train.keys(..

1) train, test 의 미율 - train : test = 7높: 3낮 >> 과대적합 확률 증가 - train : test = 낮 : 높 >> 과소 적합 확률 증가 2) 데이터 컬럼 수가 증가할수록 과대 적합 확률 증가 3) 머신러닝 모델의 매개변수에 따라서 학습량 조절, >> 하이퍼파라미터 튜닝 훈련 score 예측 score 과대 적합 매우높음 1 훈련 score에 비해 낮음 2 일반화 높음 2 가장 높음 1 과소 적합 다소 낮음 3 매우 낮음 3 - 머신 러닝은 예측 score가 높아야하므로 , 일반화 사용함 예시 ! 머신 : 사람판단하는 모델 1) 사람 : 팔2개 다리 2개 > 기준이 너무 적음 즉, 과소적합 2) 사람 : 흰마스크, 베이지 바지, 소라색 반팔, 신발, 174, 등등 > 선..

1. import 작업해주기 from selenium import webdriver as wb import pandas as pd import time 2. 크롬창 불러와서 Gmarket bestseller 창 가져오기 driver = wb.Chrome() driver.get('http://corners.gmarket.co.kr/Bestsellers') 2-1) 크롬창 들어가는거 보고싶지 않을 때 options = wb.ChromeOptions() options.add_argument('headless') options.add_argument('window-size=1920x1080') options.add_argument("disable-gpu") 3. BEST 1 제품창 찾아 클릭하기 - 선택자 통해..

1. import 작업하기 from selenium import webdriver as wb from selenium.webdriver.common.keys import Keys from bs4 import BeautifulSoup as bs import pandas as pd import time 2. 크롬 드라이버를 실행해서 유투브 화면 불러오기 driver = wb.Chrome() url = ('https://www.youtube.com/results?search_query=%EB%94%A9%EA%B3%A0%EB%AE%A4%EC%A7%81') driver.get(url) 3. 키보드의 PAGE_DOWN을 통해서 스크롤 내리기 - 페이지 정보가 담겨있는 body태그 찾기 - 키보드의 page_down..

Selenium모듈 - 웹 페이지를 제어하기 위한 모듈 # 셀레니움 설치하기 !pip install selenium 1. import 작업 먼저 해주기 - webdriver : 웹 페이지를 제어하기 위한 모듈 - Keys : 컴퓨터의 키보드와 같은 역할 - time : 쉬는 시간 부여 from selenium import webdriver as wb from selenium.webdriver.common.keys import Keys import time 2. 크롬 드라이버 실행 (크롬버전에 맞게 설치) 3. 크롬 드라이버를 통해 네이버 화면창 켜기 - Chrome(경로) 더보기 더보기 driver = wb.Chrome() url = "https://www.naver.com/" driver.get(url..

멜론 TOP 100 수집하기 1. request, bs4 import 작업하기 2. req 통해서 멜론 사이트 TOP 100 페이지 정보 가져오기 : req.get() - Response[406] : 사용자가 접근하는 것처럼 작성해주어야 함 1) F12 > Network > type이 document인 name 클릭 > 맨 아래 user-agent 복사하기 2) 딕셔너리 구조{ 'key' : 'values' }로 만들어주기 > 변수 h에 담기 3) req.get('url', headers = h) - headers는 고정값 3. 내가 요청한 정보를 기반으로 필요한 정보 꺼내오기 > BeautifulSoup 사용(어떤 페이지, 어떤 방법) 4. TOP100 가수 데이터 가져오기 > soup.select 가..

Request - 페이지 정보를 요청할 때 사용하는 라이브러리 :: Request :: # Import 작업 해주기 : import requets as req # 요청을 도와주는 라이브러리 : req.get # 요청한 페이지의 정보 보기 : req.text 먼저 import 작업해주기 - 네이버 페이지 요청하기 : req.get('ulr') (http:// 꼭 작성해주기, https://는 보안) - response[200] : 페이지를 잘 불러왔다는 표시 - 다시 res 변수에 담아주기 - 요청한 페이지의 정보 확인 : .text Melon 홈페이지에서 정보 가지고 오기 1. 멜론 페이지 요청하기 - 네이버처럼 https://멜론 을 입력하면 Response [406] 이 뜬다 - Response[40..

포함태그 iframe : 웹 페이지에 다른 웹 페이지를 넣는 태그 ① 현재 페이지에서 (내부)다른 페이지를 적용 ② 웹 사이트 적용 ③ 유투브, 영상 사이트 적용 ④ 구글 지도 미디어 태그 : 동영상을 웹 페이지에 넣어주는 태그 - 지원 확장자 : MP4, WebM, OGG - : video의 섬네일(이미지) : 오디오를 웹 페이지에 넣어주는 태그 - 지원 확장자 : MP3, WAV, OGG