S-DEV (41) 썸네일형 리스트형 다크웹2 다크웹 미러링 사이트를 크롤링하여 연결된 URL 들을 파싱 후 DB로 저장 1. 연결된 URL 파싱하기 import requests, sqlite3 from bs4 import BeautifulSoup url = 'https://onions.danwin1210.de/' response = requests.get(url) # 상태 코드 확인 하기 if response.status_code == 200: html = response.text soup = BeautifulSoup(html, 'html.parser') # a 태그안에 href를 사용하고있으면 파싱 for a in soup.findAll("a"): href = a["href"] # 만약에 ? 또는 https 또는 / 로 시작을 하면 넘김 if h.. Tor IP 국적 지정 from stem.control import Controller from stem import Signal import time import requests proxies = { 'http':'socks5://127.0.0.1:9150', 'https':'socks5://127.0.0.1:9150' } # 지정할 국적을 입력 county_code = 'US' ip_response = requests.get("http://ip-api.com/line", proxies=proxies) ip_response.close() for line in ip_response.content.decode("utf-8").split("\n"): print(line) controller = Controller.from_port.. 다크웹 • VPN - 가상 사설망 (Virtual Private Network) - 여러 네트워크를 마치 하나의 네트워크처럼 연결 - Tunneling이라는 프로토콜을 사용하여 네트워크 암호화 • Proxy - 대리인이라는 뜻으로 웹 사이트 접근 시 중간 경유하여 IP를 변조 • SOCKS5 - SOCKS socket Secure - MIPS 컴퓨터 시스템의 시스템 관리자인 데이비드 코블라스에 의해 개발 - 프록시 서버를 통해 클라이언트와 서버 간에 네트워크 패킷을 교환하는 인터넷 프로토콜 - 실제로 SOCKS 서버는 TCP 연결을 임의의 IP주소에 프락시하고 UDP 패킷을 전달하기 위한 수단을 제공 - SOCKS5는 네트워크 트래픽 유형을 구별할 수 없기 떄문에 가장 유현한 서버 프로토콜로 간주되는 확장이다... 데이터베이스 보호되어 있는 글입니다. Web Crowlling - 1 ∙ Selenium - Requests는 단 하나의 웹 요청만 처리한다. - JS, JQuery, Ajax 등 동적인 웹 페이지 처리하기에는 부족하다. - Python에서 동적 웹 테스팅을 위해 개발된 웹 드라이버이다. - Xpath와 CSS, DOM과 같은 다양한 위치 지정자의 위치 제공 - 특정 텍스트박스에 값을 입력 후 클릭 제공 ∙ web browser 열기 from selenium import webdriver browser = webdriver.Chrome() browser.get("https://www.naver.com") input() - 이미지 요청 해제 from selenium import webdriver # 이미지 요청 해제 prefs = { "profile.managed_defau.. 웹 크롤링 기본 개념 ∙ 매크로 - 여러 개의 명령어를 묶어서 하나의 입력으로 처리 - 복잡, 반복되는 작업을 단순화 또는 자동화 - 온라인 게임에서의 자동사냥 등으로 많이 활용 ∙ 웹 프로토콜 이해 - 팀 버나스리 경 : HTTP 설계자이며, 영국의 컴퓨터 과학자이다. - HTTP (Hyper Text Transfer Protocol) > TCP 프로토콜을 사용하며 요청과 응답으로 구성 > 응답을 통해 전송된 HTTP Response Body는 후에 브라우저에서 랜더링 되어 사용자에게 보인다. - HTTP Method 메서드 내용 GET 특정 리소스의 접근을 요청, 오직 데이터를 받기만 가능 POST 서버가 처리할 자료를 보냄, GET으로 보낼 수 없는 자료를 전송하고자 할 때 사용 HEAD GET 요청과 동일한 응답을 요.. Flex & bison • 실습 /* just like Unix wc */ %{ int chars=0; int words=0; int lines=0; %} %% /* 정규표현식을 이용한 파일내의 글자 갯수 확인 */ [a-zA-Z]+ { words++; chars += strlen(yytext); /* yytext는 앞의 패턴과 일치하는 문자열 */} \n { chars++; lines++; } . { chars++;} %% int main (int argc, char **argv){ yylex(); /* %%와 %%사이에 있는 패턴 규칙대로 매칭, 동작하는 함수 */ printf("%8d%8d%8d\n", lines, words, chars); return 0; } /* English -> American */ /* 구역 나.. Anti-Virus - 1 • X86 Platform 구성과 부팅 과정 1. X86 컴퓨터 하드웨어 구성 - CPU - Main Memory - SMBus (System Management Bus) ⇒ I2C 전기신호 프로토콜을 기반으로 하고 있음 ⇒ CPU 코어별 주파수 상태(클럭 속도)도 제어 ⇒ LPC 중 하나이지만, 무척 소중 -> BUS 신호들로 인해서 메모리 버스 전송 속도를 결정 - LPC (Low Pin Count) ⇒ 저속으로 동작하는 장치 중, CPU와 직접 신호 연결을 통해 동작하는 장치와 버스를 통칭 ⇒ BIOS, UEFI 펌웨어 롬도 이에 해당함 ⇒ 펌웨어 업데이트 외에도 최근에 TPM, IPMI 같은 장치용으로 쓰임 ⇒ Super I/O라는 형태의 장치로 많이 사용 -> 느린데 Super인 이유는 DMA,.. 이전 1 2 3 4 5 6 다음
