OS가 필요한 이유 (방화벽)
하드웨어에 접근하기 위해서는 메모리 주소 등과 같은 하드웨어 관련 정보를 알아야 한다. 32비트니까, 약 42억 9천개의 주소가 존재한다. 사람이 수기로, 어느 메모리 공간이 남는지 알아보고 관리하는게 가능한 일인가? 아니다. 따라서 운영 체제(OS)가 이러한 하드웨어 기기를 관리해주는 역할을 하는 것. 우리 개발자들은 애플리케이션(APP)을 통해 운영 체제(OS)에 명령을 내리는 것. * 때문에 애플리케이션(프로그램)은 운영 체제가 없으면 작동하지 않는다. * APP → OS → HW 순으로 명령을 내린다. * 만약 os가 없었더라면... 우리가 HW에게 명령을... 내려야하는 것? ..저걸?
운영체제 방화벽
운영 체제는 '방화벽 기능'을 가지고 있는데, 이 방화벽은 포트를 막아버린다. 기본적으로 운영 체제(OS)는 모든 포트를 막아두는 것이 보통이다. 따라서 카카오톡에 접근하려면 카톡이 들고 있는 포트 5000에 대한 방화벽만 허용해서 사용할 수 있게 한다. (포트가 막혀있다 = 통신이 안된다 = 해킹이 안된다)
해커는 포트 1개만 뚫으면 되는데,
화이트 해커는 포트 65,536개를 다 막아야 해킹을 막을 수 있음.
* DMZ 개방 (=방화벽 전체 오픈) (비무장 지대를 만든다)
모든 포트를 다 개방하여 외부와의 통신을 자유롭게 하는 것을 의미.
이는 내부 네트워크의 보안에 취약할 수 있으며, 주의가 필요하다.
DMZ에는 외부에서 접근해도 큰 문제가 없는 공개된 서비스나 웹 서버와 같은
시스템을 배치하고, 내부 네트워크에는 보안이 강화된 시스템이 위치하도록 구성
meta검색이란?
전세계의 모든 페이지를 다운로드하려면 모든 포트를 순차적으로 탐색해야 함. (IP주소 : 42억9천 * 포트번호 65,536 = 이걸 매순간하면 모든 페이지 다운로드 가능^^) 매 순간 새로운 정보가 생성되고 업데이트 되고, (거의 매 순간 받아와야한다는 말) 웹 페이지를 다운로드하는 것은 단순히 데이터를 저장하는 것뿐만 아니라, 해당 페이지에 대한 연결된 이미지, 스크립트, 스타일시트 등의 리소스도 함께 다운로드해야 한다. 이는 막대한 양의 데이터를 처리해야 함을 의미! 그래서 meta 검색이 등장했다!
메타 검색은 웹 페이지의 메타 정보(간략한 요약 정보)를 활용하여 특정 주제나 키워드와 관련된 페이지를 검색하는 방식 즉, meta에 있는 정보만 읽고 서비스하는 것! (필요없는 건 버려버림) 예를 들어, 검색 엔진에 "여름 휴가지 추천"이라는 검색어를 입력하면, 검색 엔진은 웹 페이지의 메타 정보를 분석하여 해당 주제와 관련된 페이지를 찾는다. 메타 정보에는 웹 페이지의 제목에 "여름 휴가지 추천"이라는 문구가 포함되어 있거나, 설명 부분에 여름 휴가지를 추천하는 내용이 작성되어 있는 경우 해당 페이지가 검색 결과로 나타나는 것. 메타 검색은 검색 엔진이 웹 페이지의 내용을 일일이 분석하지 않고도 메타 정보를 활용하여 효율적으로 관련된 페이지를 찾을 수 있는 장점이 있다. 이를 통해 웹 사용자는 원하는 주제나 키워드와 관련된 정보를 빠르게 찾을 수 있다. (메타 정보를 활용하여 페이지를 빠르게 식별하고 분류할 수 있다.) 그래서 meta 검색을 하는 것!
메타 정보 : 해당 페이지의 제목, 설명, 키워드 등 페이지에 대한 간략한 요약 정보
(마치 택배 상자 같기도…)
메타 키워드 : 해당 페이지의 주제나 핵심 단어를 나타내는 키워드
구글은 로봇.txt 파일 (구글꺼)을 확인하여
해당 웹 사이트의 크롤링 정책을 준수하며 크롤링 작업을 수행
바디를 헤더가 설명해주는거니… 이론적으론 이것도 meta데이터 라고 볼 수 있는 셈.
크롤링이란?
인터넷 상에 존재하는 다양한 웹 페이지를 자동으로 탐색하고 데이터를 수집하는 과정 크롤링은 정보 수집, 데이터 분석, 검색 엔진 인덱싱 등 다양한 목적으로 활용
웹 크롤러 또는 스파이더라고 불리는 프로그램이
웹 페이지를 순회하며 정보를 수집하는 작업
JDBC (Java Database Connection) - 아직 진도 X
그림은 html로 만들고, 자바로 데이터베이스 해서, 합쳐야함 db에 있는걸 자바 코드로 받아올 수 있는 것
Share article