현대에는 컴퓨터 시스템이 발전하면서 빅 데이터를 처리할 수 있는 하드웨어가 보장이 된다.
따라서 빅 데이터 처리 기술이 중요해졌다. 또한 데이터의 집합은 파일이니 파일 처리 기술도 중요해졌다!
파일처리는 데이터를 파일로 구성하고 관리하는 기술을 말한다.
최종 목표로는, 효율적으로 빅 데이터를 파일로 만들어서 활용할 수 있도록 한다.
그러기 위해 파일 구조를 먼저 배운다.
(디스크에 저장할 데이터를 표현하는 방식, 데이터에 접근하는 연산에 관한 것을 다루는 학문)
빅 데이터의 3대요소(3V)
: Volume- 수십 TB 이상, Velocity- 실시간 처리, Variety- 정형(사무정보),비정형(xml/html),반정형(동영상,사물정보)
최근에 5V => 정확성(Varacity), 가치(Value)