데이터 확산

Data proliferation

데이터 확산은 기업과 정부가 전례 없는 속도로 지속적으로 생성하는 엄청난 양의 정형 및 비정형 데이터와 해당 데이터를 저장하고 관리하려고 시도함으로써 발생하는 가용성 문제를 말한다. 원래 종이 문서와 관련된 문제와 관련되었지만, 데이터 확산은 컴퓨터의 1차 및 2차 데이터 스토리지에서 중요한 문제가 되었다.

디지털 스토리지 가격이 저렴해졌지만, 원 전력에서 유지보수, 메타데이터에서 검색 엔진에 이르는 관련 비용은 데이터의 확산을 따라가지 못하고 있다. 데이터 단위를 유지하는 데 필요한 전력이 떨어졌지만, 디지털 스토리지를 수용하는 시설 비용은 상승하는 경향이 있었다.[1]

가장 간단한 수준에서 회사 이메일 시스템은 대량의 데이터를 생성한다. 기업에게 중요한 업무용 이메일은 그 중 일부는 훨씬 덜 중요한 것으로, 연간 25-30%의 비율로 증가하고 있는 것으로 추정된다. 그리고 그것이 관련이 있든 없든, 시스템에 대한 로드는 다중 주소 지정과 같은 관행에 의해 확대되고 있고, 큰 텍스트, 오디오, 그리고 심지어 비디오 파일을 첨부하는 것에 의해서도 확대되고 있다.

— IBM Global Technology Services[2]

데이터 확산은 1971년 8월 이후 미군에 대한 문제로 기록되어 왔는데, 특히 주요 무기 시스템 획득 시 제출되는 과도한 문서화에 관한 것이다.[3] 데이터 확산 및 이와 관련된 문제를 완화하기 위한 노력이 계속되고 있다.[4]

발생한 문제

데이터 확산 문제는 상대적으로 저렴한 데이터 스토리지 장치의 가용성으로 인해 모든 상업 분야에 영향을 미치고 있다. 이는 사용적합성의 창이 지난 후 즉시 2차 저장소에 데이터를 덤프하는 것을 매우 쉽게 만들었다. 이는 기업의 수익성과 보건 서비스, 경찰 및 보안군, 지방 및 국가 정부, 그리고 많은 다른 유형의 조직들의 효율적인 기능에 심각한 영향을 미칠 수 있는 문제들을 가려낸다.[2] 데이터 확산은 다음과 같은 몇 가지 이유로 인해 문제가 있다.

  • 정보를 찾고 검색할 때의 어려움. 제록스에서는 직원들이 하드카피 문서를 찾는 데 평균 일주일에 한 시간 이상 소요되며 이를 관리하고 보관하는 데 연간 2,152달러가 소요된다. 10인 이상 사업장의 경우 이는 주당 2시간 가까이 늘어나 연간 5760달러다.[5] Primary 및 Secondary 데이터 저장소의 대규모 네트워크에서 전자 데이터를 찾는 문제는 하드 카피 데이터를 찾는 문제와 유사하다.
  • 데이터가 제대로 복제되지 않거나 적시에 찾을 수 없는 경우 데이터 손실 및 법적 책임. 2005년 4월, Ameritray Holding Corporation은 20만 명의 전·현직 고객들에게 기밀 정보가 담긴 테이프가 운송 중에 분실되거나 파괴되었다고 말했다. 같은 해 5월 타임워너社는 60만 명의 전현직 직원들에 대한 개인정보가 담긴 테이프 40개가 저장시설로 이동하는 과정에서 분실됐다고 보도했다. 2005년 3월, 모건 스탠리를 상대로 27억 달러의 소송을 심리하는 플로리다 판사는 "발견 의무의 고의적이고 중대한 남용"을 이유로 회사를 상대로 "반대 추론 명령"을 내렸다. 판사는 모건 스탠리가 회사가 그러한 모든 테이프를 법원에 넘겼다고 주장한 지 오래 후 이메일 메시지가 잘못 저장되어 있는 테이프를 반복적으로 찾아낸 것에 대해 모건 스탠리를 인용했다.[6]
  • 점점 더 혼란스러워지는 데이터 스토리지 리소스를 관리하기 위한 인력 요구사항 증가.
  • 사용자가 필요한 자료를 다시 검색하고 검색할 때 과도한 트래픽으로 인해 네트워크 [2]및 애플리케이션 성능 저하
  • 스토리지 하드웨어 운영에 필요한 에너지 자원의 측면에서 높은 비용. 100테라바이트 시스템은 냉각 비용을 계산하지 않고 연간 35,040달러까지 비용이 든다.[7]

제안 솔루션

  • 현대 기술을 더 잘 활용하는 애플리케이션
  • 중복 데이터의 감소(특히 데이터 이동으로 인해 발생)
  • 메타데이터 구조 개선
  • 파일 및 저장소 전송 구조 개선
  • 사용자 교육 및 훈련[3]
  • 나머지 정보를 신속하고 저렴하게 액세스할 수 있는 능동적으로 관리되는 장기 저장소에 넣기 전에 가능한 빨리 저가치 정보를 제거하는 정보 라이프사이클 관리 솔루션의 구현.[2]

참고 항목

참조

  1. ^ "Downsizing the digital attic". Deloitte Technology Predictions. Archived from the original on July 22, 2011.
  2. ^ a b c d 2006년 7월 IBM Global Technology Services의 "The Toxic Terabyte"
  3. ^ a b "Evolution of the Data Proliferation Problem within Major Air Force Acquisition Programs". Archived from the original on 2007-10-09. Retrieved 2007-10-09.
  4. ^ 데이터 확산: 스톱 That
  5. ^ "데이터 확산으로 거래"; Vawn Himelsbach. its business.ca: Canadian Technology News, 2006년 9월 19일
  6. ^ "데이터: 분실, 도난 또는 분실", 컴퓨터 월드, 보안
  7. ^ "전력 및 저장: 소유 비용의 숨겨진 비용", 컴퓨터 기술 리뷰, 2003년 10월