데이터 무결성

Data integrity

데이터 무결성은 전체 라이프[1] 사이클에 걸쳐 데이터의 정확성과 일관성을 유지하고 보장하는 것으로, 데이터를 저장, 처리 또는 검색하는 시스템의 설계, 구현 및 사용에 있어 매우 중요한 요소입니다.이 용어는 범위가 광범위하며 컴퓨팅의 일반적인 포괄 아래에서도 특정 컨텍스트에 따라 의미가 크게 다를 수 있습니다.데이터 검증은 데이터 [2][3]무결성의 전제 조건이지만 데이터 품질을 나타내는 프록시 용어로 사용되는 경우도 있습니다.데이터 무결성은 데이터 [4]손상의 반대입니다.모든 데이터 무결성 기술의 전체적인 의도는 동일합니다. 즉, 데이터가 의도한 대로 정확히 기록되도록 하는 것입니다(예를 들어, 데이터베이스가 상호 배타적인 가능성을 올바르게 거부하는 경우).또한 나중에 검색할 때 데이터가 원래 기록되었을 때와 동일한지 확인하십시오.즉, 데이터 무결성은 의도하지 않은 정보 변경을 방지하는 것을 목적으로 합니다.데이터 무결성은 승인되지 않은 당사자로부터 데이터를 보호하는 원칙인 데이터 보안과 혼동해서는 안 됩니다.

악의적인 의도, 예기치 않은 하드웨어 장애, 인적 오류 등 스토리지, 검색 또는 처리 작업으로 인해 의도하지 않게 데이터가 변경되면 데이터 무결성이 저하됩니다.변경 내용이 무단 액세스의 결과인 경우 데이터 보안의 장애일 수도 있습니다.관련된 데이터에 따라서는 휴가 사진이나 업무상 중요한 데이터베이스의 손실, 심지어 생명에 중요한 시스템의 치명적인 인명 손실에 이르기까지 원래 기록되었던 것과는 다른 색상으로 보이는 이미지에서 단일 픽셀처럼 양성으로 나타날 수 있습니다.

무결성 유형

물리적인 무결성

물리적 무결성은 데이터 자체의 올바른 저장 및 가져오기 작업과 관련된 문제를 처리합니다.물리적 무결성 과제에는 전기기계 결함, 설계 결함, 재료 피로, 부식, 정전, 자연재해 및 이온화 방사선, 극한 온도, 압력 및 g-힘과 같은 기타 특수 환경 위험이 포함될 수 있다.물리적인 무결성 확보에는 다중 하드웨어, 무정전 전원장치, 특정 유형의 RAID 어레이, 방사선 강화 칩, 오류 수정 메모리, 클러스터 파일 시스템 사용 등의 방법이 포함됩니다.ZFS와 같은 블록 레벨 체크섬을 사용하는 파일 시스템, 배타적 패리티 계산을 수행하는 스토리지 어레이를 사용합니다.암호화 해시 함수를 사용하거나 중요한 서브시스템에 워치독타이머를 갖출 수도 있습니다

물리적 무결성은 오류 수정 코드라고 하는 오류 감지 알고리즘을 광범위하게 사용합니다.사람에 의한 데이터 무결성 오류는 종종 Damm 알고리즘이나 Luhn 알고리즘과 같은 단순한 검사 및 알고리즘을 사용하여 감지됩니다.이러한 정보는 한 컴퓨터 시스템에서 다른 컴퓨터 시스템으로 수동 변환한 후(예: 신용 카드 또는 은행 라우팅 번호) 데이터 무결성을 유지하기 위해 사용됩니다.컴퓨터에 의한 전사 에러는, 해시 함수를 개입시켜 검출할 수 있습니다.

프로덕션 시스템에서는 이러한 기술을 함께 사용하여 다양한 수준의 데이터 무결성을 보장합니다.예를 들어 시스템 파일 시스템은 무장애 RAID 어레이에 구성되지만 자동 데이터 손상을 탐지하고 방지하기 위한 블록 수준 체크섬을 제공하지 않을 수 있습니다.다른 예로 데이터베이스 관리 시스템은 ACID 속성을 준수할 수 있지만 RAID 컨트롤러 또는 하드 디스크 드라이브의 내부 쓰기 캐시는 그렇지 않을 수 있습니다.

논리적 무결성

다음 항목도 참조하십시오.Mutex 및 Copy-on-Write

이러한 유형의 무결성은 특정 컨텍스트에서 데이터의 정확성 또는 합리성과 관련이 있습니다.여기에는 관계형 데이터베이스의 참조 무결성 및 엔티티 무결성 또는 로보틱 시스템에서 불가능한 센서 데이터를 올바르게 무시하는 것과 같은 항목이 포함됩니다.이러한 우려는 데이터가 환경에 따라 "적합한"지 여부를 확인하는 것입니다.소프트웨어 버그, 설계 결함, 인적 오류 등이 과제입니다.논리적 무결성을 보장하는 일반적인 방법에는 검사 제약, 외부 키 제약, 프로그램 어설션 및 기타 런타임 건전성 검사 등이 있습니다.

물리적인 무결성 및 논리적 무결성 모두 인간의 실수나 설계상의 결함 등 많은 공통적인 과제를 공유하고 있으며, 데이터 기록 및 취득을 위한 동시 요구에 적절하게 대처해야 합니다.이러한 요구는 데이터 기록 및 취득에 전적으로 의존합니다.

데이터 섹터에 논리적 오류만 있는 경우 새 데이터로 덮어쓰기하여 재사용할 수 있습니다.물리적 오류가 발생하면 영향을 받는 데이터 섹터를 영구적으로 사용할 수 없습니다.

데이터베이스

데이터 무결성에는 특정 데이터베이스에 데이터를 유지할 수 있는 기간을 지정하거나 보장하는 데이터 유지에 대한 지침이 포함되어 있습니다.데이터 무결성을 달성하기 위해 이러한 규칙은 시스템에 입력되는 모든 데이터에 일관되고 정기적으로 적용되며, 시행을 완화하면 데이터에 오류가 발생할 수 있습니다.입력 소스에 가능한 한 가까운 데이터(예: 사람 데이터 입력)에 대한 검사를 실시하면 시스템에 잘못된 데이터가 적게 들어갑니다.데이터 무결성 규칙을 엄격하게 적용하면 오류 발생률이 낮아지고 잘못된 데이터 및 알고리즘에 대한 오류 문제 해결 및 추적 시간이 절약됩니다.

데이터 무결성에는 데이터 조각과 다른 데이터 조각의 관계를 정의하는 규칙도 포함됩니다.예를 들어 고객 레코드는 구입한 제품에 링크할 수 있지만 기업 자산 등의 관련성이 없는 데이터에는 링크할 수 없습니다.데이터 무결성에는 고정된 스키마 또는 미리 정의된 규칙 집합을 기반으로 잘못된 데이터에 대한 검사 및 수정이 포함됩니다.날짜-시간 값이 필요한 텍스트 데이터를 예로 들 수 있습니다.알고리즘, 기여자 및 조건을 기반으로 데이터 값을 도출하는 방법을 지정하는 데이터 파생 규칙도 적용할 수 있습니다.또한 데이터 값을 재파생하는 방법에 대한 조건도 지정합니다.

무결성 제약의 유형

데이터 무결성은 일반적으로 데이터베이스 시스템에서 일련의 무결성 제약 또는 규칙에 의해 적용됩니다.세 가지 유형의 무결성 제약은 관계형 데이터 모델의 고유한 부분입니다. 즉, 엔티티 무결성, 참조 무결성 및 도메인 무결성입니다.

  • 엔티티 무결성은 프라이머리 키의 개념과 관련이 있습니다.엔티티 무결성이란 모든 테이블에 프라이머리 키가 있어야 하며 프라이머리 키로 선택된 열은 늘이 아닌 일의여야 함을 나타내는 무결성 규칙입니다.
  • 참조 무결성은 외부 키의 개념과 관련이 있습니다.참조 무결성 규칙에서는 외부 키 값은 2개의 상태 중 하나에 불과하다고 명시되어 있습니다.통상적인 상태에서는 외부 키 값이 데이터베이스 내의 일부 테이블의 프라이머리 키 값을 참조합니다.이는 데이터 소유자의 규칙에 따라 다를 수 있으며 외부 키 값은 null일 수 있습니다.이 경우 데이터베이스에 표시되는 오브젝트 간에 관계가 없거나 이 관계를 알 수 없음을 명시적으로 나타냅니다.
  • 도메인 무결성은 관계형 데이터베이스의 모든 열을 정의된 도메인에 선언해야 함을 지정합니다.관계형 데이터 모델에서 데이터의 기본 단위는 데이터 항목입니다.이러한 데이터 항목은 분해할 수 없거나 원자적이라고 합니다.도메인은 동일한 유형의 값 집합입니다.따라서 도메인은 테이블의 열에 표시되는 실제 값을 추출하는 값의 풀입니다.
  • 사용자 정의 무결성이란 엔티티, 도메인 및 참조 무결성 범주에 속하지 않는 사용자가 지정한 규칙 집합을 말합니다.

데이터베이스가 이러한 기능을 지원하는 경우 데이터 무결성을 보장하는 것은 물론 데이터 저장 및 검색에 대한 일관성 모델도 데이터베이스의 책임입니다.데이터베이스가 이러한 기능을 지원하지 않는 경우, 데이터베이스가 데이터 저장 및 검색을 위한 일관성 모델을 지원하는 동안 데이터 무결성을 보장하는 것은 애플리케이션의 책임입니다.

적절하게 제어되고 정의된 단일 데이터 무결성 시스템 보유

  • 안정성(모든 데이터 무결성 작업을 1개의 중앙 집중식 시스템에서 실행)
  • 퍼포먼스(모든 데이터 무결성 작업은 일관성 모델과 동일한 계층에서 수행됨)
  • 재실행(모든 애플리케이션이 단일 집중형 데이터 무결성 시스템으로부터 혜택을 누린다)
  • 유지 보수성(모든 데이터 무결성 관리를 위한 단일 중앙 집중식 시스템)

최신 데이터베이스는 이러한 기능을 지원하며(관계형 데이터베이스 관리 시스템 비교 참조), 데이터 무결성을 보장하는 것은 데이터베이스의 실질적인 책임이 되었습니다.기업 및 실제로 많은 데이터베이스 시스템은 레거시 시스템을 최신 데이터베이스로 마이그레이션하기 위한 제품과 서비스를 제공합니다.

예

데이터 무결성 메커니즘의 예로는 관련 레코드의 부모-자녀 관계가 있습니다.부모 레코드가 하나 이상의 관련 자녀 레코드를 소유하고 있는 경우 모든 참조 무결성 프로세스는 데이터베이스 자체에 의해 처리됩니다.이를 통해 부모 없이 자녀 레코드가 존재하지 않고(고아라고도 함) 부모가 자녀 레코드를 잃지 않도록 데이터의 정확성과 무결성이 자동으로 보장됩니다.또한 부모 레코드가 자녀 레코드를 소유하는 동안에는 부모 레코드를 삭제할 수 없습니다.이 모든 것은 데이터베이스 수준에서 처리되며 각 애플리케이션에 대한 무결성 검사를 코딩할 필요가 없습니다.

파일 시스템

다양한 조사 결과에 따르면 광범위한 파일 시스템(UFS, Ext, XFS, JFS 및 NTFS 등)이나 하드웨어 RAID 솔루션 모두 데이터 무결성 [5][6][7][8][9]문제에 대한 충분한 보호 기능을 제공하지 않습니다.

일부 파일 시스템(Btrfs 및 ZFS 포함)은 사일런트 데이터 손상을 감지하고 데이터 무결성을 향상시키는 데 사용되는 내부 데이터 및 메타데이터 체크섬을 제공합니다.이러한 방법으로 파손이 검출되어 이러한 파일 시스템이 제공하는 내부 RAID 메커니즘이 사용되었을 경우, 이러한 파일 시스템은 손상된 데이터를 [10]투명한 방식으로 추가로 재구성할 수 있습니다.이 접근 방식을 통해 데이터 경로 전체를 포괄하는 향상된 데이터 무결성 보호를 실현할 수 있습니다. 이는 일반적으로 엔드 투 엔드 데이터 [11]보호라고 합니다.

다양한 업종에 적용되는 데이터 무결성

  • 미국 식품의약국은 U.S. Code of Federal Regulations 210–212를 [12]준수해야 하는 제약 제조업체를 위해 데이터 무결성에 대한 지침 초안을 작성했다.미국 이외에서는 영국(2015년), 스위스(2016년) 및 호주(2017년)[13]가 유사한 데이터 무결성 지침을 발행했다.
  • ISO 13485, ISO 14155 및 ISO [14]5840을 포함하여 의료기기 제조를 위한 다양한 표준은 데이터 무결성을 직간접적으로 다룬다.
  • 2017년 초, 금융 산업 규제 기관(FINRA)은 자동화된 거래 및 자금 이동 감시 시스템의 데이터 무결성 문제를 지적하면서 "제출된 데이터의 정확성을 모니터링하는 데이터 무결성 프로그램의 개발"을 우선 [15]과제로 삼겠다고 밝혔습니다.2018년 초 FINRA는 데이터 무결성에 대한 접근 방식을 기업의 "기술 변경 관리 정책 및 절차" 및 재무부 [16]증권 검토로 확대하겠다고 밝혔습니다.
  • 광업 및 제품[18] 제조와 같은[17] 다른 부문에서는 관련 자동화 및 생산 모니터링 자산에서 데이터 무결성의 중요성에 점점 더 초점을 맞추고 있습니다.
  • 클라우드 스토리지 프로바이더는 오랫동안 고객 데이터의 무결성 또는 신뢰성을 보장하고 [19][20][21]위반 사항을 추적하는 데 있어 중대한 과제에 직면해 왔습니다.

참고 항목

레퍼런스

  1. ^ Boritz, J. "IS Practitioners' Views on Core Concepts of Information Integrity". International Journal of Accounting Information Systems. Elsevier. Archived from the original on 5 October 2011. Retrieved 12 August 2011.
  2. ^ 데이터 무결성이란?체크, 테스트 및 베스트 프랙티스를 통해 데이터베이스 데이터의 무결성을 확보하는 방법
  3. ^ 데이터 무결성이란?데이터 보호 101
  4. ^ 책에서 본 내용:Uberveillance와 마이크로칩 임플란트의 사회적 영향:이머징 페이지 40
  5. ^ Vijayan Prabhakaran (2006). "IRON FILE SYSTEMS" (PDF). Doctor of Philosophy in Computer Sciences. University of Wisconsin-Madison. Retrieved 9 June 2012.
  6. ^ "Parity Lost and Parity Regained".
  7. ^ "An Analysis of Data Corruption in the Storage Stack" (PDF).
  8. ^ "Impact of Disk Corruption on Open-Source DBMS" (PDF).
  9. ^ "Baarf.com". Baarf.com. Retrieved November 4, 2011.
  10. ^ Bierman, Margaret; Grimmer, Lenz (August 2012). "How I Use the Advanced Capabilities of Btrfs". Retrieved 2014-01-02.
  11. ^ Yupu Zhang; Abhishek Rajimwale; Andrea Arpaci-Dusseau; Remzi H. Arpaci-Dusseau (2010). "End-to-end data integrity for file systems: a ZFS case study" (PDF). USENIX Conference on File and Storage Technologies. CiteSeerX 10.1.1.154.3979. S2CID 5722163. Wikidata Q111972797. Retrieved 2014-01-02.
  12. ^ "Data Integrity and Compliance with CGMP: Guidance for Industry" (PDF). U.S. Food and Drug Administration. April 2016. Retrieved 20 January 2018.
  13. ^ Davidson, J. (18 July 2017). "Data Integrity Guidance Around the World". Contract Pharma. Rodman Media. Retrieved 20 January 2018.
  14. ^ Scannel, P. (12 May 2015). "Data Integrity: A perspective from the medical device regulatory and standards framework" (PDF). Data Integrity Seminar. Parenteral Drug Association. pp. 10–57. Retrieved 20 January 2018.
  15. ^ Cook, R. (4 January 2017). "2017 Regulatory and Examination Priorities Letter". Financial Industry Regulatory Authority. Retrieved 20 January 2018.
  16. ^ Cook, R. (8 January 2018). "2018 Regulatory and Examination Priorities Letter". Financial Industry Regulatory Authority. Retrieved 20 January 2018.
  17. ^ "Data Integrity: Enabling Effective Decisions in Mining Operations" (PDF). Accenture. 2016. Retrieved 20 January 2018.
  18. ^ "Industry 4.0 and Cyber-Physical Systems Raise the Data Integrity Imperative". Nymi Blog. Nymi, Inc. 24 October 2017. Retrieved 20 January 2018.
  19. ^ Priyadharshini, B.; Parvathi, P. (2012). "Data integrity in cloud storage". Proceedings from the 2012 International Conference on Advances in Engineering, Science and Management. ISBN 9788190904223.
  20. ^ Zafar, F.; Khan, A.; Malik, S.U.R.; et al. (2017). "A survey of cloud computing data integrity schemes: Design challenges, taxonomy and future trends". Computers & Security. 65 (3): 29–49. doi:10.1016/j.cose.2016.10.006.
  21. ^ Imran, M.; Hlavacs, H.; Haq, I.U.I.; et al. (2017). "Provenance based data integrity checking and verification in cloud environments". PLOS ONE. 12 (5): e0177576. Bibcode:2017PLoSO..1277576I. doi:10.1371/journal.pone.0177576. PMC 5435237. PMID 28545151.

추가 정보