[CSTS] 요약 3. 테스트 프로세스

테스트 프로세스

조직 테스트 프로세스

• 조직 전체에 공통적으로 적용되는 조직 테스트 명세서를 개발, 관리

테스트 관리 프로세스

• 레벨테스트와 유형테스트의 수행을 관리
• 테스트 활동 - 산출물
  • 테스트 계획 - 테스트 계획서
    • 대상 범위 식별, 테스트 프로세스 참고하여 테스트 전략 수립
    • 산출물 : 테스트 컨텍스트, 위험 분석, 테스트 전략, 테스트 수행 계획
  • 테스트 모니터링 및 제어 - 테스트 현황 보고서
    • 프로세스의 수행 모니터링하여 상황 파악. 필요 시 테스트 활동 제어 
  • 테스트 종료 - 테스트 종료 보고서
    • 생성된 산출물 관리, 테스트 환경 정리 후 보고

동적 테스트 프로세스

• 테스트 활동 - 산출물
  • 테스트 설계 및 구현 - 테스트 설계 명세서, 테스트 케이스 명세서, 테스트 절차 명세서, 테스트 환경 요건 명세서, 테스트 데이터 요건 명세서
    • 테스트 대상과 피처를 바탕으로 피처 집합을 식별하고 포함된 각 피처 세분화
  • 테스트 환경 구축 및 관리 - 테스트 환경 준비 보고서, 테스트 데이터 준비 보고서
  • 테스트 실행 - 테스트 실행 로그
  • 결함 보고 - 결함 보고서, 결함 추적 보고서

 

테스트 계획

테스트 계획 활동 산출물 : 테스트 컨텍스트, 위험 분석, 테스트 전략, 테스트 수행 계획

테스트 컨텍스트 명세

• 구성 항목 : 테스트 계획 유형, 테스트 대상, 테스트 범위, 가정 및 제약 사항, 이해관계자
• 유형
  • 프로젝트 테스트 계획 : 테스트 대상에 대한 전체 개별 테스트 포함
  • 개별 테스트 계획 : 레벨 테스트 계획, 유형 테스트 계획

 

위험 분석

테스트 프로젝트에서 발생할 수 있는 위험 요소 식별, 각 위험 요소에 대한 발생 가능성과 영향도 바탕으로 위험도 산정, 위험 수준 결정

• 위험 회피 ; 식별된 위험 요소가 발생할 가능성 또는 발생영향을 제거하여 위험 요소 발생을 원천적으로 예방
• 위험 완화 ; 위험의 발생 가능성을 맞추거나 발생에 따른 영향도를 약화
• 위험 수용 ; 위험도가 낮은 경우 위험에 대한 모니터링만
• 위험 전가 ; 타 조직에 전가

 

테스트 전략 수립

• • 개별 테스트 ; 프로젝트 테스트 계획에는 프로젝트 테스트를 구성하는 개별 테스트 명시
  • 테스트 산출물
  • 테스트 설계 기법
  • 테스트 환경 요건
  • 테스트 데이터 요건
  • 재테스팅 및 리그세션 테스팅
  • 테스팅 중단 및 재시작 조건
  • 테스트 메트릭 ; 테스트를 수행하며 측정할 메트릭 명시 (테스트 진척도 파악 지표로 이용)
  • 테스트 완료 기준
    • 테스트 커버리지 기반 방법
      시스템 테스트 - 요구사항 커버리지 | 통합 테스트 - 설계 커버리지 | 컴포넌트 테스트 - 코드 커버리지
    • 결함 기반 방법
      테스트 케이스 기반 기준 ; 90% 이상 모듈이 통과, TSC-10 과 TSC-20 테스트 케이스는 통과되어야 함
      테스트 커버리지 기반 기준 ; 95% 문장 커버리지가 충족되어야 함
      결함 기반 기준 ; 2개 이하의 결함만 허용, 심각한 결함 존재하면 안됨
  • 조직 테스트 전략과의 차이점

 

테스트 설계/구현 및 테스트 환경 구축/관리

테스트 설계 /구현

• 테스트 설계 명세서 
  • 목적 ; 왜 / 무엇을 테스트할지 설계 과정 기록
  • 우선순위
  • 피처 목록
    • 피처 ; 테스트 대상에 대한 테스트 범위
    • 피처 집합 = 독립적인 테스트를 수행하는 단위
      우선순위 결정 > 더욱 강도 높은 커버리지 적용한 테스트 케이스를 개발 OR 우선 실행
  • 구체적 테스트 전략
• 테스트 케이스 명세서 
  • 목적 ; 어떤 데이터로 테스트 할지 입력값 / 예상 결과 정의
  • 추적성
  • 우선순위
  • 선행조건
  • 입력
  • 예상결과
• 테스트 절차 명세서
  • 목적 ; 어떻게 실행하고 관찰할지 구체적 방법 명시
  • 우선순위
  • 시작작업
  • 실행 테스트 케이스 목록
  • 종료및 정리 작업
  • 다른 테스트 절차와의 관계
• 테스트 환경 요건 명세서
  • 테스트 환경 항목명
  • 설명
  • 요구사항
  • 필요시기
  • 담당자
• 테스트 데이터 요건 명세서
  • 테스트 데이터명
  • 설명
  • 요구사항
  • 초기화 필요 여부
  • 보관 필요 여부
  • 담당자

 

테스트 실행 및 결함 보고

• 테스트 실행
  • 테스트 실행 로그 ; 테스트 작업과 이벤트 목록
  • 테스트 실행 주체

테스트 레벨	개발자	테스터	사용자
컴포넌트 테스트	O	O
통합 테스트	O	O
시스템 테스트	O	O	O
인수 테스트		O	O

 

• 결함 보고
  • 테스트 결과 분석
    • 테스트 절차 실행을 통해 발견된 결함을 추가적으로 분석 > 결함 발생 상황 더욱 명확히 파악
      특히, 결함이 유발된 상황의 테스트 데이터, 기대 값, 실제 관찰 값과 테스트 절차 및 환경 
      • 결함의 구체화 ; 보고된 결함의 원인을 찾기위한 결함 재연
      • 결함의 고립화 ; 사용된 데이터, 테스트 절차, 환경을 구성하는 요소에 대해 어떤 영향을 미치는지 기술
      • 결함의 일반화 ; 결함 발생에 영향을 주는 요소를 최대한 일반적으로 기술 
    • 결함 보고서 
      • 결함 컨텍스트
      • 결함 설명
      • 심각도 ; 발견자의 관점에서 기술적 측면 + 비즈니스적 측면 고려 > 영향의 범위와 크기 바탕으로 기술
      • 우선순위 ; 검출된 결함 해결의 긴급성을 기준
      • 위험 분석 ; 검출된 결함과 관련된 새로운 위험에 대한 분석 결과 기술. 
      • 결함 상태 ; 검출된 결함에 대한 조치 상태 (Open, Assigned 등 ...)
    • 결함 추적 보고서
      • 결함 검토 정보, 결함 해결 정보, 결함 해결 검증 정보

 

테스트 모니터링 / 제어 및 테스트 종료

테스트 종료 보고서

• 테스팅 요약, 계획 대비 차이점
• 테스트 방해 요인
• 테스트 메트릭
• 결함 목록
• 잔존 위험
• 테스트 완료 평가
• 테스트 산출물
• 재사용 가능한 테스트 자산
• 교훈