S/W 시험 업무를 수행하는 시험 기술자는 국제 공인 프로젝트 전문가(PMP : Project Management Professional), 국제 공인 정보 시스템 감사사(CISA : Certified Information Systems Auditor), 국제 공인 소프트웨어 테스팅 자격 협회(ISTQB : International Software Testing Qualifications Board) 공인 테스터 등의 각종 자격증을 다수 보유하고 있습니다.
PMP(Project Management Professional) Certificate
CISA(Certified Information Systems Auditor) Certificate
ISTQB(International Software Testing Qualifications Board) Certificate
당사의 시험 솔루션은 하기와 같이 시험 대상의 유형 별로 적합한 방법론이 준비되어 있습니다.
고객의 요구사항 기반으로 대상 시스템과 품질 측정 목적에 맞는 시험 표준, 절차, 도구, 산출물 등을 제공하며, 명확한 요구사항이 정의되어 있지 않을 경우 자체 방법론으로 산업 표준과 고객 요구 사항을 수렴하여 시험 시나리오와 케이스를 설계하여 진행합니다.
■ Embedded S/W가 내장된 Device에 대한 품질 진단
◆ Embedded S/W가 내장된 H/W 또는 Device에 대한 시험을 수행하기 위해서는 대상 기기의 Architecture 구성, Platform 구조는 물론 대상 기기를 중급 이상으로(되도록 전문적으로) 사용할 수 있는 기술과 경험이 필요합니다.
⇒ Perfmon Soft는 Embedded S/W가 내장된 H/W를 시험하기 위헤서 Service 및 Product의 구조를 분해하여 분석하고 주요 기능에 따른 동작은 물론 Module 별 Issue 발생 여부에 대해 정밀한 시험을 수행합니다.
◆ Smart Sensor H/W 기능적인 측면, Device Driver 등의 S/W 환경적인 측면, Interface로부터 Data를 전달하는 Middleware 외 다양한 Architecture 측면 등을 고려하여 Issue 원인을 식별하고 해결 방안을 제시할 수 있는 전략이 필요합니다.
◆ S/W적인 Logic 즉 Programming 시 if, else if, for, while, do-while, switch, break 등의 Branch가 발생하는 부분은 Algorithm, 조건 및 경우의 수를 감안하여 시험해야 합니다.
◆ S/W의 기능적 이슈 뿐만 아니라 한정된 Resource 하에서 타 App(P/G)과의 경쟁(경합), (장시간) 방치, App은 물론 O/S Version과 Release 등의 환경, 양산 단계의 Board 단순화 등으로 인해 발생하는 각종 이슈에 대해 안전성을 기반으로 안정성, 신뢰성 관점에서 제품을 점검합니다.
◆ Smart Device는 Small Size, Smart Weight가 필수적이며 편리하게 휴대하여 사용할 수 있어야 하는 등 부가 장착 특성이 있습니다. 작고, 경량인 상태에서 전원을 공유하므로 저 전력을 사용하면서 특정 용도의 맞춤 기능을 즉각적으로 제공해야 하는 특징이 있습니다.
⇒ Real Time, Reactive 즉 정해진 시간 안에 정해진 동작이 즉시 수행되는 것이 필요합니다.
⇒ 부팅 및 초기화 시간도 짧아야 하므로 시간 반응성을 고려한 품질 점검이 필요합니다.
⇒ H/W Dependency 즉 S/W와 H/W의 상호작용으로 인한 복잡도, 의존성 파악 추적이 필요합니다.
⇒ H/W, S/W Platform 자체의 안정성 검증을 O/S, Middleware, App과 함께 진행해야 합니다.
⇒ 동작 시 Device의 CPU, Memory, 기타 Resource 제약이 크므로 이를 감안하여 점검해야 합니다.
⇒ 생활과 안전에 직결되는 장비가 많기 때문에 예외 환경(과전류, 단선, Rebooting 외), 가혹 환경(Harsh Environment)에서 반드시 신뢰성과 안정성이 확보되었는지 검증해야 합니다.
◆ Embedded S/W가 내장된 H/W나 Device의 Defects는 H/W적인 점검 만으로 결함(오동작/고장)을 정확히 찾아내어 이슈를 시정하기 어려운 특징이 있습니다.
◆ End User와 Interface로 Contact하는 물리적인 Controller/App 상의 Issue 뿐만 아니라 S/W 구성 요소인 O/S, Middleware, Device Driver 등 S/W Architecture Layer 각 Components의 문제가 발생할 수 있으므로 전문가의 치밀한 점검이 필수적으로 필요합니다.
◆ 다양한 관점에서 Embedded S/W가 내장된 Smart Device를 시험하기 위해서는 하기와 같은 점검 절차(Process)가 필요합니다.
| 유형 | 점검 방법 | 점검 항목 |
| 플랫폼 시험 |
시스템 S/W(운영체제), 멀티미디어(스트리밍), 개발 환경(API/디바이스 드라이버),
스마트 센서 네트워크(센서의 인터넷 연동)와 주변 인터페이스에 대한 시험 |
■ Embedded O/S, Middleware, Application 플랫폼 및 인터페이스, 센서 동작(처리)
시험 개발 미완료 또는 미 장착 부분은 Dummy 처리 |
| 코드 점검 기능 시험 |
단위 S/W 모듈 별 Source Code Inspection 동등 분할, 경계 값 분석, 결정 테이블, 상태 전이, 유스 케이스 방식을 사용한 테스트 케이스 설계 및 시험 H/W 장작 및 기능 통합 후 통합 정적, 동적 시험 |
■ H/W 장작 전에는 S/W의 Logic과 Algorithm, H/W 장착 후에는 H/W Control 위주의 점검 ■ 단위 시험은 기능의 완전성, 통합 시험은 기능 간의 상호 작용 및 일관성 위주의 점검 |
| 경쟁 시험 |
한정된 CPU, Memory, Disk 자원 환경 하에서 다양한 Application을 실행한 후
Multi Tasking, Priority, Contention, Interrupt 정상 처리 확인 |
■ 가혹 상황(Harsh Environment)에서 각Application의 정상 동작 여부 ■ 자원 부족 상황에서의 예외 오류 처리 등 … |
| 방치 시험 |
다수의 Application을 동시에 장시간 실행시키고 시간 혹은 Data 변량에
따른 Memory Allocation, Resource Leakage 등 검증 |
■ 프로그램을 장시간(24시간/48시간) 유지 후 OS Level의 안정성, 개별
Application의 정상 유지, 응용 간 점유한 자원 독점 사용/반환 등 확인 … |
| 환경 시험 |
온도, 습도, 진동, H/W, S/W(O/S, Middleware, Device Driver, App 등 Version과
Release), 전압, 사용자 환경 설정 등 차이로 인한 파급 검증 |
■ Baseline 환경과 기타 주요 환경에서 시험 ※ 요구사항 기반으로 수행하되 플랫폼, 경쟁, 방치 시험 등과 결합되어 확인해야 할 사항도 있음. |
| 양산 시험 |
Prototype 및 Mass Production간의 차이 확인 개발 과정에서 Module 혹은 Device의 H/W 혹은 S/W Spec 교체, Upgrade등 변경 파급 검증 |
■ 양산 단계에서 대량 생산 공정, 처리 단순화 등에 따른 변경 사항 등에
대한 확인 및 시험 검증 ■ 배터리, 이어폰 등 부가(별도) 기기 장착 확인 |
◆ Issue나 Defect를 정확히 식별하여 해결하기 위해서는 S/W 아키텍처 계층(S/W Architecture Layer), 요소 별로 상호 작용을 파악하고 Signal(Data)의 흐름에 따라 단계별로 (동작을) 점검할 필요성이 있습니다.
◆ 단일 기기에 대한 기능 Issue나 Defects 뿐만 아니라 Network 기능이 있을 경우 사이버 해킹 대비 보안과 자원 공유 차원에서의 검증도 필요합니다.
◆ 기능 개선이나 오류 수정을 위한 P/G 패치(Patch)나 업그레이드(Update) 작업 시에도 동일하게 S/W 요소를 고려하여 회귀 시험을 진행해야 합니다.
◆ S/W의 특성상 확장성과 이식성을 고려하고 이를 위한 점검 계획도 준비해야 합니다.
◆ 전기용품안전기준(KC 60335-1, IEC Ed 5.0 2010-05)을 기반으로 하여 Embedded S/W가 내장된 H/W와 Device에 대한 유효성 검사를 수행합니다.
⇒ 하기와 같이 전자회로의 평가를 위한 시험 순서를 Base Line으로 하여 각 Embedded S/W가 내장된 기기는 물론 Programmable 요소의 특징을 고려하고 최적 경로의 시험 절차를 반영하여 점검을 수행합니다.
◆ Perfmon Soft는 SI 프로젝트에서 구축한 시스템에 대한 품질 진단을 위해 ISO와 IEC 규격에 맞는 자체적인 품질 진단 방법론을 가지고 있습니다.
◆ Perfmon Soft사의 자체적인 품질 진단 방법론을 사용하여 SI 프로젝트 각 단계 별 위험 및 품질 문제가 발행하지 않도록 End User가 사용하는 최종 Output(시스템, 장비…) 관점에서의 주요 이슈를 사전에 진단하여 식별하고 해결 방안을 도출합니다.
◆ S/W 평가는 H/W 구축, S/W 개발, Data 전환 등이 완료된 이후에 제 3자 시험 관점에서 기능(Functaionality Test), 성능(Performance Test), 보안 시험(Security Test) + α를 실시하여 One Stop Testing Solution을 제공합니다.
※ 제3자 시험은 시스템 오픈 전의 통합 시스템(Integrated System)의 기능, 성능, 보안에 대해 Health를 Check하는 Task로 정의할 수 있으며, 사람의 건강 검진과 유사한 개념입니다.
※ 위험(Risk)이 발생하지는 않았으나 발전할 가능성이 높은 요소를 이슈(Issue)로 지칭하며 품질 진단 시 이슈는 파급 효과에 따라 결함(Defects), 장애(Failure)와 다른 개념으로 관리하며 특히 중대한 위험(Critical Risk)으로 발전할 가능성이 있는 잠재적인 중요 이슈는 시급하게 시정 조치가 이루어지도록 철저하게 관리합니다.
◆ 제 3자 시험은 평가 모듈(Evaluation Module)의 품질 상태를 분석하기 위해서, 신뢰성 - 성숙성 - 결함밀도, 결함조치율, 단위테스트 커버리지, 테스트 성숙성 등을 측정합니다.
※ 이를 통해 유사 시스템의 품질 현황 대비 지원 프로젝트의 Quality Position을 확인하고 상대적으로 취약한 부분에 대한 품질 강화 정책 수립을 권고합니다.
| ■ 평가 커버리지 = 테스트 대상 화면 ÷ 전체 화면 ■ 결함밀도 = (발견된 실패(결함)건수 ÷ 제품의 크기(LOC) * 시험 커버리지 ■ 시험 커버리지 = 실행한 테스트 케이스 수 ÷ 테스트 대상 화면(프로그램) 수 ■ 결함조치율 = 조치된 실패(결함)건수 ÷ 발견된 전체 실패(결함)건수의 합 ■ 테스트 성숙성 = 작성된 단위 테스트 케이스 수 ÷ FP ■ 장애검출율 = 실패한 테스트 케이스 수 ÷ FP |
◆ 대상 장비 및 시스템의 성능 품질을 점검하기 위해서 Peak Time 시의 적정, 최대, 한계 부하를 산정합니다.
성능 시험 결과 분석을 통해 물리적인 아키텍처 구간, 사용 장비, 서비스 프로그램, 설정 등 각 모듈 별 이슈 및 장애 발생 여부를 분석합니다.
