Perfmon Soft 시험 서비스를 이용할 경우 자주 질문을 받는 내용에 대해 정리해 놓았습니다.
★ [A01] 시험 시 소요되는 비용은 투입 공수에 따라 결정됩니다.
투입 공수는 투입 인원의 기술 등급, 투입 인원의 수, 투입 기간에 의해 산정됩니다.
기술 등급별 SW 엔지니어의 기술 용역 단가는 한국소프트웨어 산업 협회에서 제공하는 2017년 적용 SW기술자 평균임금 공표자료를 기준으로 합니다.
2017년 한국소프트웨어산업협회 자료 기준 SW기술자 평균임금
단위 (명), (원)
| 구분 | 인원 | 평균임금(M/D) | 평균임금(M/M) | 평균임금(M/H) | |
| 2016년 | 2017년 | ||||
| 기술사 | 348 | 437,227 | 452,611 | 9,414,309 | 56,576 |
| 특급기술자 | 17,531 | 381,502 | 391,068 | 8,134,214 | 48,884 |
| 고급기술자 | 10,302 | 284,440 | 305,353 | 6,351,342 | 38,169 |
| 중급기술자 | 10,533 | 226,537 | 239,506 | 4,981,725 | 29,938 |
| 초급기술자 | 13,939 | 190,790 | 191,320 | 3,979,456 | 23,915 |
[투입 공수 산정 예제]
● 중급 기술자 2명 * 각기 3주(1인당 Working Day 기준 15일) 투입 기준 공수 산정
[계산식] = 중급 기술자 1 M/M 단가 * 부가가치세(10%) * 제경비(10%) * 기술료(10%) * 인원 수 * 투입 기간
= 4,981,725 원 * 110% * 110% * 110% * 2 * ( 3 / 4 )
= 9,946,015 원(부가가치세 포함)
※ 프로젝트 상황 및 수행 업무 특성에 따라 Nego 가능하며 정확한 내역은 담당자와 상담하여 결정해 주시기 바랍니다.
★ [Q02] 시험 서비스 의뢰 시 사용하는 시험 자동화 도구는 무엇이며 도구 사용 시 별도의 도구 비용이 필요합니까?
★ [A02] 대상 프로젝트의 요구 사항 수렴 및 담당자 미팅 후 해당 기능, 성능, 보안 시험에 적용하는 도구(Tool)를 결정하게 됩니다. 되도록 프로젝트 제안서에 명시된 도구를 적용하여 시험하고 사용 도구 자체는 물론 결과에 대한 신뢰성이 보장되어야할 경우, 국제 표준이 되는 상용 프로그램 혹은 오픈 소스 프로그램 중 요구사항에 적합한 도구를 결정하여 적용합니다.
신뢰성 시험 중 정적 시험(Static Test)을 수행할 경우, 상용 프로그램인 LDRA사의 Test Bed, Sure Soft사의 ScodeScroll 중 Code Inspector와 SNIPPER, Para Soft의 C/C++ Test를 적용하거나 OSS(Open Source Software)인 Sonar Qube 등을 적용할 수도 있습니다.
동적 시험(Dynamic Test)을 수행할 경우, LDRA사의 TBRun, Sure Soft사의 Controller Tester, Vector Software사의 Vector CAST, Para Soft의 C/C++ Test 등을 사용하게 됩니다.
기능 시험 중 GUI 자동화 도구가 필요한 경우 상용 도구로 HP Mercury 사의 UFT(Unified Functional Testing - 구 버전 명칭은 Quick Test for Professional)나 IBM Rational 사의 Robot을 적용할 수도 있으며, 별도의 비용이 소요되지 않는 OSS은 Katalon Studio(Appium)을 적용할 수 있습니다.
성능 시험의 경우, 상용 도구인 Micro Focus사의 Load Runner, IBM Rational사의 Performance Tester, Micro Focus(Borland)사의 Silk를 사용하거나 OSS인 Apache사의 JMeter 및 NHN사의 nGrinder 등을 사용할 수 있습니다.
Repository 형 시험 관리와 결함 관리 도구 중 상용 도구인 HP Mercury사의 Test Director를 적용할 수도 있고 OSS인 Mantis를 사용할 수도 있습니다.
OSS를 사용할 경우 도구(Tool) 비용이 소요되지 않으며 도구를 설치하여 사용할 추가 H/W 장비(서버, 데스크탑, 노트북)가 필요합니다.
상용 도구를 사용할 경우 도구 라이센스 비용(Permanent License) 혹은 사용 규모 및 방법에 따른 라이센스 비용(Period License)이 필요합니다.
특히 성능 시험 도구는 가상 사용자(Virtual User) 수와 사용일수(Per Day)를 기준으로 한 VUDs(Virtual User Per Day) License가 소요되며 동시에 대상 시스템의 Test Script를 작성하는 Testing Protocol이 Single인지 Multiple인지 에 따라 비용이 결정되므로 상용 도구가 필요한 프로젝트에서는 시험 수행 전에 도구 비용을 프로젝트 예산으로 할당해 놓을 필요성이 있습니다.
예를 들어 시스템 및 응용 튜닝이 주목적으로 하여 성능 시험을 반복적으로 수행할 경우 OSS를 사용하는 것이 바람직하며 공공, 금융, 국방 등 시험의 신뢰성 및 산출물이 중요한 경우 상용 산업 표준 시험 도구(Industrial Standard Testing Tool)를 사용하는 것이 바람직합니다.
★ [Q03] 프로젝트 수행 팀에서 어떤 역할을 담당하고 있는 사람이 Performance Tester 역할을 담당하는 것이 좋습니까?
★ [A03] 성능 점검 대상 시스템의 Architecture 구성은 물론 Application, Business Logic 등 실제 사용 업무에 대한 세부 내역을 알고 있는 사람이 Peorformance Tester로 가장 적합합니다.
더불어 품질관리 역할을 수행하는 QA(Quality Assurance) 담당자라면 기능 점검과 성능 점검을 함께 수행하게 되므로, 업무에 연속성을 가지고 작업할 수는 장점이 있습니다.
★ [Q04] 성능 점검 시 Load Runner나 Perofrmance Tester 외에 다른 Tool을 사용할 수 있습니까?
★ [A04] 성능 점검 시 주로 Micro Focus(구 HP(Mercury Interactive))사의 Load Runner, Micro Focus사의 Silk, IBM Rational사의 Performance Tester(Team Test)를 주로 사용합니다. 이외의 Performance Testing Tool로 OSS인 JMeter, nGrinder, MS사의 .NET Solution에 포함된 INetMonitor, Web Application Stress Tool, ESP(Exchange Stress and Performance Tool), Load Simulator, WebCAT (Web Capacity Analysis Tool)/Web Hammer, empirix사의 e-Test, Paessler GmbH사의 Websever Stress Tool 등을 사용할 수 있습니다.
Freeware나 Shareware는 별도 도구 라이센스 비용이 소요되지 않습니다.
그러나 Load Runner, Silk, Performance Tester 보다 기능이 떨어지고 Test Script를 제작하는 작업 공수가 길어질 수 있습니다.
수행 결과에 대한 신뢰성과 타당성이 검증되지 않는 제품도 있으므로, 해당 프로그램의 사용을 권장하지는 않습니다.
★ [Q05] 동시 접속자(Concurrent User 또는 Availabe User)는 1,000명 정도되고 Active User는 100명 ~ 200명 정도 예상되는 일반적인 Web System입니다. 시간당 처리 건수 목표를 어떻게 구해야 합니까?
★ [A05] 시스템 특성과 주요 업무의 작업 처리 시간에 따라 목표 처리량(TPS : Transaction Per Second)이 크게 달라지므로 정확한 답변이 불가능합니다. 그러나 목표 처리량(TPS) = Active User 수 / 1 Transaction Average Response Time과 같은 공식에 의해 개략적인 목표 처리량를 구할 수 있습니다. 예를 들어 언급한 시스템의 주요 업무에 대한 평균 처리 응답시간(1 Transaction Average Response Time이 약 10초일 경우, 목표 처리량을 10 ~ 20 TPS 정도로 산정할 수 있습니다.
가상 동시 사용자 수 100명이 5초 간격으로 1개의 유효 Transaction을 발생시키는 20 TPS로 성능 시험을 3일 수행할 경우, Virtual User 수 100명 * 3일 = 300 VUD's (Virtual User Per Days) License 비용이 소요됩니다.
단 해당 시스템이 일반적인 Web Base 시스템일 경우에는 Load Runner Single Protocol을 사용하게 되므로 해당 VUD's License 비용이 소요됩니다만 Oracle ERP, 금융권의 보안 인증 모듈([예] Active X를 사용한 XecureWeb 등의 COM/DCOM)을 통과하여 부하를 생성할 경우, Load Runner Multiple Protocol을 사용하게 되는데 이때는 해당 VUD's License 비용의 두 배가 소요됩니다.
★ [Q06] 본 Web Site 언급된 Web(HTTP/HTML), Windows Sockets, ODBC, COM/DCOM Protocol로 성능 점검이 불가능한 시스템에 대해서는 어떻게 작업을 처리해야 합니까?
★ [A06] Oracle ERP, SAP, Siebel, RTE(Remote Terminal Emulator)의 경우 비교적 사용 빈도가 높으나 Perfmon Soft Site 내역에는 언급되어 있지 않습니다.
그러나 다수의 프로젝트 현장에서 Windows Socket, Oracle ERP, SAP, Siebel, RTE(Remote Terminal Emulator), GUI(Ctrix) 등으로 구축한 시스템에 대해 기능, 성능 시험을 수행한 경험이 있으므로 시험 시 점검해야할 주요 Key Point는 물론 자주 발생하는 Issue 등을 파악하여 사전에 조치하도록 진단할 수 있습니다.
★ [Q07] 성능 테스트는 어느 장소에서 수행하는 것이 좋습니까? 반드시 Server 실에서 수행해야 합니까?
★ [A07] Stress가 Server에 올바르게 전달되기 위해서는 Network 영향이 최소화된 장소에서 성능 테스트를 수행하는 것이 바람직합니다. 이런 환경이 잘 구축된 곳 중 하나가 Server 실일뿐이며, Network 성능이 보장된 장소라면 반드시 Server 실이 아니어도 됩니다.
★ [Q08] 성능 테스트 수행은 꼭 야간에 해야 합니까?
★ [A08] 성능 테스트 수행으로 인해 Network Bandwidth 사용률이 매우 Busy하게 되어 다른 User의 작업에 영향을 주거나 타 사용자의 Network 사용으로 인해 대상 System에 Stress가 올바르게 생성되지 않을 경우에는, 다른 사용자의 작업이 거의 없는 야간에 수행하는 것이 바람직합니다. 만일 성능 테스트 대상 시스템에 Stress를 주어도 주요한 Network 및 타 User의 사용에 영향을 주지 않는다면, 언제든지 수행 시간을 정할 수 있습니다.