Phụ lục số 2c / thông tư 24/2020/TT-BTTTT

1. Nội dung kiểm thử phần mềm nội bộ

a) Kiểm thử chấp nhận bởi người dùng (UAT): Là loại kiểm thử chức năng được thực hiện bởi một tổ chức, cá nhân đại diện người sử dụng của chủ đầu tư/đơn vị thụ hưởng để xác nhận chức năng phần mềm đáp ứng yêu cầu tại thiết kế được phê duyệt.

b) Kiểm thử chấp nhận hoạt động (OAT): Là loại kiểm thử phi chức năng thực hiện bởi một tổ chức, cá nhân đại diện người sử dụng của chủ đầu tư/đơn vị thụ hưởng để kiểm tra, đánh giá nhằm đảm bảo sự sẵn sàng hoạt động của phần mềm. Kiểm thử chấp nhận hoạt động bao gồm các loại:

– Kiểm thử hiệu năng.

– Kiểm thử an toàn, bảo mật.

– Kiểm tra về tài liệu vận hành hệ thống (nếu có).

– Kiểm thử một số yếu tố phi chức năng khác như: khả năng kết nối, chia sẻ dữ liệu với các hệ thống khác, khả năng hoạt động trên nhiều nền tảng khác nhau, … (nếu cần thiết).

Tùy theo phạm vi của dự án, mức độ yêu cầu chất lượng hoặc các điều kiện thực tế, chủ đầu tư có thể quyết định lựa chọn các loại kiểm thử phù hợp. Kết quả kiếm thử hiệu năng và kiểm thử an toàn, bảo mật tại giai đoạn kiểm thử hệ thống trong quá trình phát triển phần mềm của nhà thầu triển khai có thể được chấp nhận sử dụng ở giai đoạn kiểm thử chấp nhận nếu môi trường thực hiện kiểm thử hệ thống và môi trường kiểm thử chấp nhận là tương đương.

c) Kiểm thử chức năng

– Kiểm thử chức năng là nội dung thuộc kiểm thử chấp nhận bởi người dùng (UAT). Kiểm thử chức năng nhằm xác định toàn bộ các chức năng của phần mềm được kiểm thử có đáp ứng các yêu cầu chức năng hay không, bao gồm: sự đầy đủ, tính hoàn thiện, tính chính xác và tính tương thích theo tài liệu đặc tả yêu cầu người sử dụng; đặc tả chức năng, phi chức năng của phần mềm đã được phê duyệt.

– Nội dung kiểm thử chức năng yêu cầu nhân sự thực hiện phải có hiểu biết về ứng dụng, chủ đầu tư có thể tự thực hiện hoặc thuê tổ chức, cá nhân kiểm thử độc lập dựa trên yêu cầu về khả năng sử dụng, vận hành, thao tác và khai thác các ứng dụng tương tự.

– Trong quá trình kiểm thử chức năng, chủ đầu tư có thể xem xét quyết định việc kiểm thử thiết kế giao diện và trải nghiệm người dùng (UI UX) nếu cần thiết.

d) Kiểm thử hiệu năng

– Kiểm thử hiệu năng là nội dung thuộc kiểm thử chấp nhận hoạt động (OAT). Kiểm thử hiệu năng nhằm xác định phần mềm được kiểm thử có hoạt động đáp ứng yêu cầu về hiệu năng theo thiết kế trong môi trường kiểm thử hay không. Kỹ thuật kiểm thử hiệu năng bao gồm: kiểm thử cơ sở (baseline), kiểm thử chuẩn (benchmark), kiểm thử tải (load), kiểm thử áp lực (stress), kiểm thử sức chịu đựng (endurance), kiểm thử khối lượng (volume),…

– Tùy theo mức độ yêu cầu chất lượng, điều kiện thực tế và quy mô, nội dung đầu tư, các quy định hiện hành, chủ đầu tư xem xét, quyết định lựa chọn kỹ thuật kiểm thử hiệu năng phù hợp để thực hiện và chịu trách nhiệm với quyết định của mình.

đ) Kiểm thử an toàn, bảo mật

– Kiểm thử an toàn, bảo mật là nội dung thuộc kiểm thử chấp nhận hoạt động (OAT). Kiểm thử bảo mật nhằm đánh giá khả năng tự bảo vệ của phần mềm cùng với các dữ liệu trước các đối tượng không được phép. Các đối tượng không được phép là: con người hoặc các hệ thống bên ngoài không được phép truy nhập hoặc không đủ thẩm quyền tiếp cận để sử dụng, đọc, chỉnh sửa hoặc xóa các dữ liệu đó. Các yêu cầu bảo mật được thể hiện tại tài liệu đặc tả yêu cầu người sử dụng; đặc tả chức năng, phi chức năng của phần mềm đã được phê duyệt.

– Tùy theo mức độ yêu cầu chất lượng, điều kiện thực tế và các quy định hiện hành, chủ đầu tư xem xét, quyết định áp dụng một phần hoặc toàn bộ các kỹ thuật kiểm thử, đánh giá tính an toàn, bảo mật sau đây và chịu trách nhiệm với quyết định của mình:

+ Kiểm tra đánh giá theo các quy định về bảo đảm an toàn hệ thống thông tin theo cấp độ.

+ Kiểm tra đánh giá theo Tiêu chuẩn Việt Nam TCVN 11930:2017: Công nghệ thông tin – Các kỹ thuật an toàn – Yêu cầu cơ bản về an toàn hệ thống thông tin theo cấp độ.

+ Sử dụng các công cụ kiểm thử tự động rà quét toàn bộ hoặc một số vùng của phần mềm được kiềm thử để tìm ra các dấu hiệu cụ thể, có thể là các lỗ hổng về chức năng, hiệu năng để xâm nhập. Đánh giá khả năng xảy ra các lỗi về an toàn thông tin phổ biến trong điều kiện vận hành, khai thác thực tế.

e) Kiểm tra về tài liệu vận hành hệ thống

Kiểm tra về tài liệu vận hành hệ thống là nội dung thuộc kiểm thử chấp nhận hoạt động (OAT). Việc kiểm tra tài liệu vận hành hệ thống là quá trình rà soát, kiểm tra các tài liệu về tính đầy đủ và chính xác giữa tài liệu vận hành hệ thống và các tài liệu yêu cầu kỹ thuật cũng như thực tế hoạt động của hệ thống, đồng thời kiểm tra sự đúng đắn của tài liệu vận hành hệ thống.

Tài liệu vận hành hệ thống gồm có:

– Tài liệu hệ thống: Ghi nhận thông tin chi tiết về các đặc tả thiết kế hệ thống, cách thức làm việc bên trong của hệ thống và các chức năng của nó (bao gồm cả về quy trình vận hành và khắc phục sự cố).

– Tài liệu hướng dẫn sử dụng (bao gồm hướng dẫn sử dụng, hướng dẫn cài đặt và hướng dẫn quản trị hệ thống): Ghi nhận các thông tin được viết hay hiển thị trực quan về cách thức hệ thống làm việc cũng như cách sử dụng hệ thống đó.

2. Yêu cầu tài liệu phục vụ kiểm thử chấp nhận

a) Tài liệu mô tả yêu cầu người sử dụng.

b) Tài liệu hướng dẫn người sử dụng bao gồm cả hướng dẫn người sử dụng là quản trị hệ thống.

c) Tài liệu mô tả chi tiết yêu cầu kỹ thuật cần đáp ứng của phần mềm hoặc tài liệu đặc tả chức năng, phi chức năng của phần mềm.

d) Tài liệu mô tả chi tiết yêu cầu hạ tầng kỹ thuật cần đáp ứng về môi trường vận hành, khai thác phần mềm hoặc tài liệu cấu hình môi trường vận hành, khai thác phần mềm.

đ) Hồ sơ báo cáo kết quả kiểm thử nội bộ (kiểm thử hệ thống) của nhà thầu triển khai trong quá trình xây dựng, phát triển, nâng cấp, mở rộng phần mềm hoặc kết quả kiểm thử mới nhất (nếu có).

3. Quy trình kiểm thử phần mềm nội bộ

Quá trình kiểm thử phần mềm nội bộ bao gồm các bước chính như sau:

a) Lập kế hoạch kiểm thử, xác định yêu cầu, phạm vi, chiến lược, các mốc thời gian quan trọng và lịch trình thực hiện các bước từ đầu đến khi kết thúc kiểm thử.

b) Xây dựng tình huống, kịch bản kiểm thử, xác định các điều kiện kiểm thử căn cứ vào chức năng, tính năng kỹ thuật của phần mềm cần kiểm thử.

c) Thiết lập và duy trì môi trường kiểm thử tương đương môi trường vận hành, khai thác thực tế, bao gồm các công cụ hỗ trợ kiểm thử (nếu có) để thực hiện kiểm thử và thông báo trạng thái sẵn sàng môi trường kiểm thử cho các bên liên quan. Môi trường kiểm thử có thể được thiết lập trong chính môi trường vận hành, khai thác hoặc trong một phòng thí nghiệm (gọi tắt là Testlab) nếu môi trường Testlab và môi trường vận hành, khai thác là tương đương.

d) Thực hiện kiểm thử theo kết quả ở bước thiết kế tình huống, kịch bản kiểm thử trong môi trường kiểm thử đã sẵn sàng.

đ) Lập báo cáo kết quả kiểm thử.

4. Lập kế hoạch kiểm thử

a) Đơn vị thực hiện:

– Trường hợp tự thực hiện: Chủ đầu tư phối hợp với nhà thầu triển khai và các bên có liên quan.

– Trường hợp thuê đơn vị kiểm thử độc lập: Đơn vị kiểm thử độc lập phối hợp với nhà thầu triển khai và các bên có liên quan.

b) Các hoạt động chính:

– Nghiên cứu nghiệp vụ của bài toán, yêu cầu của người sử dụng.

– Nghiên cứu yêu cầu chức năng và phi chức năng của phần mềm.

– Phân tích, xác định các ràng buộc, ước lượng thời gian và tổng hợp yêu cầu kiểm thử.

– Xác định các mốc thời gian quan trọng trong quá trình kiểm thử.

– Xác định các điều kiện dừng kiểm thử.

– Lập kế hoạch kiểm thử.

– Chấp thuận kế hoạch kiểm thử.

5. Xây dựng tình huống, kịch bản kiểm thử

a) Đơn vị thực hiện:

– Trường hợp tự thực hiện: Chủ đầu tư phối hợp với nhà thầu triển khai và các bên có liên quan.

– Trường hợp thuê đơn vị kiểm thử độc lập: Đơn vị kiểm thử độc lập phối hợp với nhà thầu triển khai và các bên có liên quan.

b) Các hoạt động chính

– Phân tích các tài liệu đầu vào để nắm vững yêu cầu, phạm vi kiểm thử, xác định các tính năng cần kiểm thử và các kỹ thuật kiểm thử.

– Xây dựng các tình huống kiểm thử: số ký hiệu của tình huống, đặt tên tình huống và xác định điều kiện, dữ liệu đầu vào, các bước thực hiện, kết quả mong đợi, kết quả thực tế dựa vào yêu cầu đầu vào.

– Xây dựng các kịch bản kiểm thử tương ứng với các tình huống kiểm thử bảo đảm đáp ứng được việc đánh giá đầy đủ các yêu cầu chức năng và phi chức năng.

– Trong một số trường hợp, nếu có yêu cầu đánh giá sự phù hợp của phần mềm so với các quy định hiện hành, tiêu chuẩn, quy chuẩn hoặc hướng dẫn kỹ thuật chuyên ngành thì bổ sung các hoạt động sau:

+ Chủ đầu tư, nhà thầu triển khai thống nhất cung cấp yêu cầu đầu vào là các văn bản quy định, quy phạm pháp luật, tiêu chuẩn, quy chuẩn hoặc hướng dẫn kỹ thuật chuyên ngành có liên quan cho tổ chức, cá nhân thực hiện kiểm thử.

+ Tổ chức, cá nhân thực hiện kiểm thử có trách nhiệm bổ sung hoạt động kiểm tra, đánh giá (còn được gọi là kiểm thử tĩnh) lại các tài liệu đặc tả yêu cầu người sử dụng, đặc tả chức năng, phi chức năng của phần mềm so với các quy định, quy phạm pháp luật, tiêu chuẩn, quy chuẩn hoặc hướng dẫn kỹ thuật chuyên ngành mà chủ đầu tư cung cấp.

6. Thiết lập và duy trì môi trường kiểm thử

a) Đơn vị thực hiện:

– Trường hợp tự thực hiện: Chủ đầu tư phối hợp với nhà thầu triển khai và các bên có liên quan.

– Trường hợp thuê đơn vị kiểm thử độc lập: Đơn vị kiểm thử độc lập phối hợp với nhà thầu triển khai và các bên có liên quan.

b) Các hoạt động chính

– Nghiên cứu cấu hình môi trường vận hành, khai thác phần mềm, tổ chức thiết lập môi trường kiểm thử tương ứng, phù hợp với yêu cầu kiểm thử trong trường hợp sử dụng Testlab.

– Cài đặt, cấu hình phần mềm cần kiểm thử.

– Chuẩn bị dữ liệu kiểm thử.

– Thiết lập công cụ hỗ trợ kiểm thử.

– Kiểm tra, duy trì môi trường kiểm thử.

7. Thực hiện kiểm thử

a) Đơn vị thực hiện:

– Trường hợp tự thực hiện: Chủ đầu tư phối hợp với nhà thầu triển khai và các bên có liên quan.

– Trường hợp thuê đơn vị kiểm thử độc lập: Đơn vị kiểm thử độc lập phối hợp với nhà thầu triển khai và các bên có liên quan.

b) Các hoạt động chính:

– Thực thi toàn bộ các kịch bản kiểm thử.

– Quan sát, ghi nhận kết quả thực tế, ghi nhận các sự cố, lỗi phần mềm xảy ra trong quá trình kiểm thử.

– So sánh kết quả thực tế và kết quả mong đợi.

8. Lập báo cáo kết quả kiểm thử

a) Đơn vị thực hiện:

– Trường hợp tự thực hiện: Chủ đầu tư phối hợp với nhà thầu triển khai và các bên có liên quan.

– Trường hợp thuê đơn vị kiểm thử độc lập: Đơn vị kiểm thử độc lập phối hợp với nhà thầu triển khai và các bên có liên quan.

b) Các hoạt động chính

– Đơn vị thực hiện kiểm thử lập báo cáo kết quả kiểm thử.

– Công bố kết quả kiểm thử và tuyên bố kết thúc kiểm thử. Chủ đầu tư xem xét quyết định:

+ Yêu cầu nhà thầu triển khai tiếp nhận kết quả, chỉnh sửa, bổ sung và hoàn thiện phần mềm trong trường hợp phần mềm có lỗi.

+ Thống nhất kế hoạch tổ chức nghiệm thu với các bên liên quan.

+ Tuyên bố kết thúc kiểm thử.

– Nhà thầu triển khai và các bên liên quan có trách nhiệm tiếp nhận và triển khai các công việc theo kết quả kiểm thử được công bố.

Nguồn thông tư 24/2020/TT-BTTTT