Điều quan trọng là có các qui trình chuẩn được làm tài liệu tốt, được huấn luyện và được dùng trong toàn tổ chức. (Dự án mới phải tuân theo nó nhưng dự án hiện tại có thể không theo). Tôi muốn nhấn mạnh tầm quan trọng của huấn luyện để chắc chắn mọi người trong công ti bạn hiểu tầm quan trọng của việc tuân theo qui trình được xác định. Điều này sẽ làm cho cấp quản lí tin tưởng rằng tổ chức của bạn là nền tảng vững chắc cho cải tiến qui trình tương lai. (Phần lớn các nhà tư vấn sẽ tập trung vào việc làm tài liệu và sẽ cung cấp các mẫu hay khuôn mẫu cho khách hàng của họ xem như bằng chứng chỉ để qua được việc đánh giá CMMI nhưng chẳng mấy có kết quả thực tế)
Miền gay cấn nhất tất cả đều là việc đo và áp dụng việc đo để tối ưu cách bạn xây dựng phần mềm. Bản kế hoạch đo vững chắc với việc đo được xác định rõ cho dự án, tổ chức, và doanh nghiệp và cách những độ đo này được tích hợp đầy đủ gióng thẳng với mục đích kinh doanh của tổ chức là quan trọng nhất. Dữ liệu, sơp đồ cách đo, xu hướng phải được dùng và được đăng tải ở khắp chỗ làm việc để mọi người thấy và xây dựng ra “văn hoá đo”, điều được đo sẽ được làm.
Về căn bản khi tôi tiến hành việc đánh giá, tôi tìm “văn hoá” và “thực hành tốt nhất”. Phần lớn các tổ chức đều có nhiều thực hành tốt tại chỗ nhưng họ có thể không biết điều đó. “Thực hành tốt nhất” là những điều có tác dụng tốt trong tổ chức; nó có thể là danh sách kiểm, khuôn mẫu, cách đo, lớp huấn luyện, phương pháp, luồng công việc v.v. Bên cạnh việc tìm vật phẩm tài liệu và thực hành then chốt như đã nói trong các sách CMMI, một tổ chức tốt phải có dữ liệu và thực hành đáng kể không được làm tài liệu trong CMMI và đây là chỗ tôi rất chú ý bởi vì nó là “văn hoá”, cách mọi người làm việc và thao tác sẽ thực sự làm tổ chức trưởng thành. Cho nên tôi tìm:
ROI và dữ liệu xu hướng cải tiến : Nếu một tổ chức đã dùng CMMI trong nhiều năm, họ nên có dữ liệu xu hướng cải tiến – họ đã đầu tư bao nhiêu vào cải tiến qui trình (tổng nỗ lực trên từng kĩ sư phần mềm) và loại ích lợi kinh doanh nào họ đã thu được dưới dạng chi phí, lịch biểu, và chất lượng (chẳng hạn, giảm lỗi sau khi đưa ra đến X% trong vòng X năm, tăng sự thoả mãn khách hàng tới X% trong X năm, v.v.). Một tổ chức được quản lí tốt sẽ có đồ hoạ chỉ ra xu hướng cải tiến qua thời gian cho từng mức trưởng thành so với các mục đích và mục tiêu kinh doanh.
Bài học rút ra và thực hành duy nhất : Một tổ chức trưởng thành cũng có những bài học rút ra được làm tài liệu ở đâu đó để cho mọi người có thể truy nhập tới và tránh sai lầm. (Cách tốt nhất là để trên website nơi mọi người có thể truy nhập và đóng góp). Tôi muốn tìm ra rào chắn nào họ phải vượt qua. Những rào chắn này có thể là trong qui trình, cách đo, văn hoá, môi trường kinh doanh, hay quan hệ khách hàng. Ý định ở đây là nhận diện những điều phải được làm theo cách khác để thu được kết quả kinh doanh. Liệu có điều gì họ đã cố gắng và bỏ dở bởi vì họ không làm không. Tôi tìm các thực hành duy nhất mà họ đang làm bây giờ bởi vì đó là chỗ mạnh và kĩ năng của họ cho dù nó không được yêu cầu trong sách CMMI. Có thể đây là đóng góp quan trọng cho sự thành công của họ và điều đó có thể được chứng minh là có năng lực trưởng thành cao. Một tổ chức trưởng thành cao bao giờ cũng bao gồm khách hàng, phần lớn sự điều phối liên nhóm bao giờ cũng bao gồm các hoạt động khách hàng và loại xây dựng tổ kiểu này xác định ra mức 4/5 vững chắc. Về căn bản, trong cuộc phỏng vấn đánh giá, bạn sẽ không nghe thấy phàn nàn về cấp quản lí hay khách hàng mà thay vì thế là thái độ có ý nghĩa hướng tới xây dựng tổ và làm việc cùng nhau. Dữ liệu về các cuộc họp với khách hàng (Báo cáo họp) nảy sinh từ các cuộc họp đó là vật phẩm tốt để nhìn vào. Bạn không đợi cho tới mức 5 để ngăn ngừa lỗi mà thay vì thế phải nghe nói tới chúng ở mức 4. Nếu có các cuộc kiểm điểm có ý nghĩa trong các pha vòng đời, mọi người đều biết bao nhiêu lỗi được phát hiện và sửa chữa chúng trước khi đưa ra. Về căn bản, quãng 85% hay 90% việc phát hiện lỗi được trông đợi ở mức 4/5. Theo kinh nghiệm, ít hơn 80% có thể là mức 3 chắc nhưng không hoàn toàn là mức 4. Tài liệu qui trình chuẩn – standard process document (OSSP) ở mức 4 được tổ chức và tinh chế hơn nhiều với việc dùng lại và điều chỉnh có ý nghĩa. Dữ liệu về sai lệch lịch biểu, lỗi, và thời gian bao giờ cũng có trong Kiểm soát qui trình thống kê. Các cận trên và dưới được xác định bởi dữ liệu lịch sử không chỉ bởi độ lệch chuẩn như thực hành thông thường. Tôi bao giờ cũng hỏi làm sao họ đi tới việc kiểm soát qui trình thống kê để xác định liệu họ là Mức 4 vững chắc hay không.
Vấn đề con người và văn hoá : Phần lớn các tổ chức mức 4/5 đều làm cái gì đó đúng về vấn đề con người. Về căn bản tôi thấy nhiều việc xây dựng tổ, quản lí hướng con người, và các hoạt động xây dựng kĩ năng. Nhiều tổ chức có chương trình kèm cặp chính thức được thiết lập và có chương trình định hướng có ý nghĩa để thuê người mới. Dữ liệu về quay vòng nhân viên được cấp quản lí giữ và biết. Một số cấp quản lí còn có dữ liệu về tinh thần nhân viên, điều đã cải tiến xem như kết quả của hoạt động cải tiến qui trình. Theo kinh nghiệm, tôi cũng hỏi họ sẽ làm gì tiếp. Một tổ chức mức 4/5 vững chắc biết điều cần làm tiếp và một tổ chức “Mức 4/5 sơ sinh” không có tầm nhìn vượt quá câu trả lời điển hình của Mức 4/5 kiểu như đạt tới Mức 5 trước 2010 và rằng nó là vậy. Một nhân tố xác địng Mức 5 vững chắc là câu trả lời cho điều họ sẽ làm tiếp và mục tiêu cải tiến của họ. Loại thực hành nào họ đang tinh luyện hay tối ưu. Rào chắn nào họ có thể đang đối diện và làm sao họ sẽ vượt qua chúng?
Cuối cùng, tôi bao giờ cũng hỏi mọi người câu hỏi về tổ chức. “Là công ti phần mềm mức 4/5 hay là công ti phần mềm cao nhất điều đó có ý nghĩa gì? Sự khác biệt là gì? Có thay đổi trong tinh thần và động cơ của nhân viên không? Có thay đổi trong kết quả kinh doanh như năng suất và chất lượng không, về hiệu năng xuất sắc, vận hành xuất sắc, và sự thoả mãn của khách hàng thì sao? Vì Mức 4 hội tụ vào quản lí định lượng và áp dụng Kiểm soát qui trình thống kê (SPC), tôi muốn biết độ đo nào là hữu dụng. Kĩ thuật phân tích nào đưa ra cái nhìn sâu sắc? Ai dùng SPC, và họ thu được giá trị nào? Cấp quản lí vận hành thế nào ở mức độ trưởng thành cao hơn so với các mức thấp hơn? Vấn đề tài trợ có thay đổi sau mức 3 không? Có vấn đề gì trong việc duy trì xuất sắc sau khi đạt tới Mức 4 hay 5?
Khi bạn có mọi thứ tại chỗ, tôi có thể yêu cầu một trong các cán bộ của tôi tới thăm tổ chức của bạn để kiểm điểm, nếu mọi sự là tốt thì tôi có thể thu xếp cho việc đánh giá CMMI.
As your company is defining the standard process based on the CMMI framework for improvement, following are some suggestions:
It is important to have the standard processes well documented, trained and used throughout the organization (New project must follow it but existing project may not have to). I want to stress the important of training to make sure everybody in your company understand the important of following the defined process. This will give management confident that your organization is on solid ground for future process improvement (Most consultants will focus on documentation and will provide samples or templates for their clients as evidences just to pass the CMMI appraisal but not much in the real result)
The most critical area is all about measurements and the application of measurements to optimize the way you build software. A solid measurement plan with clearly defined measurements for project, organization, and business and how these measures are fully integrated in alignment with organization business goals are the most important. Data, metric charts, trends must be used and posted throughout the workplace for people to see and build a “measurement culture”, what get measured will get done.
Typically when I conduct an appraisal, I look for the “culture” and “best practices”. Most organizations have a lot of best practices in place but they may not know it. “Best practices are things that work well in an organization; it could be a checklist, a template, a measurement, a training class, a method, a workflow etc. In addition to looking for document artifacts and key practices as stated in the CMMI books, a good organization must have significant data and practices not documented in CMMI and this is where I pay a lot of attention because it is the “culture”, the way people do work and operate that will really mature the organization. So I am looking for:
1. ROI and Improvement Trend Data
If an organization has used CMMI for many years, they should have improvement trend data – how much they have invested in process improvement (total efforts per software engineer) and what kind of business benefit they have obtained in terms of cost, schedule, and quality (e.g., decrease in post released defects by X% within X years, increase in customer satisfaction to X% within X years, etc.). A well-run organization would have graphics that show improvement trends over time for each maturity level against business goals and objectives.
2. Lessons Learned and Unique Practices
A matured organization also has lessons learned documented somewhere so people can access and avoid mistakes. (The best way is to have a website where people can access and contribute) I want to find out what barriers that they had to overcome. These barriers may be in process, measurement, cultural, business environment, or customer relations. The intent is to identify the things that had to be done differently to get the business results. Are there any things that they tried and abandoned because they weren’t working. I am looking for unique practices that they do now because it is their strength and skills even it is not required in the CMMI book. Maybe this is an important contribution to their business success and it can be demonstrated as high maturity capability. A highly matured organization always involves customers, most inter-group coordination always cover customer activities and this kind of team building determines the solid level 4/5. Typically, in an appraisal interviews, you will not hear about complain on management or customer but rather a significant attitude toward teaming and working together. Data on customer meetings (Meeting reports) results of those meetings are good artifacts to look into. You do not wait until level 5 for defect prevention but rather hear about them at level 4. If there are significant reviews per life cycle phase, people know how many defects are discovered and fixed them before release. Typically, an 85% or 90% defect detection rate is expected at level 4/5. As a rule of thumb, less than 80% may be a solid 3 but not quite a 4. The standard process document (OSSP) at level 4 is much more organized and refined with significant reuse and tailoring. Data on schedule variance, defects, and time are always under Statistical Process Control. Upper and lower bound are determined by historical data not just by typical standard deviation as common practice. I always ask how they come up with their Statistical Process control to determine if they are a solid Level 4 or not.
3. People and Cultural Issues
Most Level 4/5 organizations are also doing something right about people issues. Typically I find a lot of team building, people-oriented management, and skills building activities. Many have an established formal mentoring program and have a significant orientation program for new hires. Data on employee turnover is kept and known by management. Some have data on employee morale, which has improved as a result of the process improvement activities. As a rule of thumb, I also ask what they are working on next. A solid Level 4/5 knows what to do next and a “fluffy Level 4/5″ does not have vision past Level 4/5 typical answer such as achieve Level 5 by 2010 and that is it. One factor that determines a solid Level 5 is the answer to what they will do next and their improvement objectives. What kind of practices are they refining or optimizing. What barriers may they be facing and how will they overcome them?
Finally, I always ask people organization questions. “What does it mean to be level 4/5 or to be the top software company? What is different? Are there changes in employee morale and motivation? Are there changes in business results such as productivity and quality what about performance excellence, operational excellence, and customer satisfaction? Since Level 4 focuses on quantitative management and apply Statistical Process Control (SPC), I want to know what measures are useful. What analytic techniques provide insight? Who is using SPC, and what value are they obtaining? How does management operate at higher maturity level differs from lower levels? Do sponsorship issues change after Level 3? What are the issues in maintaining excellence after achieving Level 4 or 5?
As you have things in place, I can ask one of my staff to visit your organization for a review, if things are good then I can arrange for a CMMI appraisal.
