Nhật ký lỗi là bảng ghi lại mọi lỗi được phát hiện qua hiệu đính, kiểm tra và nhận xét của khách, theo dự án, loại lỗi, mức nặng và nguyên nhân. Sau vài tháng, bảng này cho trưởng nhóm biết nhóm hay sai ở đâu, loại tài liệu nào cần thêm bước kiểm, người dịch nào cần hỗ trợ ở mảng nào. Không có nó, mọi đánh giá về chất lượng đều dựa vào trí nhớ và ấn tượng gần nhất.
Bài này dành cho trưởng nhóm dịch, chủ văn phòng dịch nhỏ hoặc người dịch tự do muốn theo dõi chính mình. Nội dung gồm cách dựng nhật ký, chỉ số nên tính, cách đọc xu hướng, cách dùng kết quả để phản hồi mà không biến thành công cụ chấm điểm người, và vai trò thật của các điểm đo tự động.
Vì sao cần ghi lỗi thay vì chỉ sửa lỗi
Trong phần lớn nhóm dịch, lỗi được phát hiện và sửa ngay trong tệp, rồi biến mất. Người hiệu đính nhớ mang máng rằng người dịch này hay sai thuật ngữ, khách kia hay chê văn phong, nhưng không ai có số liệu. Khi cần quyết định giao việc khó cho ai, có nên thêm bước kiểm cho loại tài liệu nào, hay vì sao khách lớn phàn nàn tháng này, nhóm chỉ có cảm giác.
Ghi lỗi tốn thêm vài phút cho mỗi dự án, nhưng biến những cảm giác đó thành thông tin. Bạn sẽ thấy ví dụ một phần đáng kể lỗi nặng của nhóm nằm ở tài liệu tài chính, hay lỗi số tập trung vào những dự án có thời hạn ngắn nhất. Những phát hiện như vậy dẫn đến thay đổi quy trình cụ thể: thêm bước kiểm số cho tài liệu gấp, ghép người dịch tài chính với người hiệu đính có chuyên môn.
Nhật ký còn giúp người dịch tự tiến bộ. Một người nhìn thấy danh sách lỗi của mình qua mười dự án sẽ nhận ra mẫu lặp mà từng lần nhận xét riêng lẻ không cho thấy. Đây là phản hồi có giá trị hơn mọi lời khuyên chung chung về việc “cẩn thận hơn”.
Nhật ký lỗi ghi những cột nào
Nhật ký càng nhiều cột, người ghi càng ngại ghi. Bắt đầu với các cột dưới đây, thêm sau khi nhóm đã quen.
| Cột | Nội dung | Ghi chú |
|---|---|---|
| Dự án và loại tài liệu | Mã dự án, loại như hợp đồng, hướng dẫn, marketing, giấy tờ | Dùng mã, không ghi tên khách để giữ bảo mật |
| Độ dài | Số chữ của tài liệu nguồn | Cần để tính chỉ số lỗi theo độ dài |
| Người dịch, người phát hiện | Mã người, không cần họ tên đầy đủ | Người phát hiện có thể là hiệu đính, kiểm tra tự động hoặc khách |
| Nhóm lỗi | Chính xác, trôi chảy, thuật ngữ, văn phong, định dạng | Theo bảng tiêu chí của nhóm |
| Mức nặng | Nghiêm trọng, nặng, nhẹ | Theo quy ước đã thống nhất |
| Nguyên nhân | Hiểu sai, sót khi gõ, thiếu bảng thuật ngữ, lỗi bản gốc, lỗi công cụ | Cột quan trọng nhất cho việc cải tiến |
| Phát hiện ở đâu | Tự kiểm, hiệu đính, kiểm sau dàn trang, sau khi giao | Lỗi lọt đến khách là tín hiệu quy trình có lỗ hổng |
Cột nguyên nhân thường bị bỏ trống vì khó điền. Nhưng chính nó phân biệt được lỗi do người, do quy trình hay do đầu vào. Một nhóm có nhiều lỗi “thiếu bảng thuật ngữ” cần đầu tư vào bảng thuật ngữ, không phải vào việc nhắc người dịch cẩn thận.
Chỉ số nên tính và cách đọc
Số lỗi trên một nghìn chữ. Đếm lỗi theo mức nặng, quy về cùng độ dài để so được dự án dài với dự án ngắn. Tính riêng từng mức, không cộng gộp lỗi nhẹ với lỗi nghiêm trọng thành một con số.
Tỷ lệ lỗi lọt đến khách. Trong mọi lỗi được ghi, bao nhiêu phần do khách phát hiện. Chỉ số này đo hiệu quả của quy trình kiểm, không phải của người dịch.
Phân bố theo nhóm lỗi và loại tài liệu. Lỗi tập trung ở nhóm nào, loại tài liệu nào. Đây là nơi tìm cơ hội cải tiến lớn nhất.
Xu hướng theo tháng hoặc quý. Một con số đơn lẻ ít ý nghĩa. Xu hướng giảm sau khi đổi quy trình cho thấy thay đổi có tác dụng; tăng sau khi nhận khách mới cho thấy cần thêm đào tạo về mảng đó.
Cẩn thận với số nhỏ. Với nhóm nhỏ và ít dự án, chỉ cần một tài liệu khó là con số dao động mạnh. Đọc cùng lúc với nội dung từng lỗi, không chỉ nhìn số.
Phản hồi cho người dịch mà không biến nhật ký thành công cụ chấm điểm người
Nguy cơ lớn nhất của nhật ký lỗi là bị dùng để xếp hạng người dịch, rồi gắn với thù lao hay giao việc một cách máy móc. Khi đó người dịch sẽ tranh cãi từng dòng ghi lỗi, người hiệu đính ngại ghi vì sợ ảnh hưởng đồng nghiệp, và nhật ký mất tác dụng. Con số trở nên đẹp nhưng không còn phản ánh thật.
Cách tránh là tách rõ mục đích. Nhật ký là công cụ cải tiến quy trình và giúp người dịch tiến bộ; nó là một trong nhiều thông tin khi đánh giá người, không phải thông tin duy nhất. Người dịch nhận lỗi khó nhất, tài liệu chuyên sâu nhất, thường có nhiều lỗi hơn người chỉ nhận tài liệu dễ, và điều đó không có nghĩa họ kém hơn. Khi dùng số liệu để nói chuyện với một người, luôn đặt trong bối cảnh loại việc họ nhận.
Hình thức phản hồi tốt là buổi trao đổi ngắn định kỳ, mỗi người xem danh sách lỗi của mình theo nhóm và nguyên nhân, cùng trưởng nhóm chọn một hai điểm để cải thiện trong thời gian tới. Kết thúc bằng một hành động cụ thể: thêm điểm vào danh sách tự soát, học thêm về một mảng thuật ngữ, ghép với người hiệu đính có chuyên môn. Người dịch nên được xem và phản biện các dòng ghi lỗi của mình.
Ví dụ giả định: ba tháng nhật ký của một nhóm bốn người
Một nhóm dịch bốn người, nhận chủ yếu hợp đồng thương mại và tài liệu kỹ thuật, bắt đầu ghi nhật ký lỗi. Tháng đầu, bảng có khá nhiều dòng thiếu cột nguyên nhân, và hai người hiệu đính xếp mức khác nhau cho cùng loại lỗi thuật ngữ. Cuối tháng, nhóm ngồi lại, thống nhất rằng sai thuật ngữ đã có trong bảng là lỗi nặng, còn thuật ngữ chưa có trong bảng mà người dịch tự chọn hợp lý thì chỉ ghi chú, không tính lỗi.
Tháng thứ hai, khi số liệu đã đủ sạch, nhóm thấy một mẫu rõ: phần lớn lỗi nghiêm trọng là lỗi số, và gần như tất cả nằm trong những dự án có thời hạn dưới hai ngày. Trong các dự án đó, bước kiểm tự động thường bị bỏ qua vì gấp. Nhóm quyết định bước kiểm số trở thành bắt buộc với mọi dự án, kể cả dự án gấp nhất, và người hiệu đính không nhận tệp nếu chưa kèm báo cáo kiểm.
Tháng thứ ba, lỗi số giảm rõ, nhưng lỗi văn phong do khách báo lại tăng, tập trung ở một khách mới chuyên tài liệu tiếp thị. Nhìn cột nguyên nhân, nhóm thấy lý do không phải người dịch kém, mà là chưa ai hỏi khách về giọng văn mong muốn. Hành động tiếp theo vì thế là bổ sung câu hỏi về giọng văn vào phiếu nhận việc, không phải nhắc nhở người dịch. Ví dụ này cho thấy giá trị của nhật ký nằm ở cột nguyên nhân và ở việc dẫn tới thay đổi cụ thể, không ở bản thân con số.
Điểm đo tự động: nói được gì, không nói được gì
Trong nghiên cứu và phát triển dịch máy, người ta dùng các điểm đo tự động so bản dịch máy với một hoặc nhiều bản dịch tham chiếu do người làm, hoặc dùng mô hình học máy để ước lượng chất lượng. Với nhóm dịch, hiểu đúng các điểm này giúp tránh dùng sai:
- Các điểm dựa trên so khớp chữ với bản tham chiếu đo mức trùng lặp từ ngữ. Một bản dịch đúng nghĩa nhưng diễn đạt khác bản tham chiếu có thể bị điểm thấp, nên điểm này không dùng được để chấm từng bản dịch của người.
- Các điểm dựa trên mô hình học máy bám sát đánh giá của người hơn ở mức tổng thể nhiều câu, nhưng vẫn có thể sai ở từng câu, đặc biệt với lỗi số và phủ định.
- Các điểm này hữu ích khi so hai hệ thống dịch máy trên cùng một bộ tài liệu lớn, ví dụ để chọn công cụ dịch máy cho một mảng của nhóm.
- Một số phần mềm có chức năng ước lượng chất lượng từng câu dịch máy để gợi ý câu nào cần người xem kỹ. Có thể dùng để sắp xếp thứ tự ưu tiên, nhưng không dùng để bỏ qua kiểm những câu được đánh giá cao.
- Khi khách đưa ra điểm đo tự động để đánh giá bản dịch của người, giải thích lịch sự giới hạn của nó và đề nghị dùng đánh giá dựa trên lỗi do người có chuyên môn làm.
Tính năng và cách tính các điểm này thay đổi theo phiên bản công cụ, nên khi dùng, hãy kiểm tài liệu hiện hành của công cụ và ghi lại phiên bản để so sánh được giữa các lần đo.
Bắt đầu nhật ký lỗi trong một tháng
Nhóm chưa có gì có thể bắt đầu theo các bước sau, không cần phần mềm riêng, một bảng tính dùng chung là đủ:
- Thống nhất bảng tiêu chí: năm nhóm lỗi, ba mức nặng, vài câu mẫu. Không có bảng này, mỗi người ghi một kiểu và số liệu không so được.
- Tạo bảng tính với các cột tối thiểu, đặt quyền truy cập chỉ cho nhóm, không ghi tên khách và nội dung mật.
- Quy định ai ghi: người hiệu đính ghi lỗi tìm được, trưởng dự án ghi lỗi khách báo, người dịch ghi lỗi tự phát hiện sau khi giao.
- Ghi ngay khi phát hiện hoặc cuối mỗi dự án, không dồn đến cuối tháng vì sẽ quên chi tiết.
- Cuối tháng đầu, xem lại bảng cùng nhóm: cột nào khó điền, quy ước nào chưa rõ, sửa trước khi đọc số liệu.
- Từ tháng thứ hai, tính chỉ số và chọn một điểm cải tiến cho cả nhóm; kiểm lại ở cuối tháng sau xem có thay đổi.
Nếu dùng chatbot để tổng hợp hay phân loại nhật ký, chỉ đưa vào những cột không chứa thông tin khách hay đoạn văn bản mật, và kiểm lại kết quả tổng hợp với số đếm trực tiếp trên bảng tính. Máy tổng hợp đôi khi đếm sai hoặc gộp nhầm nhóm.
Câu hỏi thường gặp
Nhóm dịch nhỏ hai ba người có cần nhật ký lỗi không?
Có ích, dù ở dạng đơn giản. Một bảng tính vài cột ghi lỗi từ hiệu đính và nhận xét khách đủ để sau vài tháng thấy nhóm hay sai ở đâu. Người dịch tự do làm một mình cũng có thể ghi nhật ký cho chính mình để cập nhật danh sách tự soát.
Có nên dùng số lỗi để tính thù lao cho người dịch không?
Không nên gắn máy móc. Người nhận tài liệu khó thường có nhiều lỗi hơn mà không có nghĩa là kém hơn. Nếu nhật ký bị dùng để phạt, mọi người sẽ ngại ghi lỗi và số liệu mất giá trị. Nên dùng nó chủ yếu để cải tiến quy trình và hỗ trợ người dịch.
Chỉ số lỗi trên một nghìn chữ bao nhiêu là tốt?
Không có con số chung, vì phụ thuộc loại tài liệu, quy ước xếp mức và độ kỹ của người hiệu đính. Điều có ý nghĩa là xu hướng của chính nhóm bạn theo thời gian và việc lỗi nghiêm trọng có lọt đến khách hay không.
Điểm đo tự động có dùng để đánh giá bản dịch của người được không?
Không phù hợp để chấm từng bản dịch của người, vì bản dịch đúng nhưng diễn đạt khác tham chiếu có thể bị điểm thấp. Các điểm này hữu ích hơn khi so các hệ thống dịch máy trên bộ tài liệu lớn. Đánh giá bản dịch của người nên dựa trên lỗi do người có chuyên môn xác định.
Ghi nhật ký lỗi có vi phạm bảo mật với khách không?
Không, nếu ghi đúng cách: dùng mã dự án thay tên khách, không chép đoạn văn bản mật vào nhật ký, giới hạn quyền truy cập trong nhóm. Khi cần ví dụ minh hoạ, thay tên riêng và số liệu trước khi đưa vào.
Dùng AI phân tích nhật ký lỗi có được không?
Được, để tổng hợp, phân nhóm nguyên nhân hay viết nháp báo cáo, miễn là dữ liệu đưa vào không chứa thông tin khách. Kiểm lại số liệu máy tổng hợp với số đếm trực tiếp, vì máy có thể đếm sai hoặc gộp nhầm.