Forwork

Công nghệ phải biết giới hạn của mình

Chương 8 xác lập sự khiêm nhường công nghệ: dữ liệu luôn thiếu, suy luận có thể sai và AI có trách nhiệm phải nói rõ điều nó chưa biết.

Một hệ tư tưởng về con người, công việc và công nghệ
Phần 1

Công nghệ cần biết giới hạn trước khi mở rộng quyền lực

Mỗi công nghệ mới thường được giới thiệu bằng những gì nó có thể làm. Nhưng một hệ thống có trách nhiệm phải bắt đầu bằng câu hỏi khác: nó không thể biết điều gì, có thể làm tổn thương ai và quyền lực nào sẽ xuất hiện khi người khác tin vào kết quả của nó.

Khả năng đọc nhiều dữ liệu hơn không tự động tạo ra hiểu biết sâu hơn. Khi công nghệ mở rộng quyền lực mà không mở rộng sự tự nhận thức về giới hạn, sai lầm nhỏ có thể trở thành quyết định lớn.

Khả năng đọc nhiều dữ liệu hơn không tự động tạo ra hiểu biết sâu hơn. Khi công nghệ mở rộng quyền lực mà không mở rộng sự tự nhận thức về giới hạn, sai lầm nhỏ có thể trở thành quyết định lớn.
Phần 2

Dữ liệu là dấu vết của thế giới — không phải toàn bộ thế giới

Hồ sơ số, lịch sử dự án và hành vi trên nền tảng chỉ là những dấu vết đã được ghi lại. Chúng không chứa những cuộc trò chuyện không được lưu, điều kiện gia đình, cơ hội chưa từng có hoặc năng lực chưa có dịp biểu hiện.

Một mô hình chỉ có thể nhìn qua dữ liệu mà nó nhận được. Vì vậy, sự vắng mặt của bằng chứng không được tự động diễn giải thành bằng chứng của sự vắng mặt.

Một mô hình chỉ có thể nhìn qua dữ liệu mà nó nhận được. Vì vậy, sự vắng mặt của bằng chứng không được tự động diễn giải thành bằng chứng của sự vắng mặt.
Phần 3

Một suy luận có thể hợp lý và vẫn sai với một con người

AI có thể nhận ra mẫu từ hàng nghìn trường hợp và đưa ra một suy luận hợp lý. Nhưng một kết luận đúng với số đông vẫn có thể sai với cá nhân đang đứng trước hệ thống.

Khoảng trống nghề nghiệp có thể bị đọc thành thiếu ổn định; thay đổi lĩnh vực có thể bị đọc thành thiếu tập trung; im lặng trên mạng có thể bị đọc thành thiếu ảnh hưởng. Các tín hiệu đều có thể hợp lý và vẫn kể sai câu chuyện.

Khoảng trống nghề nghiệp có thể bị đọc thành thiếu ổn định; thay đổi lĩnh vực có thể bị đọc thành thiếu tập trung; im lặng trên mạng có thể bị đọc thành thiếu ảnh hưởng. Các tín hiệu đều có thể hợp lý và vẫn kể sai câu chuyện.
Phần 4

Sự không chắc chắn phải được nhìn thấy, không được che giấu

Một hệ thống nguy hiểm không nhất thiết là hệ thống luôn sai. Đôi khi đó là hệ thống trình bày điều chưa chắc chắn bằng giọng điệu quá chắc chắn.

Forwork phải hiển thị nguồn dữ liệu, mức độ tin cậy, phần còn thiếu và ranh giới của suy luận. Khi không đủ căn cứ, câu trả lời có trách nhiệm nhất có thể là: hệ thống chưa biết.

Forwork phải hiển thị nguồn dữ liệu, mức độ tin cậy, phần còn thiếu và ranh giới của suy luận. Khi không đủ căn cứ, câu trả lời có trách nhiệm nhất có thể là: hệ thống chưa biết.
Phần 5

Con người cần quyền yêu cầu giải thích, phản hồi và kháng nghị

Khi một phân tích ảnh hưởng đến cơ hội, người bị phân tích cần biết vì sao kết luận xuất hiện và có con đường để phản hồi. Minh bạch không chỉ là công bố một mô hình phức tạp; đó là tạo ra lời giải thích có thể hiểu và hành động được.

Con người cần quyền sửa dữ liệu, bổ sung bối cảnh, yêu cầu xem xét lại và đưa quyết định quan trọng trở về cho phán đoán của con người. Không có quyền kháng nghị, khả năng giải thích chỉ là một màn trình diễn.

Con người cần quyền sửa dữ liệu, bổ sung bối cảnh, yêu cầu xem xét lại và đưa quyết định quan trọng trở về cho phán đoán của con người. Không có quyền kháng nghị, khả năng giải thích chỉ là một màn trình diễn.
Phần 6

Có thể thu thập không có nghĩa là nên thu thập

Công nghệ thường bị cuốn vào suy nghĩ rằng càng nhiều dữ liệu thì càng thông minh. Nhưng mỗi dữ liệu được thu thập cũng tạo thêm quyền lực, trách nhiệm bảo vệ và khả năng bị sử dụng ngoài mục đích ban đầu.

Forwork không nên thu thập một dữ liệu chỉ vì dữ liệu ấy có thể hữu ích trong tương lai. Giới hạn thu thập là một hình thức tôn trọng: chỉ lấy điều cần thiết, nói rõ mục đích và cho phép thu hồi.

Forwork không nên thu thập một dữ liệu chỉ vì dữ liệu ấy có thể hữu ích trong tương lai. Giới hạn thu thập là một hình thức tôn trọng: chỉ lấy điều cần thiết, nói rõ mục đích và cho phép thu hồi.
Phần 7

Sự khiêm nhường phải trở thành kiến trúc sản phẩm

Sự khiêm nhường không thể chỉ nằm trong lời cảnh báo cuối trang. Nó phải xuất hiện trong kiến trúc: phân biệt dữ kiện và suy luận, giữ liên kết tới nguồn, lưu lịch sử thay đổi, cho phép hoàn tác và không tự động hóa hoàn toàn quyết định có ảnh hưởng lớn.

Mọi tính năng AI cần có một phép thử: người dùng có thể thấy hệ thống dựa vào đâu, sửa nó thế nào và điều gì xảy ra khi hệ thống sai hay không?

Mọi tính năng AI cần có một phép thử: người dùng có thể thấy hệ thống dựa vào đâu, sửa nó thế nào và điều gì xảy ra khi hệ thống sai hay không?
Phần 8

Forwork không muốn xây AI biết tất cả — mà xây AI biết điều nó chưa biết

Forwork không muốn xây một AI tuyên bố hiểu trọn con người. Không công nghệ nào nên có tham vọng đó.

Cam kết thứ tám là xây công nghệ biết giới hạn của dữ liệu, nói rõ sự không chắc chắn và giữ cho con người quyền sửa, giải thích và quyết định. Sức mạnh đáng tin cậy bắt đầu từ khả năng thừa nhận điều mình chưa biết.

Cam kết thứ tám là xây công nghệ biết giới hạn của dữ liệu, nói rõ sự không chắc chắn và giữ cho con người quyền sửa, giải thích và quyết định. Sức mạnh đáng tin cậy bắt đầu từ khả năng thừa nhận điều mình chưa biết.