Lộ trình học

Bắt đầu và tạo tín hiệu đầu tiên

Bắt đầu tại Bắt đầu, sau đó đi qua Chuẩn bị môi trường, Trace đầu tiên và Local observability stack. Cuối nhóm, đọc Quy ước repository và Bước tiếp theo để biết cách tiếp tục.

Khi học chặng này: bạn chưa có môi trường hoặc chưa từng nhìn thấy telemetry của ứng dụng.

Mục tiêu chuyển chặng: chạy được một service nhỏ, tạo được một trace và chỉ ra trace được nhận ở đâu. Đừng tối ưu sampling hay scaling ở đây; hãy tập trung vào đường đi cơ bản.

Xây mental model nền tảng

Đọc Nền tảng. Phần này giải thích observability là gì, OpenTelemetry giải quyết vấn đề nào, telemetry đi qua pipeline ra sao và context propagation nối các operation ở nhiều process như thế nào.

Ví dụ, khi một request đi từ API service sang payment service, context propagation mang thông tin định danh của trace qua ranh giới process. Nhờ vậy, hai span ở hai service vẫn xuất hiện trong cùng một distributed trace thay vì thành hai trace rời rạc.

Khi học chặng này: bạn muốn hiểu bản chất trước khi chọn thư viện hoặc backend.

Mục tiêu chuyển chặng: mô tả được ứng dụng, SDK hoặc agent, OTLP, Collector và backend trong một sơ đồ. Bạn cũng cần phân biệt telemetry được tạo ở đâu với telemetry được lưu và truy vấn ở đâu.

Học telemetry signals

Đọc Telemetry signals. Tập trung vào traces, spans, metrics, logs, exemplars, correlation và sampling.

Signal là một loại dữ liệu telemetry có cách tổ chức và mục đích riêng. Một span mô tả một operation trong trace. Metric là các phép đo được tổng hợp theo thời gian. Log là bản ghi sự kiện có nội dung chi tiết. Ví dụ, dùng trace để tìm một request chậm; dùng metric để phát hiện latency p95 của cả service tăng; dùng log để đọc nguyên nhân lỗi cụ thể.

Khi học chặng này: bạn đã tạo được trace nhưng chưa biết lúc nào nên dùng signal nào hoặc vì sao dữ liệu giữa các signal chưa nối với nhau.

Mục tiêu chuyển chặng: chọn được signal cho một câu hỏi vận hành và giải thích được trade-off cơ bản của sampling, cardinality và correlation.

Instrument ứng dụng

Đọc Instrumentation. Đi từ API và SDK, auto-instrumentation, manual instrumentation, resources, configuration, propagators đến instrumentation libraries và testing instrumentation.

Instrumentation là cách ứng dụng hoặc thư viện tạo ra telemetry. Auto-instrumentation thêm telemetry cho các framework phổ biến mà không cần sửa nhiều code. Manual instrumentation cho phép bạn đặt span, attribute hoặc event ở đúng business operation. Ví dụ, auto-instrumentation có thể ghi nhận một HTTP request, còn manual instrumentation có thể tạo span cho bước calculate_shipping vốn chỉ có ý nghĩa trong domain của bạn.

Khi học chặng này: bạn đã hiểu signal và cần quyết định nên tự động thu thập phần nào, viết instrumentation thủ công phần nào.

Mục tiêu chuyển chặng: tạo telemetry có tên, resource và context hợp lý; biết cách kiểm tra instrumentation thay vì chỉ kiểm tra backend có hiển thị dữ liệu hay không.

Đưa dữ liệu qua Collector

Đọc OpenTelemetry Collector. Học cấu hình receiver, processor, exporter, connector, extension và pipeline.

Pipeline là đường xử lý của Collector. Receiver nhận dữ liệu, processor biến đổi hoặc áp dụng chính sách, còn exporter gửi dữ liệu đến đích. Ví dụ, một pipeline có thể nhận OTLP từ ứng dụng, batch các record rồi export sang backend; mỗi chặng có thể được kiểm tra riêng khi xảy ra lỗi.

Khi học chặng này: bạn có nhiều service, nhiều nguồn telemetry hoặc cần tách cấu hình gửi dữ liệu ra khỏi code ứng dụng.

Mục tiêu chuyển chặng: đọc được một pipeline từ đầu đến cuối và biết thành phần nào chịu trách nhiệm khi dữ liệu bị drop, bị biến đổi hoặc không export được.

Chọn protocol và backend

Đọc Protocols và backends. Bắt đầu với OTLP và OTLP gRPC và HTTP, sau đó xem các lựa chọn backend như Grafana stack hoặc vendor backends.

Protocol là quy tắc định dạng và truyền dữ liệu giữa các thành phần. OTLP, viết tắt của OpenTelemetry Protocol, là protocol được thiết kế để truyền dữ liệu OTel. Backend là nơi nhận, lưu trữ, truy vấn và thường trực quan hóa telemetry.

Khi học chặng này: telemetry đã được tạo nhưng bạn cần chọn cách truyền và nơi lưu phù hợp với môi trường của mình.

Mục tiêu chuyển chặng: phân biệt lỗi ở application, protocol, network và backend. Bạn cũng cần biết đích gửi nào đang được dùng trước khi thay đổi cấu hình.

Triển khai theo topology

Đọc Triển khai. So sánh các cách chạy Collector và ứng dụng trong Docker, Kubernetes, sidecar, DaemonSet, gateway hoặc môi trường serverless. Đừng bỏ qua Networking và TLS khi dữ liệu đi qua network.

Topology là cách các thành phần được bố trí và kết nối. Ví dụ, sidecar đặt Collector cạnh từng workload, còn gateway tập trung nhiều workload về một điểm xử lý. Sidecar thường đơn giản để cô lập theo workload; gateway có thể thuận tiện hơn cho chính sách chung và quản lý đích export.

Khi học chặng này: ví dụ local đã chạy và bạn cần đưa mô hình đó vào runtime thật.

Mục tiêu chuyển chặng: vẽ được topology, xác định traffic đi qua network nào và nêu được cách bảo vệ kết nối, cấu hình và quyền truy cập.

Đưa observability vào production

Đọc Production. Tập trung vào production readiness, performance, cardinality, reliability, security, cost control, scaling, upgrades và governance.

Trong production, “có dữ liệu” chưa phải tiêu chí đủ. Ví dụ, thêm một attribute chứa user_id vào metric có thể tạo quá nhiều cardinality — số lượng giá trị kết hợp khác nhau của các label hoặc attribute — và làm tăng chi phí lưu trữ. Một thiết kế tốt phải cân bằng khả năng điều tra với chi phí, quyền riêng tư và độ ổn định.

Khi học chặng này: telemetry đã phục vụ được một luồng thử nghiệm và bạn chuẩn bị dùng nó cho hệ thống thật.

Mục tiêu chuyển chặng: có checklist cho độ tin cậy, bảo mật, chi phí, nâng cấp và giới hạn dữ liệu; biết metric nào chứng minh pipeline đang khỏe.

Troubleshoot theo triệu chứng

Đọc Troubleshooting. Bắt đầu bằng Triage, rồi đối chiếu triệu chứng như no data, missing spans, Collector errors, export failures, duplicate telemetry, high memory hoặc context loss.

Hãy điều tra theo đường đi. Nếu không có dữ liệu, kiểm tra lần lượt việc tạo telemetry, export, nhận dữ liệu, xử lý và lưu trữ. Nếu chỉ mất span giữa hai service, ưu tiên kiểm tra context propagation và boundary của request trước khi sửa backend.

Khi học chặng này: bạn cần tìm nguyên nhân thay vì thử ngẫu nhiên nhiều cấu hình.

Mục tiêu chuyển chặng: biến một triệu chứng thành giả thuyết có thể kiểm tra và xác định chặng đầu tiên làm mất hoặc làm sai dữ liệu.

Luyện tập bằng labs

Đọc Labs sau khi đã có mental model và một pipeline cơ bản. Chọn lab gần mục tiêu: service tối thiểu, Collector pipeline, distributed trace, metrics dashboard, logs và traces, Kubernetes stack hoặc failure injection.

Lab tốt không chỉ chứng minh “đã thấy dữ liệu”. Nó nên cho bạn một thay đổi có chủ ý, một kết quả dự kiến và một cách xác minh. Ví dụ, khi làm failure injection, hãy dự đoán signal nào thay đổi trước rồi mới so sánh với dữ liệu nhận được.

Khi học chặng này: bạn muốn nối nhiều phần thành một hệ thống và luyện khả năng chẩn đoán.

Mục tiêu chuyển chặng: tự dựng lại một luồng telemetry từ ứng dụng đến backend và giải thích được ít nhất một failure mode.

Tra cứu và chuẩn hóa

Dùng Reference trong suốt quá trình học, không chỉ ở cuối. Reference tập hợp Glossary, environment variables, ports và protocols, semantic conventions index, version compatibility và production checklist.

Semantic convention là quy ước tên và cấu trúc attribute để telemetry từ các ứng dụng khác nhau vẫn có ý nghĩa nhất quán. Khi cần thêm attribute, hãy tra quy ước trước khi tự đặt tên. Khi nâng cấp thành phần, hãy kiểm tra compatibility thay vì chỉ dựa vào việc service vẫn khởi động.

Khi học chặng này: bạn cần một giá trị hoặc tên chính xác để cấu hình, review hoặc vận hành.

Mục tiêu hoàn thành: có thể tự tra cứu thuật ngữ, biến môi trường, port, quy ước và checklist liên quan đến một thay đổi cụ thể.