Ein LLM-Kosten-Dashboard mit BigQuery bauen

Jeder LLM-Call — von jedem Provider — schreibt eine Zeile in llm_events. Provider ändern sich; das Schema nicht.

CREATE TABLE analytics.llm_events (
  event_id STRING,
  ts TIMESTAMP,
  provider STRING,
  model STRING,
  feature STRING,
  tenant_id STRING,
  request_id STRING,
  prompt_tokens INT64,
  completion_tokens INT64,
  cached_tokens INT64,
  latency_ms INT64,
  status STRING,
  cost_usd NUMERIC,
  metadata JSON
) PARTITION BY DATE(ts)
  CLUSTER BY feature, tenant_id;

Ein einziger materialisierter View treibt jede Grafik:

CREATE MATERIALIZED VIEW analytics.llm_daily AS
SELECT
  DATE(ts) AS day,
  provider, model, feature, tenant_id,
  COUNT(*) AS calls,
  SUM(prompt_tokens) AS prompt_tokens,
  SUM(completion_tokens) AS completion_tokens,
  SUM(cost_usd) AS cost_usd,
  APPROX_QUANTILES(latency_ms, 100)[OFFSET(95)] AS latency_p95,
  COUNTIF(status = 'ok') / COUNT(*) AS success_rate
FROM analytics.llm_events
GROUP BY day, provider, model, feature, tenant_id;

1. Kosten pro Feature — täglicher Stacked-Area nach feature. Der Chart, den Produktmanager anstarren.
2. Kosten pro Tenant — Top-20-Tenants nach 7-Tage-Kosten, mit Woche-über-Woche-Wachstum. Der Chart für Account Manager.
3. Kosten pro erfolgreichem Outcome — SUM(cost_usd) / COUNTIF(status = 'ok'). Fängt Modelle, die in teure Retries abrutschen.

Absolute Kosten-Alerts feuern bei jedem Launch. Besser: alerten, wenn Kosten pro Feature um mehr als 40% Woche-über-Woche wachsen — an Tagen mit >100 Calls. Fast immer eine echte Regression: Modelltausch, längerer Prompt, kaputter Cache.

Zweiter nützlicher Alert: Kosten pro erfolgreichem Outcome verdoppeln sich für ein Feature. Fängt stille Qualitätsregressionen, wo Retries die Fehlerrate maskieren.

Zwei Muster funktionieren gut:

• Direct insert aus deiner App via BigQuery Streaming Inserts — am günstigsten und einfachsten bei kleinen Volumina.
• Gepuffert via Pub/Sub → Dataflow oder ein geplanter Load-Job — günstiger und resilienter über ~1 Mio. Calls/Tag.

So oder so: Schema stabil halten, Preistabelle in Version Control. Das Dashboard ist nur so nützlich wie die Disziplin dahinter.