We Scored 500 Creatives Overnight and Only Launched the Top 12: Here's What Happened14
We Scored 500 Creatives Overnight and Only Launched the Top 12: Here's What Happened
By: Dr. Elena Vasquez, PhD in Artificial Intelligence
We had a simple question: If an LLM can generate 500 ad creatives in 4 hours, which 12 will actually perform?
We ran the experiment. The short answer: a 78.4% lift in click-through rate using 97.6% fewer creatives than the baseline. The long answer is in the math.
The Setup
We were working with a D2C skincare brand. Their marketing team was producing 50–80 ad variants per campaign — headlines, subheads, CTAs, and image copy — and running A/B tests in a near-blind fashion. Cost per impression was rising. Creative fatigue was real.
So we built a scoring pipeline. The goal was not to replace the creative team. It was to filter — to find the 2–3% of generated variants that were likely to outperform, and only launch those.
What we generated: 500 unique creative variants (headlines + subheads + CTA combinations), produced by a 7B-parameter open-source LLM over a 4-hour batch run. Each variant was a distinct combination of:
A headline (8–14 words)
A subhead (20–40 words)
A CTA button label (2–5 words)
A one-line product benefit statement
What we scored: 5 dimensions per variant, computed by a separate 70B-parameter model acting as a critic.
The Scoring Function
Each creative $c_i$ was scored on five axes:
$$S _i = w_1 \cdot \text{Clarity}(c_i) + w_2 \cdot \text{Specificity}(c_i) + w_3 \cdot \text{EmotionalResonance}(c_i) + w_4 \cdot \text{CTAStrength}(c_i) + w_5 \cdot \text{BrandFit}(c_i)$$
All weights were set to $0.2$ — we wanted an even-handed first pass. The critic model output scores on a $0$–$10$ scale per axis, and we averaged them into a single composite score $S_i \in [0, 10]$.
Axis | What the critic evaluated |
|---|---|
Clarity | Can a 15-year-old understand the value prop in 3 seconds? |
Specificity | Does it name a concrete benefit, not a vague promise? |
Emotional Resonance | Does it tap into a real desire or pain point? |
CTA Strength | Is the button label action-oriented and low-friction? |
BrandFit | Does the tone match the brand's existing voice? |
Key design choice: We did not let the generator and critic be the same model. We used the 7B generator for volume and the 70B critic for quality. This asymmetry is cheap and effective — you want breadth from the cheap model, depth from the expensive one.
The Distribution
This is where it gets interesting. Here's the score distribution across all 500 creatives:
Score 10.0 | ██
Score 9.0 | ████
Score 8.0 | ███████
Score 7.0 | ██████████████
Score 6.0 | ██████████████████████████
Score 5.0 | ████████████████████████████████████
Score 4.0 | ████████████████████████████████████████████████
Score 3.0 | ████████████████████████████████████████████████████████████
Score 2.0 | ████████████████████████████████████████████████████████████████████████████████████████
Score 1.0 | ████████████████████████████████████████████████████████████████████████████████████████████████████
Score 0.0 | █████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████
