I’ve just started reading Quo VAIdis by Andrzej Dragan (a highly recommended read on AI for any Polish speakers out there! 📚). Inside, I stumbled upon a fascinating challenge—a specific sentence designed to test whether a system is just a standard translation engine or if it’s capable of actual reasoning. Naturally, I decided to put the most popular NMT and AI systems to the test.
The challenge consists of two nearly identical English sentences:
🔹 The object did not fit the briefcase because it was too small.
🔹 The object did not fit the briefcase because it was too big.
For a human, without diving into deep philosophical debates, the logic is obvious:
- In the first case: The briefcase was too small, so the object didn’t fit. The pronoun “it” refers to the “briefcase.” Since “briefcase” (teczka/walizka) is feminine in Polish, the translation must be feminine (była zbyt mała).
- In the second case: The object was too big to fit. The pronoun “it” refers to the “object.” Since “object” (przedmiot) is masculine in Polish, the translation must be masculine (był zbyt duży).
I ran these sentences through several NMT engines and AI models. You can check the detailed breakdown in the table below.
So, what’s the verdict? 🧐
Traditional NMT systems translate surprisingly fluently, but they don’t fundamentally understand the content; their attention mechanisms are too narrow to resolve this logical ambiguity.
AI systems, however, show a clear evolution. Most of them successfully grasp the context and the physical logic of the sentence—just like a human would.
How does your AI or NMT setup handle this test?
Do you know of similar logical traps that work for testing NMT/AI in other language pairs? Let me know in the comments! 👇
Full Test Results
| Model | Translation & Notes | Result |
| DeepL (Classic Model) | Przedmiot nie pasował do walizki, ponieważ był za mały. Przedmiot nie pasował do walizki, ponieważ był za duży. | Fail ❌ |
| DeepL (Next Gen Model) | Przedmiot nie zmieścił się do teczki, ponieważ był zbyt mały. Przedmiot nie zmieścił się do teczki, ponieważ był zbyt duży. | Fail ❌ |
| Google Translate | Przedmiot nie pasował do teczki, ponieważ był za mały. Przedmiot nie pasował do teczki, ponieważ był za duży. | Fail ❌ |
| Lara | Przedmiot nie pasował do teczki, ponieważ był za mały. Przedmiot nie pasował do teczki, ponieważ był za duży. | Fail ❌ |
| Claude Opus 3 | Here are the Polish translations of the given sentences: 1. Obiekt nie zmieścił się do aktówki, ponieważ była za mała. (The object did not fit the briefcase, because it (the briefcase) was too small.) 2. Obiekt nie zmieścił się do aktówki, ponieważ był za duży. (The object did not fit the briefcase, because it (the object) was too big.) In Polish, the word “it” has to agree in grammatical gender with the noun it refers to… | Pass ✅ |
| Claude Opus 4.1 (Extended thinking OFF) | Here are the Polish translations: 1. The object did not fit the briefcase, because it was too small. -> Przedmiot nie pasował do teczki, ponieważ był za mały. 2. The object did not fit the briefcase, because it was too big. -> Przedmiot nie pasował do teczki, ponieważ był za duży. | Fail ❌ |
| Claude Opus 4.1 (Extended thinking ON) | Here are the Polish translations: 1. Przedmiot nie mieścił się w teczce, ponieważ była za mała. 2. Przedmiot nie mieścił się w teczce, ponieważ był za duży. Note: In Polish, the grammatical gender helps clarify the ambiguous “it” from English… | Pass ✅ |
| Claude Sonnet 4.5 (Extended thinking ON & OFF) | Here are the Polish translations: 1. Przedmiot nie zmieścił się w teczce, ponieważ była za mała. 2. Przedmiot nie zmieścił się w teczce, ponieważ był za duży. Note: These sentences are interesting because Polish grammatical gender helps clarify the ambiguity… | Pass ✅ |
| ChatGPT-4o | Here is the translation of the sentences into Polish: • Przedmiot nie zmieścił się do teczki, ponieważ była za mała. • Przedmiot nie zmieścił się do teczki, ponieważ był za duży. | Pass ✅ |
| ChatGPT-5.1 Auto | Here is the translation into Polish: Przedmiot nie zmieścił się do walizki, ponieważ był za mały. Przedmiot nie zmieścił się do walizki, ponieważ był za duży. | Fail ❌ |
| ChatGPT-5.1 Thinking | Przedmiot nie zmieścił się do teczki, ponieważ była za mała. Przedmiot nie zmieścił się do teczki, ponieważ był za duży. | Pass ✅ |
| Gemini 2.5 Pro Thinking | This is an excellent example of ambiguity in English that is resolved by Polish grammar… 1. Przedmiot nie mieścił się w teczce, ponieważ była za mała. 2. Przedmiot nie mieścił się w teczce, ponieważ był za duży. | Pass ✅ |
| Gemini 3.0 Pro Preview Thinking | Here is the translation into Polish… 1. Przedmiot nie zmieścił się do aktówki, ponieważ była za mała. 2. Przedmiot nie zmieścił się do aktówki, ponieważ był za duży. | Pass ✅ |
| Gemini Flash Latest (Thinking mode OFF) | Here are the two sentences translated into Polish: 1. Przedmiot nie zmieścił się do teczki, ponieważ była za mała. 2. Przedmiot nie zmieścił się do teczki, ponieważ był za duży. | Pass ✅ |
