1  
 2  TEST EXECUTION REPORT
 3  =====================
 4  Date: 2025-04-07 18:31:01
 5  
 6  Summary:
 7  - Total Tests: 104
 8  - Passed: 50 (48.1%)
 9  - Failed: 5 (4.8%)
10  - Errors: 49 (47.1%)
11  
12  Detailed Test Results:
13  ╒═════════════════════════════════════════════════════════════════════════════════╤═════════╤══════════╤══════════╤══════════╤══════════╕
14  │ Test Module                                                                     │   Tests │   Passed │   Failed │   Errors │  Status  │
15  ╞═════════════════════════════════════════════════════════════════════════════════╪═════════╪══════════╪══════════╪══════════╪══════════╡
16  │ tests/examples/all_llm_provider/test_all_llm_provider.py                        │      10 │       10 │        0 │        0 │    ✅    │
17  ├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
18  │ tests/examples/crewai/scifi_writer/test_scifi_writer.py                         │       1 │        1 │        0 │        0 │    ✅    │
19  ├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
20  │ tests/examples/custom_agents/travel_agent/test_travel_agent.py                  │       1 │        1 │        0 │        0 │    ✅    │
21  ├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
22  │ tests/examples/haystack/news_fetching/test_news_fetching.py                     │       1 │        1 │        0 │        0 │    ✅    │
23  ├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
24  │ tests/examples/langchain/medical_rag/test_diagnosis_agent.py                    │       1 │        1 │        0 │        0 │    ✅    │
25  ├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
26  │ tests/examples/langgraph/personal_research_assistant/test_research_assistant.py │       1 │        1 │        0 │        0 │    ✅    │
27  ├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
28  │ tests/examples/llamaindex_examples/legal_research_rag/test_legal_rag.py         │       1 │        1 │        0 │        0 │    ✅    │
29  ├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
30  │ tests/examples/smolagents/most_upvoted_paper/test_most_upvoted_paper.py         │       1 │        1 │        0 │        0 │    ✅    │
31  ├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
32  │ tests/test_catalyst/test_files/test_base_tracer_add_metrics.py                  │       8 │        8 │        0 │        0 │    ✅    │
33  ├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
34  │ tests/test_catalyst/test_files/test_base_tracer_metrics.py                      │       5 │        5 │        0 │        0 │    ✅    │
35  ├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
36  │ tests/test_catalyst/test_files/test_configuration.py                            │      14 │       12 │        2 │        0 │    ❌    │
37  ├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
38  │ tests/test_catalyst/test_files/test_dataset.py                                  │      10 │        0 │        0 │       10 │    💥    │
39  ├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
40  │ tests/test_catalyst/test_files/test_evaluation.py                               │      22 │        0 │        2 │       20 │    💥    │
41  ├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
42  │ tests/test_catalyst/test_files/test_evaluation_metrics.py                       │       8 │        8 │        0 │        0 │    ✅    │
43  ├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
44  │ tests/test_catalyst/test_files/test_langchain_tracing.py                        │      10 │        0 │        0 │       10 │    💥    │
45  ├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
46  │ tests/test_catalyst/test_files/test_prompt_manager.py                           │       7 │        0 │        0 │        7 │    💥    │
47  ├─────────────────────────────────────────────────────────────────────────────────┼─────────┼──────────┼──────────┼──────────┼──────────┤
48  │ tests/test_catalyst/test_files/test_redteaming.py                               │       3 │        0 │        1 │        2 │    💥    │
49  ╘═════════════════════════════════════════════════════════════════════════════════╧═════════╧══════════╧══════════╧══════════╧══════════╛
50  
51  Problematic Tests:
52  - tests/test_catalyst/test_files/test_configuration.py: 2 failed
53  - tests/test_catalyst/test_files/test_dataset.py: 10 errors
54  - tests/test_catalyst/test_files/test_evaluation.py: 2 failed, 20 errors
55  - tests/test_catalyst/test_files/test_langchain_tracing.py: 10 errors
56  - tests/test_catalyst/test_files/test_prompt_manager.py: 7 errors
57  - tests/test_catalyst/test_files/test_redteaming.py: 1 failed, 2 errors
58  --------------------------------------------------
59    (Investigation needed - check test logs for specific issues)
60  --------------------------------------------------