[LCT] Re: Troubles coding ER & SR in student evaluations

  • From: Forrest Leah Tompkins <leah.tompkins@xxxxxx>
  • To: "lct@xxxxxxxxxxxxx" <lct@xxxxxxxxxxxxx>
  • Date: Mon, 28 Nov 2022 10:42:04 +0000

Dear Nora and Karl,

Thank you both for your valuable input on this. I’ve taken note for the paper, 
which of course I’ll be happy to share once finished!

Best wishes,
Leah

Enviado desde Outlook para iOS<https://aka.ms/o0ukef>
________________________________
De: lct-bounce@xxxxxxxxxxxxx <lct-bounce@xxxxxxxxxxxxx> en nombre de Karl Maton 
<dmarc-noreply@xxxxxxxxxxxxx>
Enviado: Monday, November 28, 2022 7:04:43 AM
Para: lct@xxxxxxxxxxxxx <lct@xxxxxxxxxxxxx>
Asunto: [LCT] Re: Troubles coding ER & SR in student evaluations


Hi both (and all)



I was thinking similarly to Nora: these seem to me to be based on emphasizing 
skills, techniques, knowledge … but generic forms. So, they look to me like 
they’re expressing a knowledge code, but a very simple and generic one.



Those characteristics are handled by Semantics and Autonomy, respectively, 
though there’s no need for you to use them here. I only mention that because it 
can seem strange to place different kinds of practices into the same code. One 
can ‘feel’ the difference. But those differences may be either on the degree of 
emphasis (how deep into the quadrant they go) or attributes handled by other 
dimensions.



I think you’re seeing the word ‘specialized’ as having to mean disciplinary. It 
doesn’t. The argument about students taking the time to make it attractive etc 
is drawing a long bow and doesn’t make much sense to me. Time spent is not tied 
to emphasising social relations.



So, I’d say ER+, SR–, but very generic and ‘low level’ skills / techniques.





From: lct-bounce@xxxxxxxxxxxxx <lct-bounce@xxxxxxxxxxxxx> on behalf of Nora 
Nagy <dmarc-noreply@xxxxxxxxxxxxx>
Date: Friday, 25 November 2022 at 10:09
To: lct@xxxxxxxxxxxxx <lct@xxxxxxxxxxxxx>
Subject: [LCT] Re: Troubles coding ER & SR in student evaluations

Dear Leah,



Your research sounds really interesting, thanks for sharing.



Based on the categories, it seems to me that they are all examples of generic 
and special skills and knowledge. Handwriting/neatness look more generic, but 
the use of colours, presentation and layout techniques represent knowledge of 
culture and semiotic modes, even editorial practice. However, these categories 
are often used and interpreted as forms of self-expression and personal choices 
so they might seem more like SR, and one might say they represent who they are.



Based in my experiences only, in CLIL projects these aspects are often mixed up.



I would love to see what more you find and how you solve this coding question. 
I will definitely contact you for more info.



Best,

Nora Wünsch-Nagy


Sent from Yahoo Mail for 
iPhone<https://urldefense.com/v3/__https://protect-au.mimecast.com/s/1h8bC1WLPxcpGnBvDILqwFw?domain=overview.mail.yahoo.com__;!!D9dNQwwGXtA!SlOfw3eXnTGv2znmkw5il8J9q_soRgR1KBkJ5Mwn662iPqs1UVsi5g0231adp_jk7j9JOdsfQ-4RTq1keELhhXMljR8L$>

On Thursday, November 24, 2022, 7:55 PM, Forrest Leah Tompkins 
<leah.tompkins@xxxxxx> wrote:

Dear Karl (and all),



Thank you very much for your response and insight. I include some examples from 
the data in the categories you mention:



  *   Handwriting

     *   “The handwriting is very good/great/really nice/not very good”
     *   “The handwriting is understandable/illegible”
     *   “You need to improve a lot your handwriting”

  *   Presentation/layout

     *   “Nice/very good/great presentation”

  *   Colors

     *   “Colors to emphasize questions”
     *   “Needs colors to emphasize the questions”

  *   Neatness

     *   “It’s been done carelessly/too quickly (lots of Whiteout)”



As you can see, the comments are not very detailed or specific. Some are 
directed specifically at the author (you must/you need to) and others are more 
general evaluations (good/bad). None of these elements were included in the 
instructions for the task, which was to conduct and write up an interview with 
an older relative about a traditional game, making sure to ask certain 
questions and include certain grammatical structures.



After discussing further with the research group, we thought to code the 
examples above as:

  *   ER- because the basis of achievement in these comments are not 
specialized skills or knowledge, and
  *   SR+ because the basis of achievement in these comments are features that 
result, at least in part, from the students’ willingness/time/effort to make 
the task attractive. This may not be an identity marker, but perhaps a personal 
attribute of the learner, certainly more personal than whether they completed 
all parts of the task or used correct grammar and vocabulary. In my experience 
as a teacher, I know that some students are more inclined to spend time on the 
design/presentation of their tasks (using different colors and visible 
headings, including illustrations, writing slowly and carefully, etc.) than 
others, regardless of their knowledge of the content at hand, and when I assign 
a task I already have an idea of which ones will “make it pretty” in this way. 
So perhaps it has to do with “who they are” in the sense of dispositions?



However, based on your comments, I see that my interpretation may be mistaken. 
Perhaps I’m mixing up the basis and focus of the practice? We would really 
appreciate your thoughts based on the examples provided.



Best wishes,

Leah Tompkins



De: lct-bounce@xxxxxxxxxxxxx <lct-bounce@xxxxxxxxxxxxx> En nombre de Karl Maton
Enviado el: jueves, 24 de noviembre de 2022 6:58
Para: lct@xxxxxxxxxxxxx
Asunto: [LCT] Re: Troubles coding ER & SR in student evaluations



So, leaving aside the loaded word ‘aesthetics’, they have discussed

  *   Handwriting – good or bad etc
  *   Presentation, layout etc
  *   Different colours
  *   … and other stuff



Can you give us some examples of comments? That will help.



Simply put

ER – basis of legitimacy is specialised skills, content, procedures, 
techniques, etc.

SR – basis of legitimacy is ways of knowing or who they are. It’s not who they 
are. If the comments are as simple as ‘it’s legible’ or ‘colourful’, then it’s 
probably not ways of knowing.

So, it might be ER, but a different set of skills, content etc to the subject 
and the language, a third set, comprising generic skills, perhaps.



But if you give us some examples that could help.



K





From: lct-bounce@xxxxxxxxxxxxx<mailto:lct-bounce@xxxxxxxxxxxxx> 
<lct-bounce@xxxxxxxxxxxxx<mailto:lct-bounce@xxxxxxxxxxxxx>> on behalf of 
Forrest Leah Tompkins <leah.tompkins@xxxxxx<mailto:leah.tompkins@xxxxxx>>
Date: Thursday, 3 November 2022 at 22:20
To: lct@xxxxxxxxxxxxx<mailto:lct@xxxxxxxxxxxxx> 
<lct@xxxxxxxxxxxxx<mailto:lct@xxxxxxxxxxxxx>>
Subject: [LCT] Troubles coding ER & SR in student evaluations

Dear all,

My thesis supervisor and I are preparing a paper on secondary students’ 
perceptions of the bases of achievement across subject areas in Content and 
Language Integrated Learning tasks, and we’d like to ask for your insights 
regarding a chunk of data that we’re not sure how to code.



In the study, Spanish students completed a project (a short text) designed by a 
subject teacher (Biology or PE) and an English teacher working in tandem. 
Afterwards, they ranked their peers’ texts using a computer program for 
comparative judgment. Finally, pairs of students evaluated the highest- and 
lowest-ranked texts: one positive comment about the content, one positive 
comment about the language, one negative comment about the content, and one 
negative comment about the language.



We’ve been using the Specialization dimension to code these comments in terms 
of ER and SR via the working translation device at the bottom of this email. 
Our challenge is that many students in the PE subject went beyond language and 
content in their peer evaluations, referring to a third category that we’re 
calling “Aesthetics:” the handwriting (evaluated as good/not good, 
illegible/understandable, etc.), the presentation (layout on the page, colors, 
etc., evaluated positively), whether different colors were used for questions 
and answers (evaluated negatively when not present), etc.



We’re not sure how to gauge the ER and SR of these comments. In terms of ER, it 
could be argued that (1) “Aesthetics” is a body of knowledge which is being 
emphasized in the evaluations (e.g., handwriting is taught in the early years 
of schooling; perhaps previous assignments have focused on aspects of 
presentation), and so ER+, or that (2) “Aesthetics” was not included in the 
written instructions for this task and can thus be considered irrelevant 
outside knowledge, and so ER-. As for SR, it could be argued that (3) 
handwriting and color choices are personal attributes of learners which are 
being evaluated in terms of personal preferences by other learners, and so SR+, 
or that (4) if there are some standards for appropriate handwriting and 
presentation which are taught in schools, thus constituting a body of 
knowledge, then any individual differences can be attributed to different 
degrees of attainment of said knowledge rather than personal attributes, and so 
SR-.



We would love to hear any thoughts that you may have on this issue. Thank you 
very much in advance.



Below I include our current translation device for coding the data, which could 
be modified to address issues of aesthetics:

[cid:JPuuuVty2VCxW2KTpFi3]

[cid:JT4NhEtDt5KXGrA7OVqr]



Best wishes,

Leah Tompkins

PNG image

PNG image

Other related posts:

  1. Home
  2. lct
  3. Archive
  4. 11-2022