Méthodologie de recherche

Objectif pour la seconde partie du cours: Vous devrez rédiger un rapport de recherche sur l'attitude linguistique de sujets face à deux variétés linguistiques. Un rapport de recherche en psychologie, en psycholinguistique ou en sociolinguistique doit respecter le format suivant :

Structure d'une recherche en sociolinguistique:

1. Exposé de la problématique : On expose en un ou deux paragraphes l'objectif de la recherche.

2. État de la question: On résume les travaux antérieurs portant sur cette question.

3. Hypothèse(s) de la recherche : Ex : Nos sujets évalueront-ils différemment les variétés X et Y.

4. Méthodologie: Description du matériel, des questionnaires, des sujets choisis.

5. Analyse des résultats : Analyse statistique et description des résultats. Partie descriptive.

6. Discussion : Partie interprétative. On tente d'expliquer les résultats obtenus en mettant l'accent, selon le cas, sur les résultats statistiquement significatifs, ou, s'il n'y en a pas, sur les causes possibles de l'absence de résultats : soit que, dans la population, il n'y a pas d'attitude particulière face aux variétés évaluées, soit qu'il y a une faille dans notre matériel ou dans la façon dont l'expérience s'est déroulée.

7. Conclusion : Brève synthèse.

Deux problématiques proposées: Nous avons vu qu'il existe des variétés standard et non standard. L'enquête de Trudgill a montré que les hommes tendaient à favoriser la variété non standard alors que les femmes favorisaient la variété standard. La section sur l'attitude linguistique présente d'autres études faisant bien ressortir l'attitude face aux variétés linguistiques. Il serait intéressant d'étudier, à partir de variantes linguistiques québécoises («késé ka veut dire, la mére ?/ qu'est-ce qu'a veut dire, la mère ?»), les aspects suivants:

a) la perception des variétés standard et non standard: un locuteur utilisant une variété non standard est-il mieux ou moins bien perçu qu'un locuteur utilisant une variété standard?

b) la perception d'une variété et le genre: une locutrice utilisant une variété (ex : non standard) sera-t-elle mieux ou moins bien perçue qu'un locuteur utilisant la même variété?

Format général de l'expérience: Vous allez faire entendre à 14 sujets-évaluateurs, de brefs enregistrements (±60 secs.) de 2 ou 4 locuteurs utilisant des variantes standards et non standards (par ex., quelqu'un qui parle comme Stef Bureau ou Pat Paquin et quelqu'un qui parle comme dans les émissions sur le vif de TQS). Comme dans JE ou La facture, la vigilance des sujets doit être déjouée : on ne leur dit pas qu'on évalue leur attitude face à des façons de parlers différentes. On peut faire appel à des prétextes brefs, comme une étude sur la mémoire ou sur la qualité de la voix, la capacité des gens à imaginer une personne à partir de sa voix.... et, pour la vraisemblance, ajouter une question bidon (tel mot a-t-il été employé ? cette personne a-t-elle une voix agréable ? etc.). Là, il y a place pour votre jugement et votre créativité.

Montage de la cassette: Comme vous le verrez dans la « littérature » sur l'attitude linguistique, deux formats ont été utilisés : le format « locuteur masqué » et un format plus naturel. Chaque format présente ses avantages et ses difficultés :

Format masqué: Vous réalisez de brefs enregistrements dans lesquels une (ou deux) personnes jouent les rôles des locuteurs standard et non standard. Il faut donc avoir sous la main des lecteurs un peu comédiens. Dans ce cadre, il est important que les sujets-évaluateurs ne soient pas conscients du piège qui leur est tendu. La technique la plus simple est d'introduire des « distracteurs » entre les présentations des enregistrements, i.e. des tâches servant à distraire et à occuper la mémoire à court terme. Le questionnaire est un exemple. On peut aussi utiliser une tâche bidon occupant la mémoire (ex. rappel d'une partie du passage). Il est également possible de manipuler l'enregistrement (abaisser ou hausser la tonalité, supprimer des fréquences…). Dans ce format, vous utiliserez un texte bref contenant des variantes cibles. L'avantage du format déguisé est qu'on contrôle entièrement le passage présenté.

Format naturel: Vous réalisez de brefs enregistrements de locuteurs parlant une variété standard et non standard et vous retenez certains extraits contenant des variantes cibles. Dans ce format, les extraits doivent être brefs et neutres (c'est la difficulté de ce format) : on ne veut pas que l'attitude des sujets-évaluateurs soit influencée par des facteurs externes comme la voix, le ton, le thème de la conversation, etc. La seconde difficulté, c'est qu'il faut trouver les passages et faire un enregistrement de qualité correcte. Par contre, il n'y a pas de « supercherie » et, par conséquent, on n'a pas à prendre les mêmes précautions que dans le format déguisé. De façon générale: moins les sujets-évaluateurs ont conscience du but de l'enquête, plus juste sera leur réaction.

Préparation du questionnaire: En général, la technique standard dans les recherches sur l'attitude linguistique consiste à utiliser…

A) des adjectifs renvoyant à des traits de personnalité (doux/dur, méthodique/brouillon, autoritaire/bonasse, naïf/rusé, intelligent/pas intelligent....) notées sur une échelle de 1 à 7. Ex:

Consigne Cochez les échelles suivantes (une coche par échelle) selon que la personne entendue semble posséder ou non les qualités suivantes :

Cette personne me semble:

ENNUYEUSE	ATTIRANTE

TRÈS PLATE	PAS PLATE DU TOUT

B) des questions (sous forme de choix ou d'échelle) portant sur le métier ou la profession que cette personne pourrait exercer ou encore quel pourrait être son salaire, si on aimerait parler comme elle, si on en ferait son ami, si on voterait pour elle… Encore une fois, il y a place à votre jugement et à votre créativité. Ex. Cette personne a des revenus de: (cochez la case appropriée) C)

20,000$ 30,000$ 40,000$ 50,000$ 60,000$ 70,000$ 80,000$

Il me semble que j'en ferais facilement mon ami.
OUI	NON

Tout initiative personnelle justifiée est une plus-value. Les choix que vous faites doivent être justifiés dans la section Méthode utilisée.

Choix des sujets: Normalement (dans une recherche de maîtrise, par exemple), on ne choisit pas ses sujets: ceux-ci doivent être choisis aléatoirement (ex: choix de N sujets à partir de la liste des étudiants de l'UQAC). On les contacte et on leur offre un montant symbolique ; et, s'ils refusent on en tire un autre au hasard. Cependant, dans le cas de cette étude, comme vous serez limités dans le temps, vous choisirez le format qui vous convient: étudiants d'une classe auxquels vous avez accès, étudiants de l'université (francophones, pour des raisons évidentes), amis ou parents pouvant être réunis en un ou deux groupes. Les noms des sujets-évaluateurs doivent être notés. Vous pouvez réserver une salle si le questionnaire est administré à l'UQAC.

Étapes de la démarche: 1. Formation des équipes (le plus tôt possible, cette semaine ou la semaine prochaine) 2. Choix de la problématique et du format 3. Préparation du matériel: contenu et montage de la cassette (aide possible de ma part) 4. Rédaction du questionnaire (aide possible de ma part) 5. Expérimentation 6. Analyse statistique (sous ma supervision) et rédaction du rap.

Les échelles socio-économiques: Il existe des échelles socio-économiques précises (échelle de Blishen) classant les occupations selon le revenu (cf. Sociolinguistic Theory Chambers, 1995, ed. Blackwell, p.42). Ce type d'échelle s'est cependant révélé plus ou moins utile en sociolinguistique.

L'échelle utilisée par Trudgill dans son enquête à Norwich était extrêmement fine et tenait compte du type d'emploi (et de celui du père), du revenu, de la scolarité, du lieu et du type de résidence (cf. Sociolinguistic Theory Chambers, 1995, ed. Blackwell, p.45). Selon Chambers, un sociolinguiste de l'université de Toronto, se basant sur une étude écossaise (Macaulay), l'occupation seule suffit pour construire des classes pertinentes du point de vue sociolinguistique. Macaulay avait retenu les quatre regroupements suivantes:

Ces classes peuvent être affinées en tenant compte du concept de marché linguistique, introduit par les sociolinguistes montréalais Sankoff et Laberge. Cette notion tient compte du fait que la pression pour utiliser la variété standard peut varier selon l'occupation: l'ouvrier spécialisé en usine et celui qui offre un service à domicile n'ont pas la même pression pour utiliser la variété standard. Idem pour le chauffeur de taxi comparé au camionneur, pour l'avocat ou le professeur comparé au médecin ou au chimiste, pour la secrétaire comparé au préposé aux pièces, etc.

Utilisation pratique d'Excel: Cliquez ici.
Ne mourez pas idiot! On peut se servir d'Excel pour nos analyses statistiques, mécaniquement, sans comprendre ce qu'on fait (Je - être - robot). Dans la section qui suit, nous essaierons de comprendre en gros ce qu'on fait. Cette section ne demande que de l'attention (80%) et un peu de logique (20%), faculté également répartie selon le sexe.

Le statisticien: un parieur respectable
En deux mots, pour nous, la statistique nous servira à « parier » que les résultats observés dans un échantillon réduit tiré d'une population cible (dans notre cas, les sujets évaluateurs) reflètent ceux qu'on obtiendrait si on examinait la population entière : à partir d’un échantillon de sujets du SagLac, nous allons conclure que nos concitoyens semblent évaluer, par ex., les gens qui parlent le québécois standard comme des… grands talents dont il faut se méfier. Comme il s’agit de conclusions basées sur un échantillon, il y a des risques d’erreur, dans cette généralisation. Lorsqu'on a les moyens de tester la population entière du SagLac, les tests statistiques que nous allons présenter deviennent inutiles. On parie donc que les résultats obtenus à partir d'un échantillon restreint peuvent être extrapolés à l'ensemble la population visée. Dans ce qui suit, le terme population doit être interprété dans le sens large d'ensemble : on peut, par exemple, parler d’une population de billets de loterie (c’est un peu comme ça que Loto-Québec nous voit ! !), de bonbons ou de chiffres.

Faites vos jeux! Jeu #1
En passant de porte en porte à l’Halloween, j'ai récolté un sac contenant 20 bonbons au caramel et 20 à la réglisse (Ah! c'est nase! T'es donc quétaine!). C'est ma population. Je pige 8 bonbons, au hasard et vous avez à parier que ces 8 bonbons seront répartis, à peu près, selon l’un des résultats suivants (a, b, c ou d):

a) 4 caramels, 4 réglisses

b) 6 caramels, 2 réglisses

c) 0 caramels, 8 réglisses

d) 5 caramels, 3 réglisses

Il est probable que vous parierez sur (a) ou (d). En effet, comme il y a un nombre équivalent de caramels et de réglisses, il est probable que les 8 bonbons pigés (l'échantillon) reflétera la composition du sac; (b) et (c) sont donc moins probables que (a) ou (d). En fait, il faudrait être très chanceux pour obtenir (c).

Faites vos jeux! Jeu #2a
Supposons qu'on change les règles du jeu: on sait qu'il y a 40 bonbons au caramel et à la réglisse dans le sac mais, contrairement au jeu précédent, on ne sait pas combien de bonbons au caramel et combien à la réglisse: en fait, le jeu consiste justement à parier sur la composition du sac à partir d'une pige. Je pige 8 bonbons, dont 2 caramels et 6 réglisses. Vous devez parier sur l’une des options suivantes : le sac contient (a, b, c ou d)?

a) le sac contient à peu près 20 caramels, 20 réglisses (à peu près moitié-moitié)

b) le sac contient à peu près 15 caramels, 25 réglisses (à peu près1/3 caramels-2/3 réglisses)

c) le sac contient à peu près 25 caramels, 15 réglisses (à peu près 2/3 caramels-1/3 réglisses)

d) le sac contient à peu près 10 caramels, 30 réglisses (à peu près1/4 caramels-3/4 réglisses)

Il est probable que vous parierez sur (b) ou (d). En effet, si on se base sur l'échantillon pour parier, les caramels forment 1/4 de l'échantillon et les réglisses 3/4; (a) et (c) sont donc moins probables que (b) ou (d) qui sont conformes aux proportions de l'échantillon. En fait, il faudrait être très chanceux pour parier sur (c), qui représente les proportions inverses.

Faites vos jeux! Jeux #2b
Supposons qu'on change légèrement les règles du jeu précédent: comme dans le jeu précédent, on sait qu'il y a 40 bonbons au caramel et à la réglisse dans le sac et on ne sait pas combien exactement. La seule différence est dans le choix d’options sur lesquelles parier. Je pige 1 caramels et 7 réglisses. Faites vos jeux  ! (a) ou (b):

a) le sac est composé, à peu près, à moitié de caramels et à moitié de réglisses (H0, où l’hypothèse nulle)

b) le sac n’est pas composé, à peu près, à moitié de caramels et à moitié de réglisses (rejet de l’hypothèse nulle)

Il est probable que vous parierez sur (b) : la différence 1-7 est trop grande pour que (a) soit vraisemblable. Mais si on avait pigé 3 caramels et 5 réglisses, ça aurait été moins évident.

Rapport ? Ousqu'a veut en v’nir ?
En statistique, le pari moitié/moitié s'appelle l'hypothèse nulle. Supposons que, sur l'échelle beau/laid (1 à 7), les moyennes pour les variétés soient comme suit:

Variété standard: m= 2

Variété non standard: m= 6

Dois-je dire que finalement, il n’y a pas de différence dans l’attitude des évaluateurs, que les variétés sont à moitié-moitié pour l’échelle beau/laid (acceptation de l’hypothèse nulle), ou dois-je dire que la différence est trop grande pour accepter l’hypothèse nulle ? Dans ce cas, on dira que dans l’ensemble de la population, la variété standard est évaluée de façon statistiquement significative comme belle et la variété non standard comme laide.

Le chercheur pose l'hypothèse nulle: si j'examinais la population entière, j'obtiendrais 3.5 et 3.5 . Il cherche ensuite à calculer à l'aide de tests statistiques s'il va rejeter cette hypothèse.

Si les tests statistiques l'amènent à accepter l'hypothèse nulle, cela revient à affirmer qu’il est possible d'obtenir des moyennes de 2 et 6 à partir d'une population où les moyennes sont à 3.5- 3.5. La variation observée reflète le hasard de l'échantillon.

Par contre, si les tests statistiques l'amènent à rejeter l'hypothèse nulle, cela revient à affirmer il est très peu probable d'obtenir des moyennes de 2 et 6 à partir d'une population où les moyennes sont à 3.5- 3.5 et par conséquent, que si on testait la population totale, on obtiendrait des moyennes plus proches de 2 - 6 que de 3.5 -3.5. On conclut dans ce cas que la différence entre les moyennes est significative.

Comme dans tout pari, on court une chance de se tromper: le pari (c) du jeu #2a était peu probable mais pas impossible. Il y a trois seuils d'erreur généralement acceptés: 0.05, 0.01, 0.001. Plus le seuil est petit, plus les résultats sont significatifs. Le programme statistique que nous allons utiliser donne le seuil de probabilité exact pour chaque résultat. Lorsque les probabilités pour un résultat seront inférieurs à 0.05 nous diront que le résultat est significatif et que l’une des variétés est évaluée de telle façon par rapport à l’autre variété.

Dans le cas de l’analyse de variance, l’un des deux tests que nous utiliserons, nous allons voir que nous pouvons raffiner notre pari en tenant compte de la variation observée dans les réponses.

L'analyse de variance
L'analyse de variance est sans doute le test statistique le plus utilisé en psychologie et en sciences sociales. Il s'adapte aux multiples formes que peuvent prendre une expérience. Le cas que nous allons voir sera évidemment le plus simple. Dans le cas qui nous intéresse, dans le jargon statistique, il s'agit de soumettre un certain nombre n de sujets (de 14 à 20) à un certain nombre k de conditions (ici, 2 conditions, l'évaluation du FQNS et l'évaluation du FQS).

Supposons que votre questionnaire contienne la question suivante:

La personne que je viens d'écouter me semble…

Cette échelle peut être indexée numériquement, de gauche à droite, de 1 à 7 (ou 0 à 6).

Voici, dans la table A, les évaluations fictives de 14 sujets (franco-québécois non standard FQNS, franco-québécois standard FQS). On calcule alors les moyennes obtenues pour chaque variétés.

La question qui se pose alors est de savoir dans quelle mesure l'écart entre ces moyennes (4,43-3,43= 1) est vraiment significatif. Nous allons voir que, dans les mêmes conditions, ça peut être significatif ou non. Présenté autrement, si on refaisait un (ou plusieurs) autre(s) échantillonnage(s), obtiendrait-on des résultats inverses ou allant dans la même direction? Ou autrement dit encore, ces écarts signalent-ils vraiment une différence de perception véritable ou sont-ils dus aux hasards de l'échantillonnage?

Les chercheurs posent l'hypothèse nulle qui affirme qu'en fait il n'y a pas de différence dans le sac de bonbons. L'analyse de variance permet d'affirmer dans quelle mesure la différence entre m= 3,43 et m=4,43 peut provenir d'un sac à bonbons où les moyennes sont équivalentes. Si le test nous dit que c'est peu probable, l'hypothèse nulle est rejetée et la différence est dite significative.

Le principe sur lequel repose l'analyse de variance est simple: il affirme qu'on ne peut comparer deux (ou plusieurs) moyennes dans l'absolu, i.e.: que l'importance de l'écart entre les moyennes dépend de la dispersion (des écarts) observée dans les échantillons. Dans notre exemple, la différence entre m= 3,43 et m=4,43 est relative à la dispersion (la variance) observée dans les échantillons. La dispersion dans un échantillon est mesurée par ce qu'on appelle la variance (notée s²), d'où le nom analyse de variance.

Lorsqu'on se sert de Excel et qu'on calcule le F de Fischer, avec les données précédentes, on obtient le résultat suivant:

La case F nous donne l'écart entre les moyennes relativisé en fonction de l'écart entre toutes les données. Ce F, dans l'exemple est de 5,12. Pour atteindre le seuil significatif de 0,05, il fallait que le F dépasse 4,26 (la valeur critique pour 0,05).

Modifions légèrement les données de façon à conserver le même écart de 1 entre les moyennes mais en élargissant l'écart entre les données. Exemple: disons que pour le FQS, le sujet1 a voté 1, gain de 2 compensé pas une perte équivalente du le sujet 2. Idem pour FQNS. Les moyennes demeurent intactes. Qu'est-ce qui a changé? Les résultats sont plus dispersés, plus éloignés du centre. Je procède à l'analyse de variance. Cette fois, l'écart entre les moyennes, pourtant le même, n'est plus significatif.

Leçon: L'écart observé entre 2 ou plusieurs moyennes ne veut rien dire dans l'absolu. Il doit être mis en rapport avec la variation dans les échantillons. Plus il y a de variation (de dispersion entre les données), plus l'écart devra être important. Pour que tout soit complet, il faut dire que la taille des échantillons va jouer également: plus la taille des échantillons est importante plus l'écart entre le moyennes pourra être significatif.

La proportion F (calculée par le statisticien Fischer) est fait de l'écart (= la dispersion entre les moyennes) / l'écart (= la dispersion) observé dans l'ensemble des données. On utilise la somme des carrés pour le calcul parce que la somme des carrés est toujours positive. Dans l'exemple ci-dessous, l'écart entre les moyennes (Moyenne des carrés) est de 57,8 et l'écart entre les données est de 1,33. L'écart entre les moyennes pondéré par l'écart entre les données est donc de 57,8 / 1,33 = 43. Ce chiffre, c'est l'écart entre les moyennes une fois relativisé. Pour que cet écart soit significatif au seuil choisi de 0,05, il fallait qu'il dépasse La Valeur critique de 4,41, ce qui est amplement le cas.

Le test du X²
Le test du X² est utilisé lorsque la population étudiée se répartit selon des catégories qui ne peuvent être naturellement ordonnées entre elles. Concrètement, ceci veut dire que, au lieu de noter un chiffre pour chaque sujet (ex: échelle rusé/naïf, sujet₁= 2, sujet₂= 4...), on note un mot, par ex. (ex: échelle J'en ferais mon ami(e), sujet₁= oui, sujet₂= non, sujet₂= ne sais pas...). On ne peut faire de moyenne dans ce cas. On peut alors utiliser le test du X² .

Exemple 1: Vous demandez à vos sujets si la qualité du français doit être améliorée; les réponses possibles pourraient être OUI, NON. À chaque sujet correspond, non pas un chiffre de 1 à 7 comme dans les exemples précédents, mais une catégorie, soit OUI, soit NON.

Exemple 2: Pour mesurer la lisibilité d'un texte ou pour faire une analyse de contenu, vous répartissez les mots d'un texte selon les catégories grammaticales DET, NOM, ADJECTIF, VERBE, ADVERBE, AUTRES. À chaque mot rencontré correspond l'une de ces catégories.

Exemple 3: Dans le duché du Schliessenschliesse (pop: 10,000), en 1923, le scrutin électoral a été réparti de la façon suivante: PNationaliste: 5,000, PTartiste: 4,000, PRépressif: 1,000. À chaque citoyen sondé correspond une catégorie: PN, PT ou PR. Au printemps 1927, un sondage (n= 100) sur les intentions de vote donne les résultats suivants: PN: 45, PT: 35, PR: 20.

Le test du X² est généralement utilisé dans le cas suivant: a) on s'attend à une distribution théorique (c'est l'hypothèse nulle) quelconque (fréquence attendue ou espérée ou fe) b) on procède à un échantillonnage (fréquence observée ou fo) c) il y a normalement un certain écart entre fe et fo. Toute la question est de savoir si cet écart est simplement dû aux aléas de l'échantillonnage ou si l'écart est tel qu'il signale un changement fondamental (ie: que la fréquence attendue ou espérée est erronée). Ainsi, dans l'exemple suivant, à la question Croyez-vous que vous en feriez-vous facilement votre ami(e) ?, les 14 sujets se répartissent comme suit: 9 oui, 2 non, 3 ne sais pas:

Théoriquement, si le sac de bonbons contenait 1/3 Oui, 1/3 Non, 1/3 Ne sais pas, on aurait dû obtenir à peu près 4,66 (i.e. 14/3) pour chaque réponse. C'est ce qui est théoriquement attendu. Le X2 met en rapport ce qui est observé / ce qui est attendu et nous donne la probabilité d'obtenir les observations 9-2-3 quand le sac contient 1/3-1/3-1/3. Ici, la probabilité est de 0,046 donc inférieure au seuil arbitraire de 0,05 .En d'autres mots, la probabilité d'obtenir 9-2-3 quand le sac contient 1/3-1/3-1/3 est de 4 chances sur 100. On dira que c'est rare et on pariera donc que le sac n'est pas à 1/3-1/3-1/3, mais plutôt autour de 9-2-3 (donc , qu'il contient plutôt des OUI).

Important: Le X2 est sensible à la taille de l'échantillon et 14 sujets, c'est peu. Si vous comptez l'utiliser, il est peut-être préférable si c'est possible d'augmenter la taille de votre échantillon à 20, par exemple.