atw: Re: OT I hate it when I am this right

  • From: "Stuart Burnfield" <slb@xxxxxxxxxxxxxx>
  • To: austechwriter@xxxxxxxxxxxxx
  • Date: Mon, 04 Jul 2016 17:13:57 +0800

Hi Peter -

IMO two important things went wrong:
 (i) Autopilot didn't 'see' the trailer and so hit it.
(ii) After the impact Autopilot didn't 'realise' it had  just been
involved in a major accident AND KEPT DRIVING!

Tesla tries to minimise (i) by implying that a human driver wouldn't
have done any better, so it was just terribly bad luck.
Tesla doesn't comment on (ii) at all AFAIK, probably hoping no-one
will notice.

IMO a human driver would have noticed a tractor-trailer looming up in
the windscreen and _tried _to avoid it. What then?

        * Car swerves in time, misses trailer, drives on safely.
        * Car doesn't quite swerve in time, clips trailer, car is damaged but
driver is OK. Driver stops safely to check out the damage..

        * Car doesn't swerve in time, hits trailer, driver is impaired or
unconscious or (as happened) killed. Car coasts to a stop or more
likely coasts briefly till it hits something and then stops.

In none of these cases does the car serenely carry on cross-country,
patiently waiting for a road to reappear in front of the sensors so it
can start making driving decisions again.

Does Autopilot not have a failsafe mode?! "If things go seriously bad,
stop as soon as possible consistent with not hurting anyone or
damaging anything." In other words:

        * Avoid harm to humans.
        * Avoid damage to the car and to other valuable things, except where
this would conflict with the First Law.
        * Obey your programming, except where this would conflict with the
First or Second Laws.

To put it in Aussie V8 terms, what's needed is a Three Laws of
Monarobotics. Tesla surely has some version of them built into its
prototype. What happened?
 
--- Stuart

----- Original Message -----
From: austechwriter@xxxxxxxxxxxxx
To:"austechwriter@xxxxxxxxxxxxx" 
Sent:Sat, 2 Jul 2016 10:44:15 +1000
Subject:atw: Re: OT I hate it when I am this right

Stuart:
On your response to b.), point 2. is probably not particularly
relevant. No driver is going to control any operation of the car after
it had had its top half sliced off.

On 1 July 2016 at 17:29, Stuart Burnfield  wrote:
Peter said:
a.) Do we know a human driver would have avoided this collision? 

It's hard to know for sure but it sounds like the answer is probably
yes. Despite the sleazy, deceptive, blame-the-victim wording by
Tesla's Mouth of Sauron, it's hard to imagine Mr Brown or even a
minimally attentive driver:

1. Not noticing a trailer swerving in front of him and cutting him off
2. Continuing to drive, "leaving the road, striking a fence, crossing
a field, passing through another fence and finally hitting a utility
pole about 100 feet south of the road"

 

Links:
------
[1] mailto:slb@xxxxxxxxxxxxxx

Other related posts: